2. 程式人生 > >記錄一次生產環境hadoop集群優化以及pid文件缺失處理

記錄一次生產環境hadoop集群優化以及pid文件缺失處理

阿新 • • 發佈：2018-06-07
hadoop hbase pid 優化

一、優化準備

優化需要根據實際情況綜合分析


1、關閉系統swap分區（如果未關閉的話）


在Hadoop中，如果使用系統默認設置，會導致swap分區被頻繁使用，集群會不斷發出警告。


對於每個作業處理的數據量和每個Task中用到的各種緩沖，用戶都是完全可控的。


echo "vm.swappiness = 0" >> /etc/sysctl.conf


說明：盡量不使用交換分區，註意不是禁用


2、資源和配置信息

2臺namenode，5臺datanode資源和配置信息


服務分布表如下所示：

技術分享圖片


軟件版本：

hadoop(hdfs+yarn) 2.7.3


hbase 1.2.4


查看CPU信息的命令：

查看CPU型號

# cat /proc/cpuinfo | grep name | cut -d: -f2 | uniq


查看物理CPU個數

# cat /proc/cpuinfo |grep "physical id" | sort | uniq -c | wc -l


查看沒有物理CPU中的core的個數，也就是核數

# cat /proc/cpuinfo | grep "cpu cores" | uniq


查看邏輯CPU的個數

# cat /proc/cpuinfo | grep "processor" | wc -l


CPU總核數= 物理CPU個數 * 每顆物理CPU的核數

總邏輯CPU數 = 物理CPU個數 * 每顆物理CPU的核數 * 超線程數


資源情況：

內存 16G

CPU8（8個物理CPU，單核，單線程）


3、dfs.datanode.max.xcievers （dfs.datanode.max.transfer.threads）

這兩個是一個參數，只不過前邊一個是hadoop1.0之前的參數，表示datanode上負責進行文件操作的線程數。如果需要處理的文件過多，而這個參數設置得過低就會有一部分文件處理不過來，就會報下面這個異常：

ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(10.10.10.53:50010,storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020):DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256


linux系統中所有的文件操作都被綁定到一個socket上，進一步具體可以把他看做是一個線程。而這個參數就是指定這種線程的個數。在datanode裏面有一個專門的線程組來維護這些線程，同時有一個守護線程來監視這個線程組的體量，它負責監測線程數量是否到達上線，超過就拋出異常。因為如果這樣的線程過多，系統內存就會暴掉。

對於參數dfs.datanode.max.transfer.threads還依照現有配置 8192


<property>

<name>dfs.datanode.max.transfer.threads</name>

<value>8192</value>

</property>


默認值：4096


4、dfs.namenode.handler.count

NameNode用來處理來自DataNode的RPC請求的線程數量

NameNode有一個工作線程池用來處理客戶端的遠程過程調用及集群守護進程的調用。處理程序數量越多意味著要更大的池來處理來自不同DataNode的並發心跳以及客戶端並發的元數據操作。對於大集群或者有大量客戶端的集群來說，通常需要增大參數dfs.namenode.handler.count的默認值10。設置該值的一般原則是將其設置為集群大小的自然對數乘以20，即20logN，N為集群大小。如果該值設的太小，明顯的狀況就是DataNode在連接NameNode的時候總是超時或者連接被拒絕，但NameNode的遠程過程調用隊列很大時，遠程過程調用延時就會加大。


集群大小是7,7的自然對數約等於2，所以這裏的配置就是 20*log7 = 40

<property>

<name>dfs.namenode.handler.count</name>

<value>40</value>

</property>


默認值：10


5、dfs.datanode.handler.count

DataNode用來連接NameNode的RPC請求的線程數量


保守設置為20

<property>

<name>dfs.datanode.handler.count</name>

<value>20</value>

</property>


默認值：10


二、PID相關準備

hadoop 及 hbase的pid文件默認是放在/tmp下面的，這個你可以從啟動關閉腳本中看出，不過這個目錄會定時清理。這就產生一個問題，當再次關閉服務的時候，服務pid文件丟失就會產生jps不顯示服務，但是web的管理頁面可以正常訪問的情況。我的解決辦法就是手動生成缺水的pid文件，然後修改配置文件，重啟服務。


1、NameNode 、DataNode 以及SecondaryNameNode 的pid配置

hadoop-env.sh

export HADOOP_PID_DIR=/data/hadoop_data/pids

export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}


JobHistory的pid配置

mapred-env.sh

export HADOOP_MAPRED_PID_DIR=/data/hadoop_data/pids


NodeManager和ResourceManager的pid配置

yarn-env.sh

export YARN_PID_DIR=/data/hadoop_data/pids


HMaster和HRegionServer 的pid配置

hbase-env.sh

export HBASE_PID_DIR=/data/hadoop_data/pids


PID文件的命令規則大家可以從腳本中找到


我這裏並不是所有的pid文件路徑都沒有配置，需要配置的是MapReduce和yarn


2、集群中各節點服務啟動情況以及PID文件存在情況

192.168.10.101：

$ jps

194921 HMaster

194352 DFSZKFailoverController

539317 JobHistoryServer

193972 NameNode


存在的pid文件：

目錄/data/hadoop_data/pids

hadoop-hduser-namenode.pid

hadoop-hduser-zkfc.pid

hbase-hduser-master.pid


192.168.10.102：

$ jps

371963 DFSZKFailoverController

371811 NameNode

372121 HMaster


存在的pid文件：

目錄/data/hadoop_data/pids

hadoop-hduser-namenode.pid

hadoop-hduser-zkfc.pid

hbase-hduser-master.pid


192.168.10.103：

$ jps

500043 JournalNode

500164 NodeManager

522618 HRegionServer

499932 DataNode


存在的pid文件：

目錄/data/hadoop_data/pids

hadoop-hduser-datanode.pid

hadoop-hduser-journalnode.pid

hbase-hduser-regionserver.pid


192.168.10.104：

$ jps

234784 NodeManager

234636 JournalNode

235070 HRegionServer

234525 DataNode


存在的pid文件：

目錄/data/hadoop_data/pids

hadoop-hduser-datanode.pid

hadoop-hduser-journalnode.pid

hbase-hduser-regionserver.pid


192.168.10.105：

$ jps

310371 HRegionServer

48404 NodeManager

48285 JournalNode

48174 DataNode


存在的pid文件：

目錄/data/hadoop_data/pids

hadoop-hduser-datanode.pid

hadoop-hduser-journalnode.pid

hbase-hduser-regionserver.pid


192.168.10.106：

$ jps

100855 HRegionServer

435319 DataNode

435456 NodeManager


存在的pid文件：

目錄/data/hadoop_data/pids

hadoop-hduser-datanode.pid

hbase-hduser-regionserver.pid


192.168.10.107：

$ jps

410010 NodeManager

484955 HRegionServer

409847 DataNode


存在的pid文件：

目錄/data/hadoop_data/pids

hadoop-hduser-datanode.pid

hbase-hduser-regionserver.pid


三、下面是具體的操作步驟


以下所有操作都是在hadoop集群服務管理用戶hduser下操作的


1、生成PID文件

根據實際情況創建相應的PID文件


jps命令可以查看起著哪些服務，然後查看pid文件目錄/data/hadoop_data/pids，如果服務啟動但是沒有相應的pid文件，則需要創建該服務的pid文件。


echo PID > /tmp/mapred-hduser-historyserver.pid

/tmp/yarn-hduser-resourcemanager.pid

/tmp/yarn-hduser-nodemanager.pid


2、停止服務

這裏需要說的是hadoop+hbase+zookeeper集群服務啟動關閉順序


啟動順序

zookeepeer->hadoop->hbase


停止順序

hbase->hadoop->zookeepeer


登錄到192.168.10.101（主hbase服務器，主namenode服務器）

停止hbase集群

$ cd /data/hbase/bin

$ ./stop-hbase.sh


停止hadoop集群

$ cd /data/hadoop/sbin

$ ./stop-all.sh


停止MapReduce歷史記錄服務

$ cd /data/hbase/bin

$ ./mr-jobhistory-daemon.sh stop historyserver


3、修改配置文件

備份要修改的配置文件


修改配置文件

vim /data/hadoop/etc/hadoop/mapred-env.sh

添加：

export HADOOP_MAPRED_PID_DIR=/data/hadoop_data/pids


vim /data/hadoop/etc/hadoop/yarn-env.sh

添加：

export YARN_PID_DIR=/data/hadoop_data/pids


vim /data1/hadoop/etc/hadoop/hdfs-site.xml

修改如下：

<property>

<name>dfs.datanode.max.transfer.threads</name>

<value>8192</value>

</property>


添加如下：

<property>

<name>dfs.namenode.handler.count</name>

<value>40</value>

</property>

<property>

<name>dfs.datanode.handler.count</name>

<value>20</value>

</property>


vim /data/hbase/conf/hbase-env.sh

添加如下：

export HADOOP_HOME=/data/hadoop


vim /data/hbase/conf/hbase-site.xml

修改如下：

<property>

<name>hbase.rootdir</name>

<value>hdfs://masters/hbase</value>

</property>


在相應的配置文件目錄把配置文件拷貝到其他節點

$ for ip in 102 103 104 105 106 107;do scp /data/hadoop/etc/hadoop/mapred-env.sh 192.168.10.$ip:/data/hadoop/etc/hadoop/;done

$ for ip in 102 102 104 105 106 107;do scp /data/hadoop/etc/hadoop/yarn-env.sh 192.168.10.$ip:/data/hadoop/etc/hadoop/;done

$ for ip in 102 102 104 105 106 107;do scp /data/hadoop/etc/hadoop/hdfs-site.xml 192.168.10.$ip:/data/hadoop/etc/hadoop/;done

$ for ip in 102 102 104 105 106 107;do scp /data/hbase/conf/hbase-env.sh 192.168.10.$ip:/data/hbase/conf/;done

$ for ip in 102 102 104 105 106 107;do scp /data/hbase/conf/hbase-site.xml 192.168.10.$ip:/data/hbase/conf/;done


移除 HBase 裏面的不必要 log4j 的 jar 包

cd /data/hbase/lib

mv slf4j-log4j12-1.7.5.jar slf4j-log4j12-1.7.5.jar.bak


4、啟動服務

啟動hadoop集群

$ cd /data/hadoop/sbin

$ ./start-all.sh


啟動hbase集群

$ cd /data/hbase/bin

$ ./start-hbase.sh


啟動MapReduce歷史記錄服務

$ cd /data/hbase/bin

$ ./mr-jobhistory-daemon.sh start historyserver


5、驗證

查看pid文件


192.168.10.101

$ cd /data/hadoop_data/pids

$ ll

total 24

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-namenode.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-zkfc.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-master.pid

-rw-r--r-- 1 hduser hadoop 33 Jun 6 22:49 hbase-hduser-master.znode

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:49 mapred-hduser-historyserver.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-resourcemanager.pid


192.168.10.102

$ ll

total 12

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-namenode.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-zkfc.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-master.pid


192.168.10.103

$ ll

total 20

-rw-r--r-- 1 hduser hadoop 6 Jun 6 22:48 hadoop-hduser-datanode.pid

-rw-r--r-- 1 hduser hadoop 6 Jun 6 22:48 hadoop-hduser-journalnode.pid

-rw-r--r-- 1 hduser hadoop 6 Jun 6 22:49 hbase-hduser-regionserver.pid

-rw-r--r-- 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode

-rw-r--r-- 1 hduser hadoop 6 Jun 6 22:48 yarn-hduser-nodemanager.pid


192.168.10.104

$ ll

total 20

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-datanode.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-journalnode.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-regionserver.pid

-rw-r--r-- 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-nodemanager.pid


192.168.10.105

$ ll

total 20

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-datanode.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-journalnode.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-regionserver.pid

-rw-r--r-- 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-nodemanager.pid


192.168.10.106

$ ll

total 16

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-datanode.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-regionserver.pid

-rw-r--r-- 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-nodemanager.pid


192.168.10.107

$ ll

total 16

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-datanode.pid

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-regionserver.pid

-rw-r--r-- 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode

-rw-r--r-- 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-nodemanager.pid


查看調用是否正常


參考：

官網文檔：

http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/ClusterSetup.html


官網配置參考：

http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml


參考文章：

https://blog.csdn.net/qq_26091271/article/details/50411383

https://www.cnblogs.com/hanganglin/p/4563716.html

https://blog.csdn.net/odailidong/article/details/79656188

記錄一次生產環境hadoop集群優化以及pid文件缺失處理

相關推薦

記錄一次生產環境hadoop集群優化以及pid文件缺失處理

hadoop hbase pid 優化一、優化準備優化需要根據實際情況綜合分析1、關閉系統swap分區（如果未關閉的話）在Hadoop中，如果使用系統默認設置，會導致swap分區被頻繁使用，集群會不斷發出警告。對於每個作業處理的數據量和每個Task中用到的各種緩沖，用戶都是完全可控的。echo "v

一次生產環境搭建11g RAC的記錄

一、使用惠普3par工具配置共享儲存 該部分可由惠普工作人員協助配置，只需將需求告知即可。如果想自己配置，惠普廠商會發送相關的軟體工具以及操作手冊給使用者。 用putty登陸共享儲存，使用showpd -c可以檢視當前陣列櫃的容量及使用情況說明：當刪除已經建立的虛擬卷時，磁碟空間釋放得特別慢，所以在建立虛

k8s實踐9:一次失敗的kubernetes集群崩潰處理記錄

徹底 set face heal signal platform 什麽 vid request 1.莫名其妙的整個集群崩潰,所有命令無法執行,所有組件(controller-manager和scheduler兩個正常)都是啟動失敗.各種記錄和報錯,參考見下: [[email

一次生產環境下MongoDB備份還原數據

刪除 命令格式 type 庫存 功能 字符 導出文件 信息 fields 最近開發一個版本的功能當中用到了MongoDB分頁，懶於造數據，於是就研究了下從生產環境上導出數據到本地來進行測試。 研究了一下，發現MongoDB的備份還原和MySQL語法還挺類似，下面請看詳細介紹

生產環境swarm集群規劃和管理

單獨 code dock round 調度 目的 sans 創建 nod swarm集群角色swarm集群中有兩種角色，manager node和 worker ndoe。manager的功能：維護集群狀態任務調度為swarm集群提供HTTP API可以創建只有一個mana

記一次生產環境thrift服務的配置問題

用戶註冊 連接 數據庫連接 cif none 所有 selectors 請求超時 時間 問題現象 有客戶反饋我們的產品有時反應很慢，處理會出現超時。 問題分析過程 1.第一反應可能是用戶增加，並發量太大了，詢問了運營，最近用戶註冊數據並沒有猛增。 2.分析

記一次生產環境物理機磁碟/目錄被日誌打滿處理方式（logrotate失效）

#山東梅長蘇 監控發現物理機/目錄使用率一直100%，messages和secure日誌特別大，應用已無法啟動。logrotate不生效排查了好長時間，原來的處 理方式是logrotate /etc/logrotate.conf加-f強制執行，但這種方式並沒有

記一次生產環境CPU佔用飆高問題解決

1 問題來源與背景 問題背景，專案對外提供查詢航班艙位介面，對航信黑屏報文做正則解析返回。由於起初對正則不熟悉，對黑屏報文格式規律不清楚，導致寫了大量的長正則表示式，生產環境併發量上來（200/s），直

記一次生產環境記憶體故障排查

最近生產環境經常有個伺服器出現記憶體報警，上面跑了個java介面服務，但大概一段時間後會自動恢復。報警如下圖： 由於故障已自動恢

記錄一次生產釋出事件——(簡單的非空驗證也能引發大問題)

歡樂小插曲 ​ 時間定格在週四——常規釋出日下午三點，研發任務早已完成、測試也無大礙。這時，辦公室外走廊裡傳來了一陣急促的報警聲——“此大樓發生緊急情況，請各單位抓緊撤離”。像往常一樣刷刷部落格園，坐等釋出生產的我聞聽此聲，虎軀一震正準備要跑路，轉頭看向周圍的同事。大都很淡定的坐在工位上各自擼碼。於是收回我那

記一次生產環境大面積404問題！

## 寫在前面 釋出到線上的介面服務一直好端端的，今天突然運營反饋說很多功能無法正常使用。經過排查，發現前端呼叫後端介面時，部分接口出現404的現象。今天，我到公司比較晚，肯定是哪個小夥伴昨晚下班，走出辦公室前沒有祈禱伺服器不要出問題。要把這個人揪出來，吊在伺服器上——祭天！ 文章已收錄到： [http

Hadoop集群選擇合適的硬件配置

hadoop集群選擇合適的硬件配置為Hadoop集群選擇合適的硬件配置 隨著Apache Hadoop的起步，雲客戶的增多面臨的首要問題就是如何為他們新的的Hadoop集群選擇合適的硬件。盡管Hadoop被設計為運行在行業標準的硬件上，提出一個理想的集群配置不想提供硬件規格列表那麽簡單。 選擇硬件，為給定的負

記錄一次concurrent mode failure問題排查過程以及解決思路

tails only cnblogs 策略 executor red execute incr run 背景：後臺定時任務腳本每天淩晨5點30會執行一個批量掃庫做業務的邏輯。 gc錯誤日誌： 2017-07-05T05:30:54.408+0800: 518534

多線程系列七：記錄一次學習項目性能優化的過程及心得

安全問題 ota except dex 等等 exception family print 單個 一、項目背景和問題 有一個自適應的考試學習系統，對學員的學習要求經常考試進行檢查，學員的成績出來以後，老師會要求系統根據每個學員的考卷上錯誤的題目從容量為10萬左右的題庫中抽取

5-1企業級高可用集群介紹以及開源軟件應用

問題 主機 syn fail str -- 專業 unit cal HA Cluster:集群類型：LB(lvs/nginx(http/upstream,stream/upstream))、HA、HPSPoF：Single Point of Failure系統可用性的公式：

記錄一次zookeeper集群其中一節點在hbase web頁面中顯示Connection rese

hbase zookeeper 大數據 集群環境：nn1，view和dn1三節點部署的zookeeper集群，gezookeeper進程均已啟動hbase web頁面顯示zk_dump信息如下日誌輸出信息如下： shell> tail -f /var/log/zookeeper/zookee

生產環境一鍵創建kafka集群

create bsp zook pytho 不足 des ddr 命令 from 前段時間公司的一個kafka集群出現了故障，由於之前準備不足，當時處理的比較慌亂。如：由於kafka的集群裏topic數量較多，並且每個topic的分區數量和副本數量都不是一樣的，如果

ubuntu16.04搭建hadoop集群環境

address hadoop 集群 所有 ipv ret 加載文件 keygen -- manager 1. 系統環境Oracle VM VirtualBoxUbuntu 16.04Hadoop 2.7.4Java 1.8.0_111master：192.168.19.12

Amabari搭建Hadoop集群(一)

hdp ambari 一、系統環境1.系統版本[root@manager ~]# cat /etc/centos-release CentOS Linux release 7.4.1708 (Core)2.主機規劃主機名IP地址角色manager192.168.10.131ambari-serverv

在CentOS上安裝Hadoop集群（一）-- Centos系統配置

修改 AD vi命令 分享圖片 命令 wall eth0 host log 在CentOS上安裝Hadoop集群（一） 1、 Centos的系統配置 1.1打開終端方式： 方式1:在桌面單擊右鍵，>>Open in terminal 方式2:Appl