大數據之---hadoop問題排查匯總終極篇---持續更新中
| RHEL6 | 角色 | jdk-8u45 |
| hadoop-2.8.1.tar.gz | ? | ssh |
| xx.xx.xx.xx ip地址 | NN | hadoop1 |
| xx.xx.xx.xx ip地址 | DN | hadoop2 |
| xx.xx.xx.xx ip地址 | DN | hadoop3 |
| xx.xx.xx.xx ip地址 | DN | hadoop4 |
| xx.xx.xx.xx ip地址 | DN | hadoop5 |
本次涉及偽分布式部署只是要主機hadoop1
?
2、啟動密鑰互信問題
HDFS啟動
[hadoop@hadoop01 hadoop]$ ./sbin/start-dfs.sh
Starting namenodes on [hadoop01]
RSA key fingerprint is 8f:e7:6c:ca:6e:40:78:b8:df:6a:b4:ca:52:c7:01:4b.
Are you sure you want to continue connecting (yes/no)? yes
hadoop01: Warning: Permanently added ‘hadoop01‘ (RSA) to the list of known hosts.
hadoop01: chown: changing ownership of `/opt/software/hadoop-2.8.1/logs‘: Operation not permitted
hadoop01: /opt/software/hadoop-2.8.1/sbin/hadoop-daemon.sh: line 159:
/opt/software/hadoop-2.8.1/logs/hadoop-hadoop-namenode-hadoop01.out: Permission denied
啟動如果有交互輸入密碼，不輸入報錯權限限制，這是因為我們沒有配置互信，
偽分布式即便在同一臺機器上面我們也需要配置ssh登陸互信。
非root用戶公鑰文件權限必須是600權限（root除外）
在hadoop用戶配置ssh免密碼登陸
| [hadoop@hadoop01 .ssh]$ cat id_rsa.pub? > authorized_keys [hadoop@hadoop01 hadoop]$ ssh hadoop01 date [hadoop@hadoop01 hadoop]$ ./sbin/start-dfs.sh |
?
3、進程process information unavailable 問題
分兩種情況：1、進程不存在，且process information unavailable
????????????????????????????? 2、進程存在? 報process information unavailable
對於第一種情況：
| [hadoop@hadoop01 sbin]$ jps [hadoop@hadoop01 hsperfdata_hadoop]$ ls /tmp/hsperfdata_hadoop 裏面記錄jps顯示的進程號，如果此時jps看到報錯[hadoop@hadoop01 tmp]$ jps 查詢異常進程是否存在 [hadoop@hadoop01 tmp]$ ps -ef |grep 3330 |
對於進程不存在了，ok去/tmp/hsperfdata_xxx刪除文件， 直接重新啟動進程。。
?
| jps查詢的是當前用戶的 hsperfdata_當前用戶/文件 [hadoop@hadoop01 hadoop]$ jps???????????? -----切換hadoop用戶查看進程 這個情況是查看的用戶不對，hadoop查看jps不是運行用戶查看，這個情況是不需要進行任何處理，服務運行正常 |
總結：對應process information unavailable報錯，處理：
1.查看進程是否存在 （進程不存在，刪/tmp/hsperfdata_xxx,重新啟動進程）
2.如果進程存在，查看存在的進程運行用戶，如果不是當前用戶 切換用戶後重新運行jps
大數據之---hadoop問題排查匯總終極篇---持續更新中