HDFS管理介面50070埠和HDFS元資料同步的奇妙關係
阿新 • • 發佈：2019-01-29
問題描述：在做巡檢時，驚恐發現主NameNode的元資料儲存目錄下無fsimage檔案。趕緊去備NameNode機器上看了一下，發現有fsimage_檔案正常生成啊。怎麼就沒同步成功呢。
問題處理：看日誌。發現備機會連主機的50070埠傳送同步指令
2016-09-06 08:01:08,013 INFO org.apache.hadoop.hdfs.server.namenode.TransferFsImage: Opening connection to http://master1:50070/getimage?putimage=1&txid=2132224193&port=50070&storageInfo=-40:1551331985:0:CID-268cf5e8-b57c-4df3-b02f-62ef8aabae5f
問題就出在，HDFS管理介面安全度太低，在公司的安全掃描通不過，但又必須整改。於是我們就想很取巧的把主備機的50070埠封了，只對管理員的電腦IP開通。於是問題就來，備機訪問不了主機的50070，傳送不了指令。主機無法獲得fsimage檔案。對備機開通50070埠的訪問控制即可解決問題。
PS：叢集是Hadoop 2.0.0-cdh4.1.2版本，比較老了。而且HA也沒用Journal。不知道新版本下或Journal做HA的時候，封50070埠，會不會帶來這樣問題。