Hadoop基礎之新節點的服役與舊節點的退役

Hadoop基礎之新節點的服役與舊節點的退役

修改節點之停止服務修改

• 停止服務
• 配製ssh免密登入
• 修改同步指令碼
• 修改hosts檔案
• 修改slaves檔案
• 格式化
• 重新啟動服務

修改節點之熱部署修改

• 服役新節點
• 建立一個新節點、修改IP、主機名
• 配製ssh免密登入
• 修改hosts檔案，同步到所有節點
• 建立一個檔案，檔名自擬，放置在想放的路徑下
• 編輯檔案，檔案內容為已經上線的DataNode節點名，以及要新增的全部節點
• 修改hdfs-size.xml檔案
• dfs.hosts

<property>
    <name>dfs.hosts</name>
    <value>a檔案的路徑</value>
</property>

• 修改slaves檔案，將新節點名寫入
• 同步修改過的檔案
• 重新整理節點
• hdfs dfsadmin -refreshNodes
• yarn rmadmin -refreshNodes
• 在新節點啟動服務
• hadoop-daemon.sh start datanode
• 驗證
• 在WebUI介面檢視新節點是否處於In Service 狀態
• 如果資料不均衡
• start-balancer.sh
• 退役舊節點
• 建立一個檔案，檔名自擬，放置在想放的路徑下
• 編輯檔案，檔案內容為要退役節點的節點名
• 修改hdfs-size.xml檔案
• dfs.hosts.exclude

<property>
    <name>dfs.hosts.exclude</name>
    <value>檔案的路徑</value>
</property>

• 修改slaves檔案，刪除要退役的節點
• 同步修改過的檔案
• 重新整理節點
• hdfs dfsadmin -refreshNodes
• yarn rmadmin -refreshNodes
• 驗證
• 退役的節點進入正在退役狀態
• 正在退役的節點將已有資料分配給其他節點
• 當退役節點從正在退役狀態轉變成已退役狀態，資料遷移已經完成，節點變成不可用狀態
• 此時，退役節點對其他節點具有可見性，但退役節點不再可用，有資料上傳也不會向退役節點進行儲存
• 如果叢集重啟服務，退役節點將不具有可見性，徹底脫離叢集
• 關閉退役節點的服務
• hadoop-daemon.sh stop datanode