Hadoop節點遷移
阿新 • • 發佈：2018-05-13
set oop type ima 提示 data manage sudo 負載 增刪節點 數據遷移
一、所有事情開始之前，先要備份好cloudera manager的數據庫，以及hadoop集群中的一些組件帶的數據庫。這裏保存了很多元數據，像hive這種丟了很麻煩的。
![技術分享圖片]()
二、如果需要換nameNode的存儲目錄
1、備份nameNode原始數據
cp -r /ddhome/dfs/nn /ddhomebak/
#Hive Metastore NameNodes #未找到該命令（刷新hive的hdfs設置）
重啟後，如果有數據問題，則會hdfs會進入安全模式。可以使用下面這個命令接觸。
實際過程中還報了一個：不能寫入temp/.XXX目錄的一個錯誤。實際就是安全模式無法寫入。
sudo -uhdfs hdfs dfsadmin -safemode leave
切換數據存儲目錄 需要手動把數據文件復制過去
cp -r /ddhome/dfs/ /home/hdfs/
cp -r /ddhome/dfs/dn /home/hdfs/dfs
cp -r /ddhome/dfs/dn /ddhome/dfs_bak
![技術分享圖片]()
三、數據整理（根據需要進行）
1、先把數據備份成三分
hadoop dfs -setrep -w 3 -R /
2數據均衡
https://bbs.aliyun.com/detail/335179.html?page=e
1.對hdfs負載設置均衡，因為默認的數據傳輸帶寬比較低，可以設置為64M，
hdfs dfsadmin -setBalancerBandwidth 67108864
2.默認balancer的threshold為10%，即各個節點存儲使用率偏差不超過10%，我們可將其設置為5%;然後啟動Balancer,sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可
#./start-balancer.sh -threshold 5
hdfs balancer -threshold 1 #這個是機器資源使用率的差額，如果設置太小，可能不會遷移
#詳細使用請參照下面這篇博客
HDFS的Block數據balancer重分布實戰 - CSDN博客
=============================================================================
四、hadoop組件遷移：
1、可以有多個主節點的主鍵，可以先添加好備用的主鍵節點。然後重啟，等備用節點完全同步了主節點之後，就可以停止老的主幾點了。會自動切換到新的主節點上。這個時候就可以刪除老的主節點了。
zk、hbase、hdfs、yarn、hive（Hive Metastore Server和HiveServer2都可以）。
2、一些機器不相關的組件，可以直接刪除了，加入新機器之後，直接在新的節點上重新裝這部分組件。
典型的有yarn、spark on yarn、hue、
3 比較難遷移的就是hdfs。因為它涉及到真正的數據存儲在哪個位置。
需要一個節點一個節點的：停止---數據同步到其他節點----刪除這節點。
這裏要註意：nameNode角色遷移，刪除老節點之後，整個hdfs就鎖死不能進行操作了。因為刪除該節點之後，hdfs沒有自動進行配置修改，它任然是高可用模式，你做什麽操作 它都提示錯誤不能進行。需要手動到hdfs的配置裏面把高可用相關的配置全部去除掉。然後重新添加新節點上的nameNode。可以在這個時候直接進行高可用部署方式。
Hadoop節點遷移