• HDFS-叢集遷移
  • Apache和Apach叢集間資料拷貝
    • scp實現兩個遠端主機之間的檔案複製
    • distcp命令實兩個Hadoop叢集之間的遞迴資料複製

HDFS-叢集遷移

Apache和Apach叢集間資料拷貝

scp實現兩個遠端主機之間的檔案複製

本機的檔案push出去

scp -r hello.txt root@hadoop102:/user/ranan/hello.txt

把其他主機的檔案pull進來

scp -r root@hadoop102:/user/ranan/hello.txt hello.txt //

通過本地主機中轉實現兩個遠端主機的檔案複製，適用於兩個遠端主機之前ssh沒有配置的情況

scp -r root@hadoop102:/user/ranan/hello.txt root@hadoop103:/user/ranan
 

distcp命令實兩個Hadoop叢集之間的遞迴資料複製

hadoop中類似與scp的命令
假設hadoop102 hadoop103 hadoop104一個叢集，NameNode在hadoop102
假設hadoop105 hadoop106 hadoop107一個叢集，NameNode在hadoop105

# 這裡的地址都是NameNode的地址，hadoop102是源地址 hadoop105是目標地址
hadoop distcp hdfs://hadoop102:8020/user/atguigu/hello.txt  hdfs://hadoop105:8020/user/atguigu/hello.txt