2.Hadoop叢集安裝進階
阿新 • • 發佈:2018-12-15
Hadoop進階
1.配置SSH免密
(1)修改slaves檔案
切換到master機器,本節操作全在master進行。
進入/usr/hadoop/etc/hadoop目錄下,找到slaves檔案,修改:
slave1
slave2
slave3
(2)傳送公鑰
進入根目錄下的.ssh目錄:
生成公私鑰
ssh-keygen -t rsa
會生成兩個檔案:id.rsa id.rsa.pub
傳送
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
ssh-copy-id slave3
在四臺機器上的.ssh目錄下,都會生成authorized_keys檔案
2.配置叢集集中啟動、關閉
(1)開啟
start-dfs.sh
(2)關閉
stop-dfs.sh
3.hdfs 檔案目錄命令
命令 | 含義 | 例項 | 含義 |
---|---|---|---|
hadoop fs -ls 目錄 | 檢視某個目錄下所有檔案和子目錄 | hadoop fs -ls / | 檢視根目錄 |
hadoop fs -put 本機檔案 目錄 | 上傳本機檔案到hdfs目錄下 | hadoop fs -put hello.txt / | 把hello.txt上傳到hdfs根目錄下 |
hadoop fs -rm 檔案或目錄 | 刪除檔案或目錄 | hadoop fs -rm /hello.txt | 刪除hello.txt |
hadoop fs -text 文字檔案 | 檢視文字檔案 | hadoop fs -text /hello.txt | 檢視hello.txt內容 |