1. 程式人生 > >2.Hadoop叢集安裝進階

2.Hadoop叢集安裝進階

Hadoop進階

1.配置SSH免密

(1)修改slaves檔案

切換到master機器,本節操作全在master進行。

進入/usr/hadoop/etc/hadoop目錄下,找到slaves檔案,修改:

slave1
slave2
slave3

(2)傳送公鑰

進入根目錄下的.ssh目錄:

  1. 生成公私鑰

    ssh-keygen -t rsa

    會生成兩個檔案:id.rsa id.rsa.pub

  2. 傳送

    ssh-copy-id master

    ssh-copy-id slave1

    ssh-copy-id slave2

    ssh-copy-id slave3

    在四臺機器上的.ssh目錄下,都會生成authorized_keys檔案

2.配置叢集集中啟動、關閉

(1)開啟

start-dfs.sh

(2)關閉

stop-dfs.sh

3.hdfs 檔案目錄命令

命令 含義 例項 含義
hadoop fs -ls 目錄 檢視某個目錄下所有檔案和子目錄 hadoop fs -ls / 檢視根目錄
hadoop fs -put 本機檔案 目錄 上傳本機檔案到hdfs目錄下 hadoop fs -put hello.txt / 把hello.txt上傳到hdfs根目錄下
hadoop fs -rm 檔案或目錄 刪除檔案或目錄 hadoop fs -rm /hello.txt 刪除hello.txt
hadoop fs -text 文字檔案 檢視文字檔案 hadoop fs -text /hello.txt 檢視hello.txt內容