hadoop安裝與配置()
此步驟是在虛擬機器上所做的實驗
第一步:關閉防火牆
首先進入特權使用者模式, service iptables stop :關閉防火牆 chkconfig iptables off :關閉開機啟動防火牆 service iptables status :檢視防火牆狀態
第二步:設定網路
首先在虛擬機器的"編輯"工具欄中找到虛擬網路設定,進入"NET模式"檢視一下本機的IP地址和閘道器,然後進入虛擬機器,右鍵點選虛擬機器頂部的兩個重疊的電腦圖示,點選"edit connections",選中’‘System eth0’’,選擇"IPv4"進入後點擊下拉框,選擇"manual",add輸入你要設定的IP地址,子網掩碼,閘道器(除IP地址外其餘均與本機相同)應用退出。
第三步:設定主機名
在特權使用者模式下進行操作以防許可權不足,首先進入network檔案,將檔案中第二行等號後面的"localhost.localdomain"修改為你想建立的主機名;儲存退出後進入hosts檔案,在檔案的最後另起一行,輸入你設定的IP地址再輸入你的主機名如下圖: “ping 主機名”(如:ping node1)進行檢測。
第四步:ssh 免密登陸
為防止許可權問題從這一步開始使用普通使用者進行操作,cd 一下進入使用者目錄輸入命令’cd .ssh/‘進入.ssh目錄下,輸入命令’ssh-keygen -f rsa’(生成公私鑰)在.ssh目錄下會出現兩個檔案,將字尾為.pub的檔案複製到authorized_keys中,然後重啟(在特權使用者模式下輸入命令’reboot’)。
第五步:配置jdk和hadoop路徑
首先在你的使用者目錄下建立兩個資料夾以我為例建立java和hadoop,分別放入jdk和hadoop的壓縮檔案,使用命令’tar zxvf 壓縮包名稱’進行解壓縮,建議對解壓完成之後的檔案重新命名(簡單一點以後好用如我的:jdk和hadoop)。然後輸入命令’vim ~/.bashrc’進入使用者資料夾下的.bashrc檔案設定以下內容: 安裝路徑根據自己的情況進行修改。完成之後輸入命令’source ~/.bashrc’進行啟動,檢測jdk的命令是’java -version’檢測Hadoop的命令是’hadoop’。
第六步:配置檔案
本步驟一共需要配置6個檔案,在配置檔案之前先在hadoop安裝目錄下新建一個tmp目錄,後面有用。進入hadoop安裝目錄下的etc目錄,再進入hadoop目錄,然後ls檢視此目錄下的檔名稱,進行檔案配置。
在檔案第25行"export JAVA_HOME=${JAVA_HOME}",此處要將等號後面的部分修改為你的jdk的安裝路徑(就是在.bashrc中設定的路徑)。
在檔案的第23行有"#export JAVA_HOME=/home/…“將前面的”#"號刪除並對齊,將等號後面的地址修改為正確的地址。
第三個:hdfs-site.xml
如下圖: 裡面的地址根據自己的情況進行修改。
第四個:yarn-site.xml
如下圖:
第五個:core-site.xml
如下圖: 此處tmp目錄地址根據自己建立的情況進行修改。
第六個:mapred-site.xml
原資料夾中沒有mapred-site.xml檔案,但有一個檔案叫做mapred-site.xml.t…(可以使用tab鍵進行補全),將這個檔案重新命名為我們需要的檔名。修改內容如下圖:
第七步:格式化與啟動
進入hadoop安裝目錄下的bin目錄輸入命’hadoop namenode -format’進行格式化,如果沒有錯誤,則進入hadoop 安裝目錄下的sbin目錄,先啟動"start-dfs.sh"指令碼,再啟動"start-all.sh"指令碼。
第八步:結果檢測
輸入命令’jps’進行檢測,會有6項,如果沒有執行’start-dfs.sh’指令碼,只執行了’start-all.sh’指令碼,出現5項也是可以的。