hadoop單機模式的構建、配置與執行測試步驟(ubuntu14.04)
PS:全程以root的角色進行配置安裝
本篇文章的前期準備工作可以看我之前的部落格連結:
參照上面兩篇文章,設定好機器環境和準備好檔案包,這篇文章是以下載好相應的jdk、hadoop檔案的前提下進行直接安裝和環境配置!
第一部分:安裝JAVA
建立目錄/usr/lib/java,複製jdk檔案到該目錄下解壓jdk檔案,操作截圖如下所示:
修改環境變數:
執行命令source ~/.bashrc命令使配置檔案修改生效,並檢驗java是否安裝成功:
第二部分 配置Hadoop單機模式
1.1安裝並配置
ssh,Hadoop是採用ssh通訊,安裝ssh,執行命令:
安裝成功之後,啟動ssh服務,執行ps -e | grep ssh檢視服務啟動:
sshd服務沒有啟動,關於這個問題,我的操作方方法如下:
1.解除安裝ssh:apt-get purge ssh
2.安裝如下ssh服務:apt-get install openssh-client 與 apt-get install openssh-server
執行完上訴兩步,執行命令:
/etc/init.d/ssh start 啟動ssh服務
通過命令ps -e | grep ssh,檢視ssh服務
PS:如果情況上圖所示或者沒有任何服務,個人建議重啟機器,執行啟動ssh服務與檢視命令!
我操作結果如下,能成功啟動ssh服務:
SSH正常啟動後。設定免密登入,生成私鑰和公鑰,操作步驟如下:
在/root/.ssh中生成兩個檔案:id_rsa和id_rsa.pub,id_rsa為私鑰,id_rsa.pub為公鑰,將公鑰id_rsa.pub追加到authorized_keys中,因為authorized_keys用於儲存所有允許以當前使用者身份登入到客戶端的公鑰內容並驗證能否免密登入:
連線的時候彈出:Connection refused。這種問題可能是由於防火牆沒有關,執行命令如下:
然後在執行命令:ssh localhost,截圖如下:
如上圖所示表示登入成功,執行命令:exit,退出localhost:
2.2安裝rsync
2.3安裝並配置hadoop
由於我建立的共享目錄,設定了只讀許可權,我進行如下操作來解壓hadoop壓縮檔案,截圖如下:
建立目錄:/usr/local/hadoop執行命令:mkdir /usr/local/hadoop,由於我建立個該目錄,截圖中缺少該步驟,把解壓的檔案移動到建立的目錄中,在圖中紅色標註了:
在hadoop-env.sh中配置安裝資訊。執行圖中步驟,顯示該檔案中的資訊,截圖如下:
執行命令:gedit hadoop-env.sh,在檔案中新增的資訊如下圖所示:
執行命令:source hadoop-env.sh,使修改的配置資訊生效。
為了方便開機啟動時可以立即使用hadoop的病目錄下的相關命令,可以把bin目錄配置到“~/.bashrc”檔案中,開啟啟動系統自動讀取“~/.bashrc”檔案的內容,就可以隨時使用hadoop名。執行命令:gedit ~/.bashrc,修改檔案配置如下所示:
執行命令:source ~/.bashrc檢驗hadoop配置成功如下:
第三部分 執行Hadoop自帶的WordCount例子
在hadoop的目錄(usr/local/hadoop/hadoop-1.2.1)下建立一個input目錄,並把conf下的所有檔案複製到該目錄下,然後使用hadoop命令執行自帶的wordcount程式把結果輸出到output中,操作截圖如下:
執行完部分截圖:
執行檢視執行結果命令:
上述命令執行後顯示出wordcount執行中input中若干個檔案中單詞統計結果,給出結果部分的一部分截圖:
至此,單機模式的構建、配置和執行測試徹底成功!以上都是自己實際操作和問題處理,如有問題可以私信我!