1. 程式人生 > >hadoop在ubuntu上的安裝流程

hadoop在ubuntu上的安裝流程

com openss jar ubuntu 分布式文件 c51 eno 分享 2.7.6

第一部分 安裝ssh服務

  1. 更新源列表

打開"終端窗口",輸入"sudo apt-get update"-->回車-->"輸入當前登錄用戶的管理員密碼"-->回車,就可以了。

技術分享圖片

  1. 安裝openssh-server

在終端中輸入: sudo apt-get install openssh-server
技術分享圖片

  1. 查看查看ssh服務是否啟動

打開"終端窗口",輸入"sudo ps -e |grep ssh"-->回車-->有sshd,說明ssh服務已經啟動,如果沒有啟動,輸入"sudo service ssh start"-->回車-->ssh服務就會啟動。

技術分享圖片

沒有找到ssh服務。

技術分享圖片

然後再輸入上述命令,查詢ssh服務。

技術分享圖片

技術分享圖片

第二部分,安裝Hadoop

在linux打開火狐瀏覽器,輸入地址http://hadoop.apache.org,打開hadoop的頁面,在Getting Started的下面有個Downdoad鏈接,點擊

技術分享圖片

選擇2.9.0, 2.9.1或者2.8.3, 2.7.6幾個2.X版本中的一個 binary鏈接,進入

技術分享圖片

技術分享圖片

點擊第一個鏡像鏈接,進入下載頁面

3、進入下載安裝包的目錄

cd /home/wangbin/Downloads

4、執行解壓命令

技術分享圖片

查看Downloads目錄下的文件和目錄,會看到多了一個目錄hadoop-2.9.0,這是安裝包解壓後的目錄

技術分享圖片

5、將hadoop-2.9.0目錄轉移到usr/local/hadoop

技術分享圖片

6、查看usr/local/hadoop目錄下的結構

技術分享圖片

bin:Hadoop最基本的管理腳本和使用腳本所在目錄,這些腳本是sbin目錄下管理腳本的基礎實現,用戶可以直接使用這些腳本管理和使用hadoop

etc:Hadoop配置文件所在目錄,包括core-site.xml, hdfs-site.xml, mapred-site.xml等從hadoop1.0繼承而來的配置文件和yarn-site.xml等hadoop 2.0新增的配置文件

include:對外提供的編程酷頭文件(具體動態庫和靜態庫在lib目錄中),這些頭文件均是用c++定義的,通常用於c++程序訪問hdfs或者編寫mapreduce程序

lib:該目錄包含了Hadoop對外提供的的編程動態庫和靜態庫,與include目錄中的頭文件結合使用。

libexec:各個服務對應的shell配置文件所在目錄,可用於配置日誌輸出目錄,啟動參數(比如JVM參數)等基本信息。

sbin:Hadoop管理腳本所在目錄,主要包含HDFS和YARN中各類服務的啟動/關閉腳本

share:Hadoop各個模塊編譯後的jar包所在目錄

7、設置Hadoop環境變量

  1. 編輯~/.bashrc

技術分享圖片

增加如下代碼

讓環境變量立刻生效

技術分享圖片

8、修改Hadoop配置設置文件

下面要配置Hadoop,包括Hadoop-env.sh, core-site.xml, yarn-site.xml, mapred-site.xml, hdfs-site.xml

8.1 編輯Hadoop-env.sh

技術分享圖片

將原文本文件中的JAVA_HOME的設置改成JDK真實的地址

技術分享圖片

8.2 設置core-site.xml

技術分享圖片

技術分享圖片

8.3 修改yarn-site.xml

技術分享圖片

技術分享圖片

8.4 修改mapred-site.xml
技術分享圖片

技術分享圖片

技術分享圖片

8.5 設置Hdfs-site.xml

用於設置HDFS分布式文件系統,

技術分享圖片

技術分享圖片

9、重啟虛擬機

10、創建並格式化HDFS目錄

10.1 創建NameNode數據存儲目錄

技術分享圖片

10.2 創建DataNode數據存儲目錄

技術分享圖片
10.3 將Hadoop目錄的所有者更改

技術分享圖片

技術分享圖片

技術分享圖片

11、編輯網絡配置文件設置固定IP

11.1 編輯interfaces網絡配置文件

技術分享圖片

設置網卡eth0的地址

技術分享圖片

11.2設置hostname

技術分享圖片

設置主機名

技術分享圖片

11.3 設置hosts

設置節點的主機名和相對應的IP地址

技術分享圖片

技術分享圖片

11.4 增加masters文件

技術分享圖片

技術分享圖片

11.5 增加slaves文件

技術分享圖片

技術分享圖片


更多資深講師相關課程資料、學習筆記請入群後向管理員免費獲取,更有專業知識答疑解惑。入群即送價值499元在線課程一份。

QQ群號:560819979

敲門磚(驗證信息):霸王別姬

hadoop在ubuntu上的安裝流程