hadoop在ubuntu上的安裝流程
- 更新源列表
打開"終端窗口",輸入"sudo apt-get update"-->回車-->"輸入當前登錄用戶的管理員密碼"-->回車,就可以了。
- 安裝openssh-server
在終端中輸入: sudo apt-get install openssh-server
- 查看查看ssh服務是否啟動
打開"終端窗口",輸入"sudo ps -e |grep ssh"-->回車-->有sshd,說明ssh服務已經啟動,如果沒有啟動,輸入"sudo service ssh start"-->回車-->ssh服務就會啟動。
沒有找到ssh服務。
然後再輸入上述命令,查詢ssh服務。
第二部分,安裝Hadoop
在linux打開火狐瀏覽器,輸入地址http://hadoop.apache.org,打開hadoop的頁面,在Getting Started的下面有個Downdoad鏈接,點擊
選擇2.9.0, 2.9.1或者2.8.3, 2.7.6幾個2.X版本中的一個 binary鏈接,進入
點擊第一個鏡像鏈接,進入下載頁面
3、進入下載安裝包的目錄
cd /home/wangbin/Downloads
4、執行解壓命令
查看Downloads目錄下的文件和目錄,會看到多了一個目錄hadoop-2.9.0,這是安裝包解壓後的目錄
5、將hadoop-2.9.0目錄轉移到usr/local/hadoop
6、查看usr/local/hadoop目錄下的結構
bin:Hadoop最基本的管理腳本和使用腳本所在目錄,這些腳本是sbin目錄下管理腳本的基礎實現,用戶可以直接使用這些腳本管理和使用hadoop
etc:Hadoop配置文件所在目錄,包括core-site.xml, hdfs-site.xml, mapred-site.xml等從hadoop1.0繼承而來的配置文件和yarn-site.xml等hadoop 2.0新增的配置文件
include:對外提供的編程酷頭文件(具體動態庫和靜態庫在lib目錄中),這些頭文件均是用c++定義的,通常用於c++程序訪問hdfs或者編寫mapreduce程序
lib:該目錄包含了Hadoop對外提供的的編程動態庫和靜態庫,與include目錄中的頭文件結合使用。
libexec:各個服務對應的shell配置文件所在目錄,可用於配置日誌輸出目錄,啟動參數(比如JVM參數)等基本信息。
sbin:Hadoop管理腳本所在目錄,主要包含HDFS和YARN中各類服務的啟動/關閉腳本
share:Hadoop各個模塊編譯後的jar包所在目錄
7、設置Hadoop環境變量
- 編輯~/.bashrc
增加如下代碼
讓環境變量立刻生效
8、修改Hadoop配置設置文件
下面要配置Hadoop,包括Hadoop-env.sh, core-site.xml, yarn-site.xml, mapred-site.xml, hdfs-site.xml
8.1 編輯Hadoop-env.sh
將原文本文件中的JAVA_HOME的設置改成JDK真實的地址
8.2 設置core-site.xml
8.3 修改yarn-site.xml
8.4 修改mapred-site.xml
8.5 設置Hdfs-site.xml
用於設置HDFS分布式文件系統,
9、重啟虛擬機
10、創建並格式化HDFS目錄
10.1 創建NameNode數據存儲目錄
10.2 創建DataNode數據存儲目錄
10.3 將Hadoop目錄的所有者更改
11、編輯網絡配置文件設置固定IP
11.1 編輯interfaces網絡配置文件
設置網卡eth0的地址
11.2設置hostname
設置主機名
11.3 設置hosts
設置節點的主機名和相對應的IP地址
11.4 增加masters文件
11.5 增加slaves文件
更多資深講師相關課程資料、學習筆記請入群後向管理員免費獲取,更有專業知識答疑解惑。入群即送價值499元在線課程一份。
QQ群號:560819979
敲門磚(驗證信息):霸王別姬
hadoop在ubuntu上的安裝流程