linux上hadoop安裝教程
1、安裝SSH、配置SSH無密碼登陸
一般來說linux上的ssh是預設安裝的,如果沒有安裝,可以輸入以下命令安裝。
sudo yum install openssh-clients
sudo yum install openssh-server
安裝完成以後, 可以嘗試登入以下 ssh localhost 然後輸入密碼。
確認以上步驟無誤後,進行下一步,生成祕鑰,並儲存。 exit # 退出剛才的 ssh localhost cd ~/.ssh/
2、安裝jdk。
安裝jdk屬於比較通用得操作,網上教程也很多,就不贅述了。簡單來說就是下載包,解壓,配置環境變數,檢查安裝結果。
3、安裝hadoop
首先是下載,解壓。不多說。可以執行以下例項看看hadoop包能不能正常執行,命令如下:
cd /xxxx/hadoop-x.x.x # 進入hadoop檔案目錄 mkdir ./input cp ./etc/hadoop/*.xml ./input # 將配置檔案作為輸入檔案 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
這樣就算可以程式沒問題了。(溫馨提示:測完記得刪除)
程式沒問題就可以配置環境變量了。
export HADOOP_HOME=/xxxx/hadoop-x.x.x
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
source /etc/profile #記得載入新修改得環境變數
修改好環境變數以後,修改hadoop配置
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
配置完成以後格式化名稱節點,然後開啟守護程序(用jps命令來檢查啟動結果
)
./bin/hdfs namenode -format
./sbin/start-dfs.sh
4、啟動yarn
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
先使用模版的配置檔案,然後編輯配置檔案
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
執行以下命令啟動yarn
./sbin/start-yarn.sh $ 啟動YARN
./sbin/mr-jobhistory-daemon.sh start historyserver # 開啟歷史伺服器,才能在Web中檢視任務執行情況
最後送兩個url