hadoop-2.7.4-翻譯文件-叢集部署
阿新 • • 發佈:2018-12-18
準備
JDK。
SSH。
下載hadoop-2.7.4.tar.gz
本地模式
1.tar開hadoop包
$>tar -zxvf hadoop-2.7.4.tar.gz
2.配置環境變數
[etc/environment]
PATH=...:hadoop_path/bin:hadoop_path/sbin
HADOOP_HOME=hadoop_path
3.驗證安裝
$>hadooop
偽分散式
1.修改配置檔案
[hadoop_home/etc/hadoop/core-site.xml] <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> [hadoop_home/etc/hadoop/hdfs-site.xml] <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
2.配置無祕登入
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
驗證 $>ssh localhost
3.執行
以下操作指導採用本地MapReduce程式執行mr作業,如果要使用YARN執行,請配置單節點YARN 。
1.格式化檔案系統: $>hdfs namenode -format 2.啟動NameNode守護程序和DataNode守護程序: $>start-dfs.sh (用jps命令,需要有如下java程序正確啟動: $>jps ... xxx NameNode xxx SecondaryNamenode xxx DataNode) 注:hadoop守護程式日誌儲存為${HADOOP_LOG_DIR}目錄,預設為${HADOOP_HOME}/logs。 3.瀏覽NameNode的WebUI;,預設地址: http://localhost:50070/ 4.本地mr作業執行 1)建立執行mr作業需要的目錄: $>hdfs dfs -mkdir -p /user/username/mrInput $>hdfs dfs -mkdir -p /user/username/mrOutput 2)將mr作業原始檔匯入到hdfs: $>hdfs dfs -put /aimFile 3)執行mr例項(mr程式碼需提前編寫): $>hadoop jar wordcount.jar wordcount.WordCount /user/username/mrInput /user/username/mrOutput 4)檢查輸出檔案: 將輸出檔案從分散式檔案系統下載到本地: $>hdfs dfs -get /user/username/mrOutput/... 也可以直接在hdfs上檢視: $>hdfs dfs -cat /user/username/mrOutput/... 5.工作完成後,關閉守護程序: $>stop-dfs.sh
4.單節點YARN
注:2.7.4版本存在nodemanager無法啟動問題,解決方案請參照:
1.通過引數以便啟用YARN服務,守護程序包括ResourceManager和NodeManager。 [hadoop_home/etc/hadoop/mapred-site.xml] <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> [hadoop_home/etc/hadoop/yarn-site.xml] <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 2.啟動ResourceManager和NodeManager守護程式: $>start-yarn.sh 3.訪問ResourceManager的WebUI; 預設情況地址為: http://localhost:8088/ 4.執行MapReduce作業。 5.作業完成後,關閉守護程序: $>stop-yarn.sh
完全分散式
參照連線 [http://blog.csdn.net/anyuzun/article/details/78022887 ]
高可用叢集
qjm高可用參照 [http://blog.csdn.net/anyuzun/article/details/78065434 ]
yarn高可用參照 [http://blog.csdn.net/anyuzun/article/details/78069399 ]
附qjm高可用最簡配置[http://download.csdn.net/download/anyuzun/9991582 ]