mac osx 系統 brew  install hadoop 安裝指南

1. brew install hadoop 
2. 配置 core-site.xml:配置hdfs檔案地址（記得chmod 對應資料夾，否則無法正常啟動hdfs）和namenode的rpc通行埠
3. 配置mapred-site.xml  中的map reduce通訊埠
4. 配置hdfs-site.xml 中的datanode 副本數。
5. 格式化hdfs檔案系統
6. 啟動Hadoop 和 yarn  namenode  datanode  mapred , 即：執行 start_all.sh
7. （可選）在hdfs中建立當前使用者的地址：  hadoop fs -mkdir -p /user/fan
8. 開工，web ui 地址預設為：http://localhost:50070。

遇到的問題： 一， 如在hdfs -put ~/file  fileonhdfs 時， 出現error：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir           原因是：

1.   core-site.xml中設定的檔案系統已滿，需重新設定，並再次-format。
2.   core-site.xml中設定的hdfs檔案系統所在資料夾需要chmod 777 

二， 如在hadoop fs -ls . 命令時出現： ls: '.': No such file or directory'

1. 請執行：  hadoop fs -mkdir -p /user/[current login user]

配置檔案demo：

配置core-site.xml、hdfs-site.xml、mapred-site.xml

* core-site.xml:

Xml程式碼  

1. <configuration>  
2. <property>  
3.   <name>hadoop.tmp.dir</name>  
4.   <value>/usr/local/tmp/hadoop/hadoop-${user.name}</value>  
5.   <description>A base for other temporary directories.</description>  
6. </property>  
7. <property>  
8.         <name>fs.default.name</name>  
9.         <value>hdfs://localhost:8020</value>  
10. </property>  
11. </configuration>  

* hdfs-site.xml:

Xml程式碼  

1. <configuration>  
2.     <property>  
3.         <name>dfs.replication</name>  
4.         <value>1</value>  
5.     </property>  
6. </configuration>  

* mapred-site.xml:

Xml程式碼  

1. <configuration>  
2.     <property>  
3.         <name>mapred.job.tracker</name>  
4.         <value>localhost:8021</value>  
5.     </property>  
6.     <property>  
7. </configuration>  

其實這些都是基本配置， 網上一大把。配置的值的說明可以參考這3個地址：

 寫道 http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html 2.3）格式化hadoop的檔案系統hdfs。 執行命令 hadoop namenode -format