Hadoop入坑記

按照官方給的偽分散式配置

etc/hadoop/core-site.xml:

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

進行配置會出問題

正確的配置如下：

還有一個地方需要修改的就是/etc/hosts

其他地方不需要進行修改

前面配置好hadoop後，在使用中發現一個問題。就是每次啟動都需要格式化，不然namenode就無法啟動。

在網上找到了相應的解決方法http://blog.csdn.net/bychjzh/article/details/7830508

內容如下：

  最近遇到了一個問題，執行start-all.sh的時候發現JPS一下namenode沒有啟動
        每次開機都得重新格式化一下namenode才可以
        其實問題就出在tmp檔案，預設的tmp檔案每次重新開機會被清空，與此同時namenode的格式化資訊就會丟失
        於是我們得重新配置一個tmp檔案目錄
        首先在home目錄下建立一個hadoop_tmp目錄
                sudo mkdir ~/hadoop_tmp
        然後修改hadoop/conf目錄裡面的core-site.xml檔案，加入以下節點：
                <property>
                        <name>hadoop.tmp.dir</name>
                <value>/home/chjzh/hadoop_tmp</value>
                        <description>A base for other temporary directories.</description>
                </property>
        注意：我的使用者是chjzh所以目錄是/home/chjzh/hadoop_tmp
                
        OK了，重新格式化Namenode
                hadoop namenode -format
        然後啟動hadoop
                start-all.sh
        執行下JPS命令就可以看到NameNode了

我依照上面的方法操作後，發現還是無法啟動。

最後才明白，是新建的目錄沒有修改許可權，圖點簡單，就直接給了777許可權，然後就都好了。

室友推薦了一篇更加詳細的配置hadoop 的文章，圖文並茂。http://blog.csdn.net/hitwengqi/article/details/8008203