eclipse 配置執行hadoop 2.7 程式例子參考步驟
阿新 • • 發佈：2019-01-05
hfds-site.xml 增加屬性：關閉叢集的許可權校驗，windows的使用者一般與linux的不一樣，直接將它關閉掉好了。記住不是core-site.xml 重啟叢集
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
2、hadoop-eclipse-plugin-2.7.0.jar將外掛放到plugins目錄下
3、複製linux master已安裝好的hadoop目錄到windows,然後eclipse 配置定位hadoop的目錄
4、開啟配置，hadoop選項，定位hadoop主目錄。然後開啟mapreduce的view 設定配置屬性：其他額外屬性不要配置，使用者名稱也不用改，此時可以連結上了。
5、新建MR工程
6、建立wordcount類（自己複製就行）
在src下面直接新建log4j.properties：
內容如下：主要是列印資訊：（你可以將info改成debug,內容過多，改成info了）
log4j.rootLogger=info,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
log4j.logger.com.codefutures=DEBUG
7、錯誤多多啊：
解決方式1）人家提示HADOOP_HOME沒有設定，那就配置windows的環境變數，定位到hadoop目錄
執行報：
第一項不報了，第二項繼續：
2）java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
說不能定位，看來是HADOOP_HOME沒起作用，那就在main裡新增程式碼，否則不報null：
System.setProperty("hadoop.home.dir","E:\\bigdata\\hadoop2"); 執行報：
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
2、hadoop-eclipse-plugin-2.7.0.jar將外掛放到plugins目錄下
3、複製linux master已安裝好的hadoop目錄到windows,然後eclipse 配置定位hadoop的目錄
4、開啟配置，hadoop選項，定位hadoop主目錄。然後開啟mapreduce的view 設定配置屬性：其他額外屬性不要配置，使用者名稱也不用改，此時可以連結上了。
5、新建MR工程
6、建立wordcount類（自己複製就行）
在src下面直接新建log4j.properties：
內容如下：主要是列印資訊：（你可以將info改成debug,內容過多，改成info了）
log4j.rootLogger=info,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
log4j.logger.com.codefutures=DEBUG
7、錯誤多多啊：
解決方式1）人家提示HADOOP_HOME沒有設定，那就配置windows的環境變數，定位到hadoop目錄
執行報：
第一項不報了，第二項繼續：
2）java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
說不能定位，看來是HADOOP_HOME沒起作用，那就在main裡新增程式碼，否則不報null：
System.setProperty("hadoop.home.dir","E:\\bigdata\\hadoop2"); 執行報：