1. 程式人生 > >學習大資料過程中遇到的問題1

學習大資料過程中遇到的問題1

首先說明下學習過程中所用到的系統及軟體的版本:

ubuntu16.04

jkd1.8.0_131

hadoop2.7.3

hbase1.2.5

如果在ubuntu14.04上配置hadoop不順利的話,建議換ubuntu16.04版本。。。

配置java環境及安裝eclipse,網上有許多攻略,可以參考http://www.linuxidc.com/Linux/2016-07/133482.htm

配置hadoop環境時參考http://www.powerxing.com/install-hadoop/

使用eclipse編譯執行mapreduce程式時參考http://www.powerxing.com/hadoop-build-project-using-eclipse/

配置hbase時參考http://blog.csdn.net/napoay/article/details/54136398

http://blog.csdn.net/flyfish111222/article/details/51893096

-------------------------------------------------------------------------------------------------------------------------------------------------

學習了幾天大資料,遇到以下幾個小問題,今天得空整理一下

1. hbase shell環境進入及退出

終端用cd命令找到hbase目錄,如:cd BigData/hbase

再輸入bin/hbase shell,敲enter進入hbase shell。

結果如下:

退出shell時輸入exit:

2. eclipse執行第一個hadoop程式時遇到ConnectException

INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

Exception in thread "main" java.net.ConnectException: Call From。。。 to localhost:9000 failed on connection exception:

java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

這是因為沒有啟動dfs

終端進入hadoop目錄下,執行指令 sbin/start-dfs.sh

返回eclipse,右鍵MapReduce Location選擇Reconnect

重新執行程式即可

3. 提示輸出檔案已存在

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException:

Output directory hdfs://localhost:9000/user/ljp/output2 already exists

當時竟然蠢到去百度這個位置在哪。。。

右鍵delete就可以。。。除非裡面有重要東西。。。暫時不知道如何將多個結果寫入存在的資料夾下。。。因為菜。。。