學習大資料過程中遇到的問題1
首先說明下學習過程中所用到的系統及軟體的版本:
ubuntu16.04
jkd1.8.0_131
hadoop2.7.3
hbase1.2.5
如果在ubuntu14.04上配置hadoop不順利的話,建議換ubuntu16.04版本。。。
配置java環境及安裝eclipse,網上有許多攻略,可以參考http://www.linuxidc.com/Linux/2016-07/133482.htm
配置hadoop環境時參考http://www.powerxing.com/install-hadoop/
使用eclipse編譯執行mapreduce程式時參考http://www.powerxing.com/hadoop-build-project-using-eclipse/
配置hbase時參考http://blog.csdn.net/napoay/article/details/54136398
http://blog.csdn.net/flyfish111222/article/details/51893096
-------------------------------------------------------------------------------------------------------------------------------------------------
學習了幾天大資料,遇到以下幾個小問題,今天得空整理一下
1. hbase shell環境進入及退出
終端用cd命令找到hbase目錄,如:cd BigData/hbase
再輸入bin/hbase shell,敲enter進入hbase shell。
結果如下:
退出shell時輸入exit:
2. eclipse執行第一個hadoop程式時遇到ConnectException
INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
Exception in thread "main" java.net.ConnectException: Call From。。。 to localhost:9000 failed on connection exception:
java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
這是因為沒有啟動dfs
終端進入hadoop目錄下,執行指令 sbin/start-dfs.sh
返回eclipse,右鍵MapReduce Location選擇Reconnect
重新執行程式即可
3. 提示輸出檔案已存在
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException:
Output directory hdfs://localhost:9000/user/ljp/output2 already exists
當時竟然蠢到去百度這個位置在哪。。。
右鍵delete就可以。。。除非裡面有重要東西。。。暫時不知道如何將多個結果寫入存在的資料夾下。。。因為菜。。。