hive整合hbase
阿新 • • 發佈:2018-12-18
1.1 hive與hbase版本相容性
Hive版本 hive-1.2.1、hbase的版本hbase-1.2.1
hbase與hive哪些版本相容?
- hive0.90與hbase0.92是相容的,早期的hive版本與hbase0.89/0.90相容。
- hive1.x與hbase0.98.x或則更低版本是相容的。
- hive2.x與hbase1.x及比hbase1.x更高版本相容。
如果當下沒有合適的版本,就自己編譯把。編譯過程如下。
編譯:
建立專案
在eclipse中建立一個專案。Java project即可。
隨便起個名,finish即可。
匯入程式碼
在建立好的專案上點選右鍵,選擇
選擇General下的FileSystem
找到hive-1.2.1\src\hbase-handler\src\java目錄選擇其中的org目錄匯入,這裡的hive-1.2.1是原始碼,原始碼自行到官網下載。
新增依賴包
匯入程式碼後可以看到很多的錯誤提示。這時由於沒有引入依賴的jar包導致的。下面,我們引入,需要hadoop、hive、hbase下相關的lib包。依賴jar包到hadoop、hive、hbase安裝目錄下找。
新建lib目錄,把對應的依賴包,匯入
選擇Build Path點選Add to Bulid Path
至此可以匯出我們需要的jar包了。在
選擇java下的JAR file
將hive-hbase-handlerjar包放入hive的lib目錄下。
1.2 hive與hbase整合環境配置
修改hive-site.xml檔案,新增配置屬性(zookeeper的地址
<property> <name>hbase.zookeeper.quorum</name> <value>itcast01:2181,itcast02:2181,itcast03:2181</value> </property>
引入hbase依賴包
將hbase安裝目錄下的lib資料夾下的包匯入到hive的環境變數中
在hive-env.sh 檔案中新增
export HIVE_CLASSPATH=$HIVE_CLASSPATH:/var/local/hbase/lib/*
至此、hive與hbase整合環境準備完成。