1. 程式人生 > >hive整合hbase

hive整合hbase

1.1 hive與hbase版本相容性

Hive版本 hive-1.2.1hbase的版本hbase-1.2.1

hbasehive哪些版本相容

  • hive0.90hbase0.92是相容的早期的hive版本與hbase0.89/0.90相容
  • hive1.xhbase0.98.x或則更低版本是相容的。
  • hive2.xhbase1.x及比hbase1.x更高版本相容

如果當下沒有合適的版本,就自己編譯把。編譯過程如下。

編譯:

建立專案

eclipse中建立一個專案。Java project即可。

隨便起個名,finish即可。

匯入程式碼

在建立好的專案上點選右鍵,選擇

Import

選擇General下的FileSystem

找到hive-1.2.1\src\hbase-handler\src\java目錄選擇其中的org目錄匯入,這裡的hive-1.2.1是原始碼,原始碼自行到官網下載。

新增依賴包

匯入程式碼後可以看到很多的錯誤提示。這時由於沒有引入依賴的jar包導致的。下面,我們引入,需要hadoophivehbase下相關的lib包。依賴jar包到hadoop、hive、hbase安裝目錄下找。

新建lib目錄,把對應的依賴包,匯入

選擇Build Path點選Add to Bulid Path

至此可以匯出我們需要的jar包了。在

org.apache.hadoop.hive.hbase包上點選右鍵,選擇export

 選擇java下的JAR file

將hive-hbase-handlerjar包放入hive的lib目錄下。

1.2 hive與hbase整合環境配置

修改hive-site.xml檔案,新增配置屬性(zookeeper的地址

<property>      
<name>hbase.zookeeper.quorum</name>
<value>itcast01:2181,itcast02:2181,itcast03:2181</value>
</property>

引入hbase依賴包

將hbase安裝目錄下的lib資料夾下的包匯入到hive的環境變數中

在hive-env.sh 檔案中新增

export HIVE_CLASSPATH=$HIVE_CLASSPATH:/var/local/hbase/lib/*

至此、hive與hbase整合環境準備完成。