關於本人hbase整合sqoop和hive框架的遇到的那些坑
關於本人hbase整合sqoop和hive框架的遇到的那些坑
hbase: hbase-1.3.1-bin.tar.gz
hive:apache-hive-1.2.2-bin.tar.gz
要實現的功能：實現建立hive表同時關聯到hbase在logs日誌查看出現異常資訊
執行語句：
| CREATE TABLE hive_hbase_emp_table( key int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno") TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");
|
異常資訊：
| FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V
|
原因：版本不相容
解決：將hbase版本改成hbase-0.98.6-cdh5.3.6.tar.gz版本配置完成之後解決問題。
（2）
hbase： hbase-0.98.6-cdh5.3.6.tar.gz
sqoop： sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
實現功能：利用sqoop工具將mysql中資料匯出到hbase表
執行語句：
| sqoop import --connect jdbc:mysql://had01:3306/db_library --username root --password root --table book --columns "id,name,price" --column-family "info" --hbase-create-table --hbase-row-key "id" --hbase-table "hbase_book" --num-mappers 1 --split-by id --delete-target-dir
|
異常資訊：
| [master:Master:60000] catalog.CatalogTracker: Fail |
原因：版本不相容
解決：將sqoop的版本換成sqoop-1.4.5-cdh5.3.6.tar.gz，解決版本相容問題。
hbase:hbase-0.98.6-cdh5.3.6.tar.gz
sqoop:sqoop-1.4.5-cdh5.3.6.tar.gz
以上就是在學習中遇見的問題，希望對大家有幫助，補充一下，個人建議不管什麼樣的工具，個人建議使用cdh版本的。解決了很多相容問題！