Cloudera Hue 使用經驗分享，遇到的問題及解決方案
阿新 • • 發佈：2019-01-25
在使用Cloudera Hue時遇到一問題：
1. 使用Sqoop匯入功能時，由於配置錯誤，使得“儲存執行”後Job並不能正常提交，且介面上沒有相關提示。
解決辦法：
使用Hue的Sqoop shell -》 start job --jid * 提交會出現一些錯誤提示
然後再去/var/log/sqoop/裡面檢視log
2. 在使用Job Designer設計Sqoop任務，提交時，執行過過程中提示缺少mysql 驅動，雖然驅動已經被加入到sqoop/lib下。
解決辦法：
後來才發現，原來安裝的時候會將oozie 共享依賴的包入到hdfs中，所以我將驅動上傳到hdfs://user/oozie/share/lib/sqoop/下，再執行Job就可以了
3. hue oozie 執行sqoop create-hive-table,不能成功在hive metastore中建立table,雖然在sqoop中加入--verbose引數，在執行過程中顯示了表示要建立table的DDL語句，但是在hive中show tables;並沒有真正建立成功。
解決辦法：
可能是在hue中sqoop沒有辦法呼叫起hive client,因為日誌的最後並沒有列印hive所生成的log.
4. hue oozie中有幾個關於時間的設定，都跟時區有關：
Cloudera Manager中有關hue的時區的設定，預設為American/LosAngeles,這個時區設定使得hue oozie dashboard中任務的時間顯示不能與中國標準時間一致
解決辦法：
將其改為Asia/Chongqing，重啟hue服務即可。
Hue Oozie Coordinator的頻率設定，開始和結束時間後的時區設定，是用來調整夏令時區的。由於某些時區實行夏令時，使得開始和結束時間要進行一定的調整。
上面的開始和結束時間使用的是UTC時區，這個設定可以更改/etc/oozie/conf/oozie-default.xml中的oozie.process.timezone，預設為UTC。然後，Hue oozie對這個設定的更改不起作用，所以在使用hue oozie時，設定時間固定以UTC為基準，中國時間比其早8小時，一般要減去8小時。
5. 在使用Cloudera Manager部署Hadoop時，由於各節點時鐘不統一，會導致服務出現異常
解決辦法：
使用NTP server/client可以解決這個問題。
1. 使用Sqoop匯入功能時，由於配置錯誤，使得“儲存執行”後Job並不能正常提交，且介面上沒有相關提示。
解決辦法：
使用Hue的Sqoop shell -》 start job --jid * 提交會出現一些錯誤提示
然後再去/var/log/sqoop/裡面檢視log
2. 在使用Job Designer設計Sqoop任務，提交時，執行過過程中提示缺少mysql 驅動，雖然驅動已經被加入到sqoop/lib下。
解決辦法：
後來才發現，原來安裝的時候會將oozie 共享依賴的包入到hdfs中，所以我將驅動上傳到hdfs://user/oozie/share/lib/sqoop/下，再執行Job就可以了
3. hue oozie 執行sqoop create-hive-table,不能成功在hive metastore中建立table,雖然在sqoop中加入--verbose引數，在執行過程中顯示了表示要建立table的DDL語句，但是在hive中show tables;並沒有真正建立成功。
解決辦法：
可能是在hue中sqoop沒有辦法呼叫起hive client,因為日誌的最後並沒有列印hive所生成的log.
4. hue oozie中有幾個關於時間的設定，都跟時區有關：
Cloudera Manager中有關hue的時區的設定，預設為American/LosAngeles,這個時區設定使得hue oozie dashboard中任務的時間顯示不能與中國標準時間一致
解決辦法：
將其改為Asia/Chongqing，重啟hue服務即可。
Hue Oozie Coordinator的頻率設定，開始和結束時間後的時區設定，是用來調整夏令時區的。由於某些時區實行夏令時，使得開始和結束時間要進行一定的調整。
上面的開始和結束時間使用的是UTC時區，這個設定可以更改/etc/oozie/conf/oozie-default.xml中的oozie.process.timezone，預設為UTC。然後，Hue oozie對這個設定的更改不起作用，所以在使用hue oozie時，設定時間固定以UTC為基準，中國時間比其早8小時，一般要減去8小時。
5. 在使用Cloudera Manager部署Hadoop時，由於各節點時鐘不統一，會導致服務出現異常
解決辦法：
使用NTP server/client可以解決這個問題。