1. 程式人生 > >CDH5.8 HUE的使用(那些年走過的坑)

CDH5.8 HUE的使用(那些年走過的坑)

HUE=Hadoop User Experience

Hue是一個開源的Apache Hadoop UI系統,由Cloudera Desktop演化而來,最後Cloudera公司將其貢獻給Apache基金會的Hadoop社群,它是基於Python Web框架Django實現的。
通過使用Hue我們可以在瀏覽器端的Web控制檯上與Hadoop叢集進行互動來分析處理資料,例如操作HDFS上的資料,執行MapReduce Job,執行Hive的SQL語句,瀏覽HBase資料庫等等。

核心功能

  • SQL編輯器,支援Hive, Impala, MySQL, Oracle, PostgreSQL等資料視覺化
  • Spark、Hadoop、Sqoop的友好介面支援
  • 支援排程系統Apache Oozie,可進行workflow的編輯、檢視,任務排程

下面我在HUE的安裝和使用中走過的坑。

CDH版HUE的安裝

在CDH上安裝HUE很簡單,只要在Cloudera manager中新增服務即可,但是到第三步(如下圖)的時候要小心,預設使用嵌入式資料庫,隨機生成密碼,此時如果你按預設方式直接點選繼續,並且沒有記住密碼的話,後面想為HUE更改資料庫時可能丟失所有資料,反正我當時把hue的資料庫改成mysql,沒有找到PG的密碼,所有資料重新來過。
這裡寫圖片描述

HUE的配置

hue的時區修改

這裡講一個時區和資料庫。
因為是用hue,很重要的功能是是用workflow和Coordinator來排程任務,這就牽涉到時間。hue安裝時預設是American/LosAngeles,這個時區設定使得hue oozie dashboard中任務的時間顯示不能與中國標準時間一致,將其改為Asia/Shanghai(如下圖),重啟hue服務即可。
這裡寫圖片描述
另外補充一點,oozie使用UTC時區,UTC是世界標準時間,指的是零時區(英國格林尼治天文臺舊址)裡的時間。中國所在的時區為東八區,所以中國的時間應該是UTC時間加上8個小時,即常見的UTC+8時間。在cloudera oozie配置–>Oozie Server Default Group –>高階–>oozie-site.xml 的 Oozie Server 高階配置程式碼段(安全閥) 新增

<property>
    <name>oozie.processing.timezone</name>**
     <value>GMT+0800</value>**
</property>

hue的資料庫配置

hue的資料庫配置修改可以在cloudera hue配置–>資料庫找到,如下圖
這裡寫圖片描述
這就涉及到hue的配置檔案,剛開始我以為hue的配置檔案為hue的安裝目錄下的hue.ini,發現在裡面更改一些設定,根本不起作用,後來翻閱hue的官方文件才瞭解到真正起作用的hue的配置文件在另一個目錄下面,也就是hue about頁面中顯示的位置,如下圖。
這裡寫圖片描述

HUE的使用

未完待續