hue安裝步驟+mysql元資料儲存、hive、hadoop做整合
阿新 • • 發佈:2019-02-01
1. 使用yum工具來安裝hue相關的依賴軟體:sudo yum install krb5-develcyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-developenldap-devel python-devel python-simplejson sqlite-devel2. 下載hue軟體包cd /keduox解壓:tar -zxvf hue-4.0.1.tgzcd hue-4.0.0進行編譯:make apps如果報以下異常:需要安裝相應環境
yum install -y libffi libffi-devel src/_fastmath.c:36:18: 錯誤:gmp.h:沒有那個檔案或目錄 yum install gmp-devel然後重新編譯 make apps3.相關配置配置hadoop配置hdfs-site.xml
配置core-site.xml
配置httpfs-site.xml
配置hue.inicd /keduox/hue-4.0.0/desktop/confvi hue.ini修改配置金鑰:secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW時區:time_zone=Asia/Shanghai新增mysql設定在[[databases]]下配置mysql屬性
整合hivehive_server_host=masterhive_server_port=10000hive_conf_dir=/keduox/apache-hive-2.1.1-bin/conf整合hadoopfs_defaultfs=hdfs://master:9000logical_name=masterwebhdfs_url=http://master:50070/webhdfs/v1hadoop_hdfs_home=/keduox/hadoop-2.6.5hadoop_conf_dir=/keduox/hadoop-2.6.5/etc/hadoop配置yarn在[hadoop].[[yarn_clusters]].[[[default]]]下resourcemanager_host=masterresourcemanager_port=8032resourcemanager_api_url=http://master:8088proxy_api_url=http://master:8088整合hbase在[hbase]節點下hbase_clusters=(Cluster|master:9090)hbase_conf_dir=/keduox/hbase-1.2.5/conf4.啟動首先啟動hadoopstart-all.sh然後需要同時啟動hive的metastore和hiveserve2nohup hive--servicemetastore &nohup hive--servicehiveserver2 &Hue需要讀取HBase的資料是使用thrift的方式,預設HBase的thrift服務沒有開啟,所有需要手動額外開啟thrift 服務。thrift service預設使用的是9090埠,使用如下命令檢視埠是否被佔用netstat -nl|grep 9090啟動thrift servicehbase-daemon.sh start thriftbuild/env/bin/hue runserver 192.168.200.200:8181瀏覽器輸入192.168.200.200:8181可進入hue介面異常:如果修改配置檔案後,啟動後無法進人hue介面,可能是配置檔案被鎖住了,或者hadoop、hive等服務沒有啟動起來cd /keduox/hue-4.0.0/desktop/confls –arm –rf hue.ini.swp在hue介面看到如下異常,導致hive無法使用安裝外掛:yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi#解決hue ui介面查詢中文亂碼問題在[[[mysql]]]節點下options={ "init_command":"SET NAMES 'utf8'"}2.解決資料庫被鎖住問題參考文章:database is lockedhue預設使用sqlite作為元資料庫,不推薦在生產環境中使用。會經常出現database is lock的問題。更改為使用mysql作為元資料庫首先在mysql中建立資料庫 hue然後修改hue.ini配置檔案在[[database]]節點下(注意跟上面配mysql不是同一個節點)
cd /keduox/hue-4.0.0/build/envbin/hue syncdbbin/hue migrate
最後進入hue介面:http://192.168.200.200:8181解決hue查詢亂碼問題,新增紅色內容: [[databases]] [[[mysql]]] nice_name="My SQL DB" engine=mysql host=192.168.200.200 port=3306 user=root password=123456 options={"init_command":"SET NAMES 'UTF8'"}
yum install -y libffi libffi-devel
<property><name>dfs.webhdfs.enabled</name><value>true</value></property> |
<property> <name>hadoop.proxyuser.hue.hosts</name> <value>*</value> |
<property> <name>httpfs.proxyuser.hue.hosts</name> <value>*</value></property><property> <name>httpfs.proxyuser.hue.groups</name> |
整合hivehive_server_host=masterhive_server_port=10000hive_conf_dir=/keduox/apache-hive-2.1.1-bin/conf整合hadoopfs_defaultfs=hdfs://master:9000logical_name=masterwebhdfs_url=http://master:50070/webhdfs/v1hadoop_hdfs_home=/keduox/hadoop-2.6.5hadoop_conf_dir=/keduox/hadoop-2.6.5/etc/hadoop配置yarn在[hadoop].[[yarn_clusters]].[[[default]]]下resourcemanager_host=masterresourcemanager_port=8032resourcemanager_api_url=http://master:8088proxy_api_url=http://master:8088整合hbase在[hbase]節點下hbase_clusters=(Cluster|master:9090)hbase_conf_dir=/keduox/hbase-1.2.5/conf4.啟動首先啟動hadoopstart-all.sh然後需要同時啟動hive的metastore和hiveserve2nohup hive--servicemetastore &nohup hive--servicehiveserver2 &Hue需要讀取HBase的資料是使用thrift的方式,預設HBase的thrift服務沒有開啟,所有需要手動額外開啟thrift 服務。thrift service預設使用的是9090埠,使用如下命令檢視埠是否被佔用netstat -nl|grep 9090啟動thrift servicehbase-daemon.sh start thriftbuild/env/bin/hue runserver 192.168.200.200:8181瀏覽器輸入192.168.200.200:8181可進入hue介面異常:如果修改配置檔案後,啟動後無法進人hue介面,可能是配置檔案被鎖住了,或者hadoop、hive等服務沒有啟動起來cd /keduox/hue-4.0.0/desktop/confls –arm –rf hue.ini.swp在hue介面看到如下異常,導致hive無法使用安裝外掛:yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi#解決hue ui介面查詢中文亂碼問題在[[[mysql]]]節點下options={ "init_command":"SET NAMES 'utf8'"}2.解決資料庫被鎖住問題參考文章:database is lockedhue預設使用sqlite作為元資料庫,不推薦在生產環境中使用。會經常出現database is lock的問題。更改為使用mysql作為元資料庫首先在mysql中建立資料庫 hue然後修改hue.ini配置檔案在[[database]]節點下(注意跟上面配mysql不是同一個節點)
cd /keduox/hue-4.0.0/build/envbin/hue syncdbbin/hue migrate
最後進入hue介面:http://192.168.200.200:8181解決hue查詢亂碼問題,新增紅色內容: [[databases]] [[[mysql]]] nice_name="My SQL DB" engine=mysql host=192.168.200.200 port=3306 user=root password=123456 options={"init_command":"SET NAMES 'UTF8'"}