大資料實戰(七十一):電商數倉(五十五)數倉搭建環境準備
1Flume安裝部署
1)新增服務
2)選擇Flume
3)選擇依賴
4)選擇部署節點
5)完成
2Sqoop安裝部署
1)新增服務
2)選擇Sqoop
3)選擇部署節點
4)完成
3配置Hadoop支援LZO
1)點選主機,在下拉選單中點選Parcel
2)點選配置
3)加上gplextras parcel庫的url
本地url:http://hadoop102:8900/cloudera-repos/gplextras6/6.2.1/parcels/
遠端url:https://archive.cloudera.com/gplextras6/6.2.1/parcels/
4)靜待片刻,Parcel列表中出現了GPLEXTERAS,依次點選下載、分配、啟用。
5)修改HDFS配置
在HDFS配置項中搜索“壓縮編碼解碼器”,加入com.hadoop.compression.lzo.LzopCodec
6)修改Hive配置
在Hive配置項中搜索“Hive 輔助 JAR 目錄”,加入/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib
7)修改Sqoop配置
在Sqoop的配置項中搜索“sqoop-conf/sqoop-env.sh 的 Sqoop 1 Client
HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/* JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native
4修改yarn配置引數
1)在yarn配置項中搜索“yarn.nodemanager.resource.memory-mb”,修改成4G。
2)在yarn配置項中搜索“
3)重啟相關元件
5 HUE使用概述
1)HUE來源
HUE=HadoopUser Experience(Hadoop使用者體驗),直白來說就一個開源的Apache Hadoop UI系統,由Cloudera Desktop演化而來,最後Cloudera公司將其貢獻給Apache基金會的Hadoop社群,它是基於Python Web框架Django實現的。通過使用HUE我們可以在瀏覽器端的Web控制檯上與Hadoop叢集進行互動來分析處理資料。
2)HUE官網及使用者
官網網站:http://gethue.com/
3)HUE頁面
http://hadoop102:8888(未優化)或http://hadoop102:8889(優化)
第一次開啟HUE會出現以下頁面,此時輸入的使用者名稱和密碼可以隨意,之後登入頁面以第一次輸入的賬號密碼為依據。例如,使用者名稱:admin 密碼:admin
6 HUE使用者管理
HUE的初始管理使用者為admin,密碼為admin。
1)在HUE中新建一個使用者組——hive,並在該組下新建一個使用者——hive。
(1)建立hive組
(2)建立hive使用者
2)切換為hive使用者