1. 程式人生 > 實用技巧 >大資料實戰(七十一):電商數倉(五十五)數倉搭建環境準備

大資料實戰(七十一):電商數倉(五十五)數倉搭建環境準備

1Flume安裝部署

1)新增服務

2)選擇Flume

3)選擇依賴

4)選擇部署節點

5)完成

2Sqoop安裝部署

1)新增服務

2)選擇Sqoop

3)選擇部署節點

4)完成

3配置Hadoop支援LZO

1)點選主機,在下拉選單中點選Parcel

2)點選配置

3)加上gplextras parcel庫的url

本地url:http://hadoop102:8900/cloudera-repos/gplextras6/6.2.1/parcels/

遠端url:https://archive.cloudera.com/gplextras6/6.2.1/parcels/

4)靜待片刻,Parcel列表中出現了GPLEXTERAS,依次點選下載、分配、啟用。

5)修改HDFS配置

HDFS配置項中搜索“壓縮編碼解碼器”,加入com.hadoop.compression.lzo.LzopCodec

6)修改Hive配置

Hive配置項中搜索“Hive 輔助 JAR 目錄”,加入/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib

7)修改Sqoop配置

Sqoop的配置項中搜索“sqoop-conf/sqoop-env.sh Sqoop 1 Client

客戶端高階配置程式碼段(安全閥)”,加入以下欄位

HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/*
JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/native

4修改yarn配置引數

1)在yarn配置項中搜索“yarn.nodemanager.resource.memory-mb”,修改成4G

2)在yarn配置項中搜索“

yarn.scheduler.maximum-allocation-mb”,修改成2G

3)重啟相關元件

5 HUE使用概述

1HUE來源

HUE=HadoopUser Experience(Hadoop使用者體驗,直白來說就一個開源的Apache Hadoop UI系統,由Cloudera Desktop演化而來,最後Cloudera公司將其貢獻給Apache基金會的Hadoop社群,它是基於Python Web框架Django實現的。通過使用HUE我們可以在瀏覽器端的Web控制檯上與Hadoop叢集進行互動來分析處理資料。

2)HUE官網及使用

官網網站:http://gethue.com/

3HUE頁面

http://hadoop102:8888(未優化)或http://hadoop102:8889(優化)

第一次開啟HUE會出現以下頁面,此時輸入的使用者名稱和密碼可以隨意,之後登入頁面以第一次輸入的賬號密碼為依據。例如,使用者名稱admin 密碼admin

6 HUE使用者管理

HUE的初始管理使用者為admin,密碼為admin

1)在HUE中新建一個使用者組——hive,並在該組下新建一個使用者——hive

1)建立hive

2)建立hive使用者

2)切換為hive使用者