2. 程式人生 > >Hadoop完全分散式安裝Hive

Hadoop完全分散式安裝Hive

阿新 • • 發佈：2018-11-06

   編譯安裝 Hive

如果需要直接安裝 Hive，可以跳過編譯步驟，從 Hive 的官網下載編譯好的安裝包，下載地址為http://hive.apache.org/downloads.html。

Hive的環境配置需要MySQL的支援，所以首先需要安裝MySQL，沒有安裝MySQL的先看上一篇：安裝MySQL


C.1 編譯Hive

C.1.1 下載 Hive 原始碼包

在 Hive 的官網下載頁面上下載，為加快下載速度選擇中國境內的映象 ，並下載apache-hive-1.2.1-

C.1.2 編譯 Hive

編譯 Hive 原始碼的時候，需要從網上下載依賴包，所以整個編譯過程機器必須保證在聯網狀態。編譯執行如下指令碼：

$cd /app/compile/hive-1.2.1-src
$export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize= 512m"
$mvn -Phadoop-2-Pdist-DskipTests -Dmaven.javadoc.skip=trueclean package

在編譯過程中可能出現速度慢或者中斷，可以再次啟動編譯，編譯程式會在上次的編譯中斷處繼續進行編譯，整個編譯過程耗時與網速緊密相關，網速較快的情況需要 1h 左右（圖附錄C-1 的時間是重複多次下載依賴包，然後編譯成功的介面），最終編打包的檔案為$HIVE_HOME/packaging/target/apache-hive-1.2.1-bin.tar.gz。


通過如下命令檢視最終編譯完成整個目錄大小，可以看到大小為 350MB 左右：

$du -s /app/compile/hive-1.2.1-src

C.2 安裝 Hive

C.2.1 解壓縮並遷移

使用上一步驟編譯好的 Hive 編譯包移動到安裝目錄上，用如下命令解壓縮 hive 安裝檔案：

$cd /app/compile/hive-1.2.1-src/packaging/target/
$mv apache-hive-1.2.1-bin.tar.gz /home/spark/work/
$cd /home/spark/work/
$tar -zxf hive-1.2.1-bin.tar.gz

改名並遷移到/usr/local目錄下：
 

$cd /usr/local
$mv apache-hive-1.2.1-bin /usr/local/hive-1.2.1
$ll /usr/local




登入 Mysql 官網進入下載頁面 http://dev.mysql.com/downloads/connector/j/，預設情況下是Windows 安裝包，這裡需要選擇Platform Independent 版本下載 zip 格式的檔案， 如圖附錄 C-3所示。

把下載的 hive 安裝包和 mysql 驅動包，使用如下命令放到 Hive 的 lib 目錄下：

$cd /home/spark/work
$mv mysql-connector-java-5.1.34-bin.jar /usr/local/hive-1.2.1/lib


C.2.3 配置/etc/profile 環境變數

使用如下命令開啟/etc/profile 檔案，設定如下引數：

export HIVE_HOME=/usr/local/hive-1.2.1
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:$HIVE_HOME/bin

配置完畢後，需要編譯該配置檔案或重新登入以生效該配置：

$source /etc/profile

C.2.4 設定 hive-env.sh 配置檔案

進入 hive-1.2.1/conf 目錄，複製 hive-env.sh.templaete 為 hive-env.sh 並進行配置：

$cd /usr/local/hive-1.2.1/conf
$cp hive-env.sh.template hive-env.sh
$sudo vi hive-env.sh

分別設定 HADOOP_HOME 和 HIVE_CONF_DIR 兩個值：

# Set HADOOP_HOME to point to a specific hadoop install directory
exportHADOOP_HOME=/usr/local/hadoop-2.7.2
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/usr/local/hive-1.2.1/conf


C.2.5 設定 hive-site.xml 配置檔案

建立 hive-site.xml 配置檔案，在該配置檔案中加入以下配置內容：

$touch hive-site.xml
$sudo vi hive-site.xml


hive 預設為 derby 資料庫， derby 資料只執行單個使用者進行連線，所以這裡需要調整為 Mysql 資料庫，以下為修改配置內容：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExsit=true;chara
cterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
<property>
<name>datanucleus.readOnlyDatastore</name>
<value>false</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
<property>
<name>datanucleus.autoCreateSchema</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateTables</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateColumns</name>
<value>true</value>
</property>
</configuration>


C.3 啟動 Hive 並驗證

C.3.1 啟動 Hive

實際使用時，一般通過後臺啟動 metastore 和 hiveserver 實現服務，命令如下：

$hive --service metastore &
$hive --service hiveserver2&

啟動用通過 jps 命令可以看到兩個服務在後臺執行， 如圖附錄 C-4 所示。


C.3.2 驗證安裝

登入 hive，在 hive 建立表並檢視該表，如圖附錄 C-5 所示，命令如下：

$hive
hive> create table test(a string, b int);
hive> show tables;
hive> desc test;

登入 Mysql，在 TBLS 表中檢視新增 test 表：

$mysql -uhive -phive
mysql> use hive;
mysql> select TBL_ID, CREATE_TIME, DB_ID, OWNER, TBL_NAME,TBL_TYPE from TBLS;




C.4 Hive 例項演示

C.4.1 準備資料

1． 上傳資料
交易資料存放在該系列配套資源的/saledata 目錄下，把這些資料檔案上傳到 master 節點的/home/spark/word 目錄下。
2． 啟動 Hive 並建立資料庫
啟動 HDFS、 YARN 和 Hive，啟動完畢後建立 Hive 資料庫：

$hive --service metastore &
$hive
hive> create database hive;
hive> show databases;
hive> use hive;

3． 在 Hive 建立表
啟動 Hadoop 叢集，進入 Hive 命令列操作介面，使用如下命令建立 3 張資料表。

  • tbDate：定義了日期的分類，將每天分別賦予所屬的月份、星期、季度等屬性，欄位
  • 分別為日期、年月、年、月、日、周幾、第幾周、季度、旬、半月。
  • tbStock：定義了訂單表頭，欄位分別為訂單號、交易位置、交易日期。
  • tbStockDetail：定義了訂單明細，該表和 tbStock 以交易號進行關聯，欄位分別為訂單
  • 號、行號、貨品、數量、金額。

hive> CREATE TABLE tbDate(dateID string,theyearmonth string,theyear string,
themonth string,thedate string,theweek string,theweeks string,thequot string,
thetenday string,thehalfmonth string) ROW FORMAT DELIMITED FIELDS TERMINATED
BY ＇ ,＇ LINES TERMINATED BY ＇ \n＇ ;
Time taken: 1.121 seconds
hive> CREATE TABLE tbStock(ordernumber STRING,locationid string,dateID string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ＇ ,＇ LINES TERMINATED BY ＇ \n＇ ;
Time taken: 0.166 seconds
hive> CREATE TABLE tbStockDetail(ordernumber STRING,rownum int,itemid string,qty
int,price int ,amount int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ＇ ,＇ LINES
TERMINATED BY ＇ \n＇ ;
Time taken: 0.267 seconds

hive> show tables;
OK
tbdate
tbstock
tbstockdetail
Time taken: 0.089 seconds, Fetched: 3 row(s)

4． 匯入資料
從本地作業系統分別載入日期、交易資訊和交易詳細資訊表資料：

hive> LOAD DATA LOCAL INPATH ＇ /home/spark/work/saledata/tbDate.txt＇ INTO TABLE
tbDate;
Loading data to table hive.tbdate
OK
Time taken: 2.784 seconds
hive> LOAD DATA LOCAL INPATH ＇ /home/spark/work/saledata/tbStock.txt＇ INTO TABLE
tbStock;
Loading data to table hive.tbstock
OK
Time taken: 0.648 seconds
hive>LOAD DATA LOCAL INPATH ＇ /home/spark/work/saledata/tbStockDetail.txt＇ INTO
TABLE tbStockDetail;
Loading data to table hive.tbstockdetail
OK
Time taken: 1.44 seconds

檢視 HDFS 中相關 SALEDATA 資料庫中增加了 3 個資料夾，分別對應 3 張表：

[[email protected] ~]$ hadoop fs -ls /user/hive/warehouse/hive.db
Found 3 items
drwxr-xr-x- spark 2016-04-1415:18 /user/hive/warehouse/hive.db/ tbdate
drwxr-xr-x- spark 2016-04-1415:18 /user/hive/warehouse/ hive.db/ tbstock
drwxr-xr-x- spark 2016-04-14 15:18 /user/hive/warehouse/hive.db/ tbstockdetail

C.4.2 計算所有訂單每年的總金額

1． 演算法分析
要計算所有訂單每年的總金額，首先需要獲取所有訂單的訂單號、訂單日期和訂單金資訊，
然後把這些資訊和日期表進行關聯，獲取年份資訊，最後根據這 4 個列按年份歸組統計獲取所
有訂單每年的總金額。

2． 執行 HSQL 語句
 

hive> use hive;
hive> select c.theyear, sum(b.amount) from tbStock a,tbStockDetail b,tbDate c
where a.ordernumber=b.ordernumber and a.dateid=c.dateid group by c.theyear
order by c.theyear;


運 行 過 程 中 創 建 兩 個 Job ， 分 別 為 application_1460617800545_0001 和 application_1460617800545_000，在 YARN 的資源管理器介面中（預設 http://master:8088/），可以看到如圖附錄 C-7 所示的介面。


3． 檢視結果
整個計算過程使用了 175.25s，結果如圖附錄 C-8 所示。


C.4.3 計算所有訂單每年最大金額訂單的銷售額

1． 演算法分析
該演算法分為兩步：
（1）按照日期和訂單號進行歸組計算，獲取所有訂單每天的銷售資料。
（2）把第一步獲取的資料和日期表進行關聯獲取的年份資訊，然後按照年份進行歸組，使用 Max 函式，獲取所有訂單每年最大金額訂單的銷售額。
2． 執行 HSQL 語句
//第一步：按照日期和訂單號進行歸組計算，獲取所有訂單每天的銷售資料

hive> select a.dateid,a.ordernumber,sum(b.amount) as sumofamount from tbStock
a, tbStockDetail b where a.ordernumber=b.ordernumber group by a.dateid,
a.ordernumber;

//第二步: 按照年份進行歸組，使用 Max 函式，獲取所有訂單每年最大金額訂單的銷售額

hive> select c.theyear,max(d.sumofamount) from tbDate c,(select a.dateid,
a.ordernumber,sum(b.amount) as sumofamount from tbStock a,tbStockDetail b
where a.ordernumber=b.ordernumber group by a.dateid,a.ordernumber) d where
c.dateid=d.dateid group by c.theyear sort by c.theyear;

執行過程中建立兩個 Job，分別為 job_1437659442092_0004 和 job_1437659442092_0005，在 YARN 的監控介面中可以看到如圖附錄 C-9 所示的介面。
3． 檢視結果
整個計算過程使用了 171.41s，結果如圖附錄 C-10 所示。

相關推薦

Hadoop完全分散式安裝Hive

   編譯安裝 Hive 如果需要直接安裝 Hive，可以跳過編譯步驟，從 Hive 的官網下載編譯好的安裝包，下載地址為http://hive.apache.org/downloads.html。 Hive的環境配置需要MySQL的支援，所以首先需要安裝MySQL，

Hadoop完全分散式安裝zookeeper

D.1安裝 ZooKeeper D.1.1 下載 ZooKeeper ZooKeeper 是 Apache 基金會的一個開源、分散式應用程式協調服務，是 Google 的 Chubby一個開源的實現。它是一個為分散式應用提供一致性服務的軟體，提供的功能包括配置維護、域名服務、分散式同步、

Hadoop完全分散式安裝2

hadoop簡介：     1.獨立模式(standalone|local)單機模式；所有的產品都安裝在一臺機器上且本地磁碟和副本可以在接下來的xml檔案中         nothing!  &

hadoop 完全分散式安裝

  一個完全的hadoop分散式安裝至少需要3個zookeeper，3個journalnode，3個datanode，2個namenode組成。 也就是說需要11個節點，但是我雲主機有限，只有3個，所以把很多節點搭在了同一個伺服器上。   步驟： 1.關閉防火牆 service

Hadoop完全分散式安裝教程

最近開始學習大資料課程，便開始自己安裝搭建完全分散式，下面是自己一步一步的安裝方式，期間會遇到各種問題，但還是自己查詢資料解決了：1.在安裝hadoop2.0之前，需要準備好以下軟體（如下圖1）圖1： 然後將這兩個軟體共享到centos上（如下圖2，圖3所示）在vm這上面有個

【hadoop】hadoop完全分散式叢集安裝

文章目錄 前言 裝備 Core 總結 前言 後面準備更新hdfs操作（shell命令版本），hbase，hive的操作。 所以這裡先更新一下hadoop叢集安裝。 裝備 1.hadoop-2.6.5.tar.gz

（超詳細）從零開始安裝與配置hadoop完全分散式環境

強調！！！ 使用者名稱稱要相同，否則可能出現稀奇古怪的錯誤！！！（我就因為這個問題，在後面快裝完的時候不得不從頭再來） 原因：Hadoop要求所有機器上Hadoop的部署目錄結構要求相同（因為在啟動時按與主節點相同的目錄啟動其它任務節點），並且都有一

Hadoop+HBase完全分散式安裝

記錄下完全分散式HBase資料庫安裝步驟 準備3臺機器：10.202.7.191 / 10.202.7.139 / 10.202.9.89 所需準備的Jar包： 1.JDK安裝 一般Linux的發行版本有預裝openjdk，這裡安裝標準sun公司的jdk。 1.1檢視當前機器安裝的jdk rp

基於hadoop-2.6.0的hbase完全分散式安裝

1.安裝環境：有一個完全分散式的hadoop-2.6.0。 2.安裝準備：需要在網上下一個hbase的壓縮包，我這兒用的是hbase-1.0.3-bin.tar.gz，下載地址here 3.解壓下載好的hbase到一個目錄下,並更改使用者及使用者組（我這兒用

Hadoop完全分散式用MapReduce實現自定義排序、分割槽和分組

    經過前面一段時間的學習，簡單的單詞統計已經不能實現更多的需求，就連自帶的一些函式方法等也是跟不上節奏了；加上前面一篇MapReduce的底層執行步驟的瞭解，今天學習自定義的排序、分組、分割槽相對也特別容易。 認為不好理解，先參考一下前面的一篇：https://bl

ubantu 16.4 Hadoop 完全分散式搭建

一個虛擬機器  　　1.以  NAT網絡卡模式   裝載虛擬機器 　　2.最好將幾個用到的虛擬機器修改主機名，靜態IP     /etc/network/interface，這裡 是 s101 s102  s103 三

Hadoop完全分散式配置問題

關於搭建Hadoop完全分散式時配置的問題 配置hadoop的配置檔案core-site.xml, hdfs-site.xml， mapred-site.xml，yarn-site.xml，slaves（workers）（都在Hadoop安裝目錄/etc/hadoop資料夾下） 1、co

hadoop完全分散式遇到的問題總結

第一步、確保你的jdk、hadoop、SSH免密已經配置好了，開啟2臺以上的虛擬機器，並且能正常上網（後面放大招啦） 第二部、配置/etc/hosts檔案(如下格式) 192.168.244.128   hadoop02 192.168.244.129   hadoop0

安裝HBase--單節點、偽分散式、完全分散式安裝

1.下載HBase 連結：http://mirrors.cnnic.cn/apache/hbase/ 選擇 stable 目錄，下載 bin 檔案： 在Linux上解壓，部落格中解壓在/home/hadoop 目錄下： 進入解壓目錄： 2.修改配置 修改JD

VMware上部署Hadoop完全分散式&spark

相信大多數初學者和我一樣，對配置環境頭疼的一批； 我在這裡簡單介紹一下hadoop基於虛擬機器的完全分散式部署； 1 首先說一下我的電腦配置吧： win10作業系統；8g記憶體；i5六代處理器；配置越高越好吧（要不然容易卡頓）； Ubuntu 16.04(這個映象大家可以去網上下

史上最簡單詳細的Hadoop完全分散式叢集搭建

一.安裝虛擬機器環境 Vmware12中文官方版 連結：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取碼：6rep 啟用祕鑰：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 這個安裝就十分的簡單了，只需要不斷點選下

Hadoop完全分散式搭建步驟

請在搭建偽分散式的基礎上搭建完全分散式 1、克隆兩臺虛擬機器(點選藍色超連結有如何克隆虛擬機器)。 2、克隆完成之後首先在三臺機器上都分別輸入  $ ifconfig 檢視是否有eth0 如下：是正確的。 【 eth0     &nbs

ZooKeeper完全分散式安裝與配置

Apache ZooKeeper是一個為分散式應用所設計開源協調服務，其設計目是為了減輕分散式應用程式所承擔的協調任務。可以為使用者提供同步、配置管理、分組和命名服務。   1.環境說明 在三臺裝有centos6.5（64位）伺服器上安裝ZooKeeper，官網建議至少3個節點，本

Hadoop完全分散式叢集的搭建

如果前一章的內容你看懂了，那麼請先刪除之前搭建的三個新伺服器重新克隆三個！！！(博主絕對不是故意為之，真的只是忘記了？) Hadoop完全分散式叢集的搭建 1.分散式叢集搭建規劃 2.叢集的配置（許可權問題，命令執行位置問題請自行注意） 2.1

hadoop 偽分散式安裝

0. 關閉防火牆 重啟後失效 service iptables start ;#立即開啟防火牆，但是重啟後失效。 service iptables stop ;#立即關閉防火牆，但是重啟後失效。 重啟後生效 chkconfig iptables on ;#開啟防火牆，重啟後生效 chkconfig