2. 程式人生 > >Impala整合hive（填了各種坑之後總結出來的文件）

Impala整合hive（填了各種坑之後總結出來的文件）

阿新 • • 發佈：2018-11-14

        1 環境準備

1.1 伺服器配置

1.2 環境配置

1.3 Impala安裝包下載(不能使用yum命令的情況下)

1.4 Impala安裝包下載(可以使用yum命令的情況下)

2 下載安裝依賴包（必須安裝）

3 安裝impala

3.1 安裝 bigtop-utils (主、從機都要安裝)

3.2 安裝impala-2.7.0 (主、從機都要安裝) 

3.3 安裝impala-catalog (主機安裝)

3.4 安裝 impala-state (主機安裝)

3.5 主機安裝impala-server (主、從機都要安裝)

3.6 安裝impala-shell(主、從機都要安裝)

3.7 安裝impala-udf-devel(主、從機都要安裝)

4 配置Impala (主、從機都要配置)

4.1 配置 vim /etc/default/bigtop-utils裡的JDK

5 配置三臺機器時間同步（主、從機都要配置)

6 修改相應的配置檔案

6.1 拷貝core-site.xml、hdfs-site.xml和hdfs-site.xml (主、從機都要配置)

6.2 具體配置

6.3 重啟Hadoop叢集

7 設定scoket path

8 許可權配置（所有機器都應當配置）

9 啟動impala

10 登入impala-shell

11 同步hive元資料

12 在impala-shell端建立表

 

1 環境準備

1.1 伺服器配置

       ID

          IP address

  Host name

            Notes

       1

      128.64.108.160

     esp01

1.Hadoop Master
2.Spark Master
3.Impala Master
4.JDK
5.Scala

6.Hive

        2

       128.64.108.178

     esp02

1.Hadoop Slave
2.Spark Slave
3.Impalad
4.JDK
5.Scala

6.Hive

        3

        128.64.108.196

     esp03

1.Hadoop Slave
2.Spark Slave
3.Impalad
4.JDK
5.Scala

6.Hive


1.2 環境配置

安裝impala前，要確保在以上規劃的三臺機子上已經安裝好:

JDK 1.8

Hadoop 2.9.0叢集

Spark 2.3.1叢集

Scala 2.12

Zookeeper 3.4.12

Hive叢集

1.3 Impala安裝包下載(不能使用yum命令的情況下)

A.下載impala安裝包，下載地址：

http://archive.cloudera.com/beta/impala-kudu/redhat/7/x86_64/impala-kudu/0/RPMS/x86_64

B.下載bigtop-utils，下載地址：

http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.9.0/RPMS/noarch/

 

1.4 Impala安裝包下載(可以使用yum命令的情況下)

安裝impala各元件的命令：

$ sudo yum -y install cyrus-sasl-plain lsb ntp
$ sudo yum install impala          # Binaries for daemons
$ sudo yum install impala-server      # Service start/stop script
$ sudo yum install impala-state-store   # Service start/stop script 只在Master上安裝
$ sudo yum install impala-catalog     # Service start/stop script 只在Master上安裝

$ sudo yum install impala-shell

【注：可以使用yum的情況在可以直接忽略下面的第2、3步】

2 下載安裝依賴包（必須安裝）

yum -y install cyrus-sasl-plain lsb ntp

【注：若不能使用yum命令，可以選擇在可以聯網的機子上用yum下載好，然後使用

locate lsb命令找到依賴包，複製過去即可】

3 安裝impala

3.1 安裝 bigtop-utils (主、從機都要安裝)

rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

3.2 安裝impala-2.7.0 (主、從機都要安裝) 

rpm -ivh impala-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

 

【注：要加上選項 --nodeps否則安裝會因為缺少依賴包無法通過】

3.3 安裝impala-catalog (主機安裝)

 rpm -ivh impala-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

3.4 安裝 impala-state (主機安裝)

rpm -ivh impala-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

3.5 主機安裝impala-server (主、從機都要安裝)

rpm -ivh impala-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

3.6 安裝impala-shell(主、從機都要安裝)

rpm -ivh impala-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

3.7 安裝impala-udf-devel(主、從機都要安裝)

rpm -ivh impala-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

4 配置Impala (主、從機都要配置)

4.1 配置 vim /etc/default/bigtop-utils裡的JDK

# export JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.8.0_77

 

4.2 配置vim /etc/default/impala (主、從機都要配置一樣)

#修改其中的兩項即可，因為規劃esp01為master，所以下面配置為esp01

IMPALA_CATALOG_SERVICE_HOST=esp01

IMPALA_STATE_STORE_HOST=esp01

【注：一定要保證hosts裡已經配置過esp01，否則需要使用128.64.108.160】

5 配置三臺機器時間同步（主、從機都要配置)

[[email protected] espai]# systemctl restart ntpd 

6 修改相應的配置檔案

6.1 拷貝core-site.xml、hdfs-site.xml和hdfs-site.xml (主、從機都要配置)

把hadoop配置檔案core-site.xml和hdfs-site.xml，以及hive配置檔案hive-site.xml拷貝到/etc/impala/conf.dist/目錄下。

6.2 具體配置

在Impala節點上對剛才拷貝的core-site.xml、hdfs-site.xml配置檔案，在原有基礎上追加如下修改：

# hdfs-site.xml

<!--impala configuration -->

 

<property>

        <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

        <value>true</value>

</property>

<property>

        <name>dfs.block.local-path-access.user</name>

        <value>impala</value>

</property>

<property>

        <name>dfs.client.file-block-storage-locations.timeout.millis</name>

        <value>60000</value>

</property>

 

# core-site.xml

<!--impala configuration -->

 

<property>

        <name>dfs.client.read.shortcircuit</name>

        <value>true</value>

</property>

<property>

        <name>dfs.client.read.shortcircuit.skip.checksum</name>

        <value>false</value>

</property>

<property>

        <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

        <value>true</value>

</property>

6.3 重啟Hadoop叢集

必須要重啟hadoop叢集！！！

7 設定scoket path

在目錄/var/run/目錄下新建目錄hadoop-hdfs (主、從機都要配置)。

【注意：該資料夾可能已經存在，應當確認用impala是否有許可權進行讀寫。 如果已經存在，將使用者impala加入該檔案所屬的組，並修改該檔案組的許可權即: chown -R 775 hadoop-hdfs/】

[[email protected] .ssh]# cd /var/run/                 #進入目錄/var/run/

[[email protected] run]# mkdir hadoop-hdfs           #建立目錄hadoop-hdfs

[[email protected] run]# chown -R 775 hadoop-hdfs/    #設定許可權

 

8 許可權配置（所有機器都應當配置）

  1. 如果想要impala和yarn合作，需要把 impala 使用者加入 hdfs 組.
  2. impala 在執行 drop table 操作時，需要把檔案移到到 hdfs 的回收站，所以需要建立一個hdfs的目錄 /user/impala，並將其設定為impala 使用者可寫。
  3. 同樣的，impala 需要讀取 hive 資料倉庫下的資料，故需要把 impala 使用者加入 hive 組。

 

#主機：esp01

[[email protected] esp01]# usermod -G hdfs,hadoop impala

[[email protected] esp01]# groups impala

impala : impala hdfs hadoop

 

#從機：esp02

[[email protected] esp02]# usermod -G hdfs,hadoop impala

[[email protected] esp02]# groups impala

impala : impala hdfs hadoop

 

#從機：esp03

[[email protected]  esp03]# usermod -G hdfs,hadoop impala

[[email protected]  esp03]# groups impala

impala : impala hdfs hadoop

 

 

另：建立impala在hdfs上的目錄並設定許可權

[[email protected] ~]$ hadoop fs -mkdir -p /user/impala

[[email protected] ~]$ hadoop fs -chown impala /user/impala

9 啟動impala

#主機esp01

[[email protected] ~]# service impala-state-store restart

[[email protected] ~]# service impala-catalog restart

[[email protected] ~]# service impala-server restart

 

#從機：esp02

[[email protected] ~]# service impala-server restart

 

#從機：esp03

[[email protected] ~]# service impala-server restart

 

10 登入impala-shell

[esp01@linux108160 impala]$ impala-shell

Starting Impala Shell without Kerberos authentication

Connected to esp01:21000

Server version: impalad version 2.7.0-cdh5-IMPALA_KUDU-cdh5 RELEASE

(build 48f1ad385382cd90dbaed53b174965251d91d088)

*******************************************************************************

Welcome to the Impala shell. Copyright (c) 2015 Cloudera, Inc. All rights reserved.

(Impala Shell v2.7.0-cdh5-IMPALA-cdh5 (48f1ad3) built on Thu Aug 18 12:15:44 PDT 2016)

 

Run the PROFILE command after a query has finished to see a comprehensive summary

of all the performance and diagnostic information that Impala gathered for that query. Be warned, it can be very long!

*******************************************************************************

[esp01:21000] >

11 同步hive元資料

命令如下：

[esp01:21000] > invalidate metadata;  #同步hive元資料

[esp01:21000] > show databases;  #檢視同步之後的資料庫

12 在impala-shell端建立表

[esp01:21000] > create table if not exists testdata (

                id Int,

                name String

                );

[esp01:21000] >select * from testdata;

 

相關推薦

Impala整合hive（填了各種坑之後總結出來的文件）

        1 環境準備 1.1 伺服器配置 1.2 環境配置 1.3 Impala安裝包下載(不能使用yum命令的情況下) 1.4 Impala安裝包下載(可以使用yum命令的情況下) 2 下載安裝依賴包（必須安裝

C#呼叫C++ DLL的完整方法（解決了各種坑，Win7下測試可用）

        由於C#直接訪問USB裝置的能力較弱，而C++在這方面則強大許多。因此，考慮通過C++實現讀寫USB裝置，C#呼叫該DLL介面的方式。這個過程中，上網查了一些資料，但是自己動手，仍然會出現這樣或者那樣的問題，因此，記錄下大體步驟，以便後續他人或者自己可以參考

react + antd 實現列印功能（踩了不少坑）

最近在有網頁列印需求，嘗試了一下react的列印功能，遇到了不少的坑： 1.react本身有一些列印的元件，但都不好用，都是基於window.print()，但是window.print()如果直接列印的話，沒有樣式。處理直接當前網頁的body設定為你要列印的區域，但是當你取消列印的時候你會發現整個網頁都被

react + antd 實現打印功能（踩了不少坑）

set wid 但是 pan ets req 問題： 我們 posit 最近在有網頁打印需求，嘗試了一下react的打印功能，遇到了不少的坑： 1.react本身有一些打印的組件，但都不好用，都是基於window.print()，但是window.print()如果直接打印

刪除Git遠端倉庫專案的所有內容，重新提交所有內容（填檔案大小寫坑）

問題 在向github遠端倉庫同步專案的時候發現，之前重新更改大小寫的資料夾同步出了問題，導致同時存在大小寫的資料夾。 或是如果我們上傳了一個專案到git並已經commit和push了所有內容，但是忘記搞gitignore檔案，導致一些不想加入版本控制的檔案，如IDE配置檔案，

關於近期開發中遇到的同一賬戶多人登入造成資料庫資料不一致的思考和解決（避開了資料庫存狀態的常用處理手段）

1.問題：近期開發了工單系統，開發結束專案上線測試過程中，發現同一賬戶多人同時登入如果不進行限制，該使用者的操作就不是唯一的，導致資料庫存放的資料出現了問題，專案整個就出問題了，經過本人再三思考，網上好多方案都是通過資料庫存一個登入狀態做處理，這樣的話又得對資料庫進行更改，很難受，那還有什麼其他的處理方案嗎？

名稱空間（解決了為什麼使用using namespace std;的疑惑）

名稱空間是用來組織和重用程式碼的編譯單元。NameSpace（名字空間），是為了解決命名衝突的問題而引入的概念。通過使用 namespace xxx（就是xxx使用的範圍），你所使用的庫函式或變數就是在該名字空間中定義的，這樣一來就不會引起不必要的衝突了。C++標準程式庫中的所有識別符號都被定義於一

【人生苦短，我用python!】幾行python處理檔案裡面的重複內容（包括了讀寫檔案，過濾重複！）

The beauty of python 1 https://blog.csdn.net/dengyaolongacmblog/article/details/38016905 置頂 2014年07月21日 15:28:18 yaolongdeng 閱讀數：2189 標籤：

關於java.lang.NoClassDefFoundError處理（我遇到的坑could not initialize class xmlreaders）

此文章只針對將專案釋出到tomcat下 執行時遇到的問題（其他問題可能不管用） NoClassDefFoundError和ClassNotFoundException區別 我們經常被java.lang.ClassNotFoundException和java.lang

在巴黎人網站×××被黑贏了各種理由不給出款怎麼辦？

現如今黑網是鋪天蓋地，很多喜歡在網上賭的朋友多數被黑，可以說是高達百分之八十以上了，那我們應該怎樣解決這個問題呢，又該怎樣把損失降到最低呢？本人多年在現場網上工作，對遇到這些問題的朋友們也有些瞭解，也成功為朋友們拿回過，也失敗過，下面為大家介紹本人總結的幾個經驗。1 提示系統維護、等待稽核、維護、或是讓你存更

在巴黎人網站×××被黑贏了各種理由不給出款怎麽辦？

介紹 更多 人脈 提示 好的 分享 ima ado 圖片 現如今黑網是鋪天蓋地，很多喜歡在網上賭的朋友多數被黑，可以說是高達百分之八十以上了，那我們應該怎樣解決這個問題呢，又該怎樣把損失降到最低呢？本人多年在現場網上工作，對遇到這些問題的朋友們也有些了解，也成功為朋友們拿回

VimAwesome--vim外掛索引（收錄了超過1萬個實用Vim外掛）

VimAwesome 這個網站收錄了非常多的實用Vim外掛，截止目前已經有1W+。 外掛和使用資料來自GitHub、Vim.org和使用者自己提交。 同時，還支援按照外掛相關的程式語言、主

java比較兩個字串完全不同處高亮顯示（過濾了某些字串前面不不相干字元）

java比較兩個字串完全不同處高亮顯示（過濾了某些字串前面不相干字元） 歡迎各位使用並優化，因為我也不太清楚這裡面是不是有嚴重的問題，後期我會再度優化的，寫這個東西主要是因為在網上很難找到類似的東西= =。 再說一句，請各位大佬帶我飛好嘛！！畢竟我是個小碼農

Bug預防體系（上千bug分析後總結的最佳實踐）

常常 chrome initial 請求 off 目的 進行 同步 產品需求 Bug預防體系（上千bug分析後總結的最佳實踐） 原創 2017-08-16俞美玲 光榮之路 吳老的《selenium webdriver 實戰寶典》出版了！ web常見產品問題及預

spark history server叢集配置與使用（解決執行spark任務之後沒有顯示的問題）

在你的spark路徑的conf檔案中，cp拷貝spark-defaults.conf.template為spark-defaults.conf 並在檔案後面加上 spark.eventLog.enabled           true spark.eventLog.di

SpringBoot和hadoop元件Hive的整合（填坑）

說實話，SpringBoot和Hive的整合還是有不少坑的，最主要的坑就是jar包衝突的問題，這個坑我這裡添了我遇到的坑，我提供了原始碼，放在後邊的連結中，以下是部分的程式碼。 1.上maven依賴，如下： <project xmlns="http://maven.

Java踩坑筆記：ObjectIOStream與IOStream的各種裝飾器（先挖個坑，以後再來詳細填）

ted objects lose val read thread 環境 valid 序列化對象 Java的序列化和ObjectStream真是一個大坑。。 先不說多線程環境下的問題，在單線程裏，一個Socket只能保持一個ObjectOutputStream，原因好像是

（填坑計劃）全排列及其各種變體——遞迴+回溯

填一下大一沒好好學習的遺留坑。 其實全排列問題是個老生常談的問題了，大一接觸到的時候就知道是用遞迴實現，但是由於沒好好學習，對其理解一直不深刻。能看出來程式碼是正確的，但是不理解為什麼，程式碼也沒辦法自己寫出來。（也是因為之前第二課堂學長給的程式碼意義不明） 在看了一名學

unity之——AssetBundle在安卓平臺的打包與載入解析（超大一個坑！今天給填了）

最近一直在頭疼一個問題，自己寫的小Demo，利用AssetBundle動態載入的方式在安卓平臺顯示一個圖片的預設。一直不成功的原因是：因為載入路徑的問題，在安卓平臺下載入不出來assetBundle物件。我是用的AssetBundle.LoadFromFile（）的方法載入的

rabbitmq mqtt外掛整合填坑記錄（些許個人拙見，不對還望指出）

mqtt：Message Queuing Telemetry Transport，訊息佇列遙測傳輸名字很霸氣，適合物聯網感測器窄頻寬網路不穩定的環境，可以持久化，推送離線保活訊息，且可以使用mqttjs在web端使用。mqtt的服務搭建也很簡單，我用的rabbitmq，一行命