1. 程式人生 > >cool-2018-10-22-centos7-hive-1.2叢集+整合hbase-1.1.3叢集

cool-2018-10-22-centos7-hive-1.2叢集+整合hbase-1.1.3叢集

hive與hbase整合版本相容說明

HIVE 0.9.0,HBASE整合至少需要HBASE 0.92,HIVE的早期版本與HBase 0.89/0.90一起使用。
hive1.X將保持與HBase 0.98.x和更低版本相容。hive2x將與HBASE 1 x相容。希望使用Hive 1.x與HBase 1.x一起工作的消費者將需要自己編譯Hive 1.x流程式碼。

這裡沒有編譯依然可以使用,可能存在未知的相容性問題

先停止zookeeper、hbase和hadoop

zkServer.sh stop

stop-dfs.sh

stop-hbase.sh

node3 ~]# tar -zxvf apache-hive-1.2.1-bin.tar.gz

mv apache-hive-1.2.1-bin /home/hive-1.2

cd /home/hive-1.2/conf

cp hive-default.xml.template hive-site.xml

從configuration標籤開始刪除到configuration標籤結束,編輯模式

.,$-1d

1、配置元資料+ZK

vi hive-site.xml

<configuration>  

<property>  

  <name>javax.jdo.option.ConnectionURL</name>  

  <value>jdbc:mysql://node4:3306/hive_db</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionDriverName</name>  

  <value>com.mysql.jdbc.Driver</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionUserName</name>  

  <value>root</value>  

</property>  

<property>  

  <name>javax.jdo.option.ConnectionPassword</name>  

  <value>123456</value>  

</property>  

<property>

<name>hbase.zookeeper.quorum</name>

<value>node3,node4,node5</value>

</property>

</configuration>  

2、jar包配置,在hive的conf目錄下執行

rm -rf /home/hadoop-2.5.1/share/hadoop/yarn/lib/jline-0.9.94.jar

cp ../lib/jline-2.12.jar /home/hadoop-2.5.1/share/hadoop/yarn/lib/

cp ../lib/hive-hbase-handler-1.2.1.jar /home/hbase-1.1.3/lib/

再把hbase中的所有的jar,cp到hive/lib

# -n 表示對於目標路徑下已經存在的檔案,則不復制過去

cp -n /home/hbase-1.1.3/lib/*.jar /home/hive-1.2/lib/

3、在hive中配置MySQL的驅動包

cp mysql-connector-java-5.1.26-bin.jar /home/hive-1.2/lib/

node4節點上建立資料庫

create database hive_db;


4、拷貝配置叢集,切換到home目錄下

scp -r hive-1.2/ [email protected]:/home/

scp -r hive-1.2/ [email protected]:/home/

scp -r hive-1.2/ [email protected]:/home/

node4、5、6三個節點在hive的conf目錄下都執行以下操作

rm -rf /home/hadoop-2.5.1/share/hadoop/yarn/lib/jline-0.9.94.jar

cp ../lib/jline-2.12.jar /home/hadoop-2.5.1/share/hadoop/yarn/lib/

cp ../lib/hive-hbase-handler-1.2.1.jar /home/hbase-1.1.3/lib/
 

5、按照流程啟動hadoop 和 hbase

切換到hive的bin目錄下,啟動hive

./hive

相關推薦

cool-2018-10-22-centos7-hive-1.2叢集+整合hbase-1.1.3叢集

hive與hbase整合版本相容說明 HIVE 0.9.0,HBASE整合至少需要HBASE 0.92,HIVE的早期版本與HBase 0.89/0.90一起使用。 hive1.X將保持與HBase 0.98.x和更低版本相容。hive2x將與HBASE 1 x

cool-2018-10-21-centos7搭建spark1.5叢集

搭建spark叢集 前提: 配置好hadoop環境變數 時間同步 service iptables stop ntpdate 0.asia.pool.ntp.org 解壓spark壓縮包 tar -zxvf spark-1.5.1-bin-hadoop2.4.tg

cool-2018-10-21-centos7-spark1.5叢集-副本

linux突然所有命令都失效了,顯示bash: xxxxx: command not found... 出現這個問題是因為系統的環境變數沒有正確配置造成的,造成這個原因有很多,比如系統升級,比如不正當操作。解決的方式有兩種。       其一:直接在linux命令列介面輸

2018.10.222次作業 條件2

2018.10.22 第2次作業 以下內容僅供娛樂,歡迎隨時探討,請多指教! 1. 給你一個簡單的四則運算表示式,包含兩個實數和一個運算子,請程式設計計算出結果。 表示式的格式為:s1 $ s2, s1和s2是兩個實數,‘$’表示的是運算子(+,-,*,/),也可能是其他字元。 如果運算符合

2018.10.24 下午 css學習2

行內樣式表:<div style="color:red;">今天是公元2018年10月24日程式設計師的節日</div>   //書寫方便權重高 內部樣式表:就是我們經常使用的 在<head>裡面進行使用的   <sty

collectd折騰隨筆(2018.10.22晚)

寫在最前面:由於最近做一個關於資料中心能效預測的專案,需要從伺服器採集資料,瞭解到collectd這個東東,於是在Ubuntu上裝了collectd,裝的過程不再贅述。 其實,目標很簡單,從伺服器上把資料採集並傳到本地或者其他伺服器上。 collectd安裝完畢後,會有一份有效的

2018-10-22工作日報

今天一天都在忙財富商城PC端的專案,工作量大,時間緊,所以總結的時間少了點:現總結如下: 1.一般來說在盒子模型裡,給div設定的寬度高度,都是其content的寬高,而不是實際該div的寬高。實際div的寬高需要加上padding margin 等。 但是如果給這個div設定了box-

2018/10/22

JavaScript 程式設計題 null 和 undefined 的區別? undefined 型別只有一個值,即 undefined。當宣告的變數還未被初始化時,變數的預設值為 undefined。 null 型別也只有一個值,即 null。null 用來表示尚未存在的物件,常用來表

【NOIP2018模擬賽2018.10.22】pets

與cards同天考的題,反正很噁心人。。 首先分組,我將一隊放進a,二隊放進b,然後隊伍中n^2建邊,若 i 打得過 j 就連一條有向邊,將 j 的入度+1,然後topo序判環。 可以看出如果有環就說明一個隊中存在 a 打得過 b,b 打得過 c, c 又打得過 a 的情況,這種

【NOIP2018模擬賽2018.10.22】cards

 這道題十分陰險啊。。 一般來說看到這道題都會選擇打一個最長上升子序列的模板吧(比較時就比較三個引數)。。。。 但你可以看到,5,6,7,8四個點m達到了1e6的規模,那麼n^2的複雜的肯定是過不了的。 又可以驚奇的發現,1~8個點的z都為0! 於是經過仔(ca

2018.10.22筆記

1.計算機基礎知識 1.1 什麼是計算機 cpu   中央處理器  相當於人的大腦               記憶體  馬上要使用的資料      &

UBTC專案進展-2018.10.22-10.28

重要公告: UBTC成功升級:調整區塊獎勵成熟期及參與POS挖礦成功的UTXO鎖定時間 UnitedBitcoin(UBTC位元聯儲)已經於區塊高度572,000(2018年10月15日,06:07)成功升級,以調整區塊獎勵的成熟期,以及參與POS挖礦成功的UTXO鎖定時間。 此次升級的

自我規劃2018.10.22

今天是2018.10.22,到2019年還剩下2個月10天,要抓緊時間實習跟自我籌備了。今天寫下這篇博文,主要是是希望自己有規劃的成長,對自己一種約束,自我感覺自控力還是不行,寫出來讓自己每天堅持。 日計劃 2018.10.22——月底:每天刷面試題5道(每天一定要堅持),《spring原始

本週知識點總結weekly22(2018-10-22)

parallax重力視差js 從燈塔報告中找到h5移動端的優化建議 指定Chrome和Opera中主題的背景顏色 <!-- 設定Chrome和Opera瀏覽器下的主題色 --> <meta name="theme-color" content=

KaOS 2018.10釋出於KDE Plasma 5.14桌面,Wayland 1.16版本

KaOS很高興地宣佈10月釋出新的穩定ISO,KaOS 2018.10。 KaOS 截圖 KaOS 介紹 KaOS是一份桌面Linux發行版,其特色在於最新版本的 KDE 桌面環境及其他流行的使用Qt工具包的軟體程式。 它最初基於Arch Linux,但從2013年四月起,開發者們開

2018.10.22——10.3定製操作

10.20 #include <iostream> #include <fstream> #include <vector> #include <string> #include <algorithm>

2018.10.22【網路流24題】【洛谷P2770】【LOJ6122】航空路線問題(費用流)

洛谷傳送門 解析: 調了半天最後發現費用流部分一個小細節跪了。。。 心態爆炸。。。問題不大 思路: 首先我們直接找出兩條沒有重複節點的路徑,一條正著輸出一條倒著輸出就行了。 找的話考慮網路流。我們將每個點拆點成兩個ai,bia_i,b_iai​,bi​,為保

2018-10-22 hibernate載入策略

物件的三種狀態(hibernate管理的物件) 1.1 臨時狀態 1.2 持久狀態 1.3 遊離狀態 1、hibernate是通過管理物件來操作資料,這裡物件指的是持久化物件。 2、hibernate中的三種狀態的物件是可以相互轉換的,通常編碼時只關注持久

2018.10.22 存在重複元素

給定一個整數陣列,判斷是否存在重複元素。 如果任何值在陣列中出現至少兩次,函式返回 true。如果陣列中每個元素都不相同,則返回 false。 示例 1: 輸入: [1,2,3,1] 輸出: true 示例 2: 輸入: [1,2,3,4] 輸出: false 示

2018-10-28 多對多2

級聯新增 book.hbm.xml:inverse=false; category.hbm.xml:inverse=true; inverse:反方 指的是將級聯關係的維護的責任交給false一方的物件。 以往jdbc: * this.bookDao