cool-2018-10-22-centos7-hive-1.2叢集+整合hbase-1.1.3叢集
hive與hbase整合版本相容說明
HIVE 0.9.0,HBASE整合至少需要HBASE 0.92,HIVE的早期版本與HBase 0.89/0.90一起使用。 |
hive1.X將保持與HBase 0.98.x和更低版本相容。hive2x將與HBASE 1 x相容。希望使用Hive 1.x與HBase 1.x一起工作的消費者將需要自己編譯Hive 1.x流程式碼。 |
這裡沒有編譯依然可以使用,可能存在未知的相容性問題
先停止zookeeper、hbase和hadoop
zkServer.sh stop
stop-dfs.sh
stop-hbase.sh
node3 ~]# tar -zxvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin /home/hive-1.2
cd /home/hive-1.2/conf
cp hive-default.xml.template hive-site.xml
從configuration標籤開始刪除到configuration標籤結束,編輯模式
.,$-1d
1、配置元資料+ZK
vi hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node4:3306/hive_db</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>node3,node4,node5</value>
</property>
</configuration>
2、jar包配置,在hive的conf目錄下執行
rm -rf /home/hadoop-2.5.1/share/hadoop/yarn/lib/jline-0.9.94.jar
cp ../lib/jline-2.12.jar /home/hadoop-2.5.1/share/hadoop/yarn/lib/
cp ../lib/hive-hbase-handler-1.2.1.jar /home/hbase-1.1.3/lib/
再把hbase中的所有的jar,cp到hive/lib
# -n 表示對於目標路徑下已經存在的檔案,則不復制過去
cp -n /home/hbase-1.1.3/lib/*.jar /home/hive-1.2/lib/
3、在hive中配置MySQL的驅動包
cp mysql-connector-java-5.1.26-bin.jar /home/hive-1.2/lib/
node4節點上建立資料庫
create database hive_db;
4、拷貝配置叢集,切換到home目錄下
scp -r hive-1.2/ [email protected]:/home/
scp -r hive-1.2/ [email protected]:/home/
scp -r hive-1.2/ [email protected]:/home/
node4、5、6三個節點在hive的conf目錄下都執行以下操作
rm -rf /home/hadoop-2.5.1/share/hadoop/yarn/lib/jline-0.9.94.jar
cp ../lib/jline-2.12.jar /home/hadoop-2.5.1/share/hadoop/yarn/lib/
cp ../lib/hive-hbase-handler-1.2.1.jar /home/hbase-1.1.3/lib/
5、按照流程啟動hadoop 和 hbase
切換到hive的bin目錄下,啟動hive
./hive
相關推薦
cool-2018-10-22-centos7-hive-1.2叢集+整合hbase-1.1.3叢集
hive與hbase整合版本相容說明 HIVE 0.9.0,HBASE整合至少需要HBASE 0.92,HIVE的早期版本與HBase 0.89/0.90一起使用。 hive1.X將保持與HBase 0.98.x和更低版本相容。hive2x將與HBASE 1 x
cool-2018-10-21-centos7搭建spark1.5叢集
搭建spark叢集 前提: 配置好hadoop環境變數 時間同步 service iptables stop ntpdate 0.asia.pool.ntp.org 解壓spark壓縮包 tar -zxvf spark-1.5.1-bin-hadoop2.4.tg
cool-2018-10-21-centos7-spark1.5叢集-副本
linux突然所有命令都失效了,顯示bash: xxxxx: command not found... 出現這個問題是因為系統的環境變數沒有正確配置造成的,造成這個原因有很多,比如系統升級,比如不正當操作。解決的方式有兩種。 其一:直接在linux命令列介面輸
2018.10.22 第2次作業 條件2
2018.10.22 第2次作業 以下內容僅供娛樂,歡迎隨時探討,請多指教! 1. 給你一個簡單的四則運算表示式,包含兩個實數和一個運算子,請程式設計計算出結果。 表示式的格式為:s1 $ s2, s1和s2是兩個實數,‘$’表示的是運算子(+,-,*,/),也可能是其他字元。 如果運算符合
2018.10.24 下午 css學習2
行內樣式表:<div style="color:red;">今天是公元2018年10月24日程式設計師的節日</div> //書寫方便權重高 內部樣式表:就是我們經常使用的 在<head>裡面進行使用的 <sty
collectd折騰隨筆(2018.10.22晚)
寫在最前面:由於最近做一個關於資料中心能效預測的專案,需要從伺服器採集資料,瞭解到collectd這個東東,於是在Ubuntu上裝了collectd,裝的過程不再贅述。 其實,目標很簡單,從伺服器上把資料採集並傳到本地或者其他伺服器上。 collectd安裝完畢後,會有一份有效的
2018-10-22工作日報
今天一天都在忙財富商城PC端的專案,工作量大,時間緊,所以總結的時間少了點:現總結如下: 1.一般來說在盒子模型裡,給div設定的寬度高度,都是其content的寬高,而不是實際該div的寬高。實際div的寬高需要加上padding margin 等。 但是如果給這個div設定了box-
2018/10/22
JavaScript 程式設計題 null 和 undefined 的區別? undefined 型別只有一個值,即 undefined。當宣告的變數還未被初始化時,變數的預設值為 undefined。 null 型別也只有一個值,即 null。null 用來表示尚未存在的物件,常用來表
【NOIP2018模擬賽2018.10.22】pets
與cards同天考的題,反正很噁心人。。 首先分組,我將一隊放進a,二隊放進b,然後隊伍中n^2建邊,若 i 打得過 j 就連一條有向邊,將 j 的入度+1,然後topo序判環。 可以看出如果有環就說明一個隊中存在 a 打得過 b,b 打得過 c, c 又打得過 a 的情況,這種
【NOIP2018模擬賽2018.10.22】cards
這道題十分陰險啊。。 一般來說看到這道題都會選擇打一個最長上升子序列的模板吧(比較時就比較三個引數)。。。。 但你可以看到,5,6,7,8四個點m達到了1e6的規模,那麼n^2的複雜的肯定是過不了的。 又可以驚奇的發現,1~8個點的z都為0! 於是經過仔(ca
2018.10.22筆記
1.計算機基礎知識 1.1 什麼是計算機 cpu 中央處理器 相當於人的大腦 記憶體 馬上要使用的資料 &
UBTC專案進展-2018.10.22-10.28
重要公告: UBTC成功升級:調整區塊獎勵成熟期及參與POS挖礦成功的UTXO鎖定時間 UnitedBitcoin(UBTC位元聯儲)已經於區塊高度572,000(2018年10月15日,06:07)成功升級,以調整區塊獎勵的成熟期,以及參與POS挖礦成功的UTXO鎖定時間。 此次升級的
自我規劃2018.10.22
今天是2018.10.22,到2019年還剩下2個月10天,要抓緊時間實習跟自我籌備了。今天寫下這篇博文,主要是是希望自己有規劃的成長,對自己一種約束,自我感覺自控力還是不行,寫出來讓自己每天堅持。 日計劃 2018.10.22——月底:每天刷面試題5道(每天一定要堅持),《spring原始
本週知識點總結weekly22(2018-10-22)
parallax重力視差js 從燈塔報告中找到h5移動端的優化建議 指定Chrome和Opera中主題的背景顏色 <!-- 設定Chrome和Opera瀏覽器下的主題色 --> <meta name="theme-color" content=
KaOS 2018.10釋出於KDE Plasma 5.14桌面,Wayland 1.16版本
KaOS很高興地宣佈10月釋出新的穩定ISO,KaOS 2018.10。 KaOS 截圖 KaOS 介紹 KaOS是一份桌面Linux發行版,其特色在於最新版本的 KDE 桌面環境及其他流行的使用Qt工具包的軟體程式。 它最初基於Arch Linux,但從2013年四月起,開發者們開
2018.10.22——10.3定製操作
10.20 #include <iostream> #include <fstream> #include <vector> #include <string> #include <algorithm>
2018.10.22【網路流24題】【洛谷P2770】【LOJ6122】航空路線問題(費用流)
洛谷傳送門 解析: 調了半天最後發現費用流部分一個小細節跪了。。。 心態爆炸。。。問題不大 思路: 首先我們直接找出兩條沒有重複節點的路徑,一條正著輸出一條倒著輸出就行了。 找的話考慮網路流。我們將每個點拆點成兩個ai,bia_i,b_iai,bi,為保
2018-10-22 hibernate載入策略
物件的三種狀態(hibernate管理的物件) 1.1 臨時狀態 1.2 持久狀態 1.3 遊離狀態 1、hibernate是通過管理物件來操作資料,這裡物件指的是持久化物件。 2、hibernate中的三種狀態的物件是可以相互轉換的,通常編碼時只關注持久
2018.10.22 存在重複元素
給定一個整數陣列,判斷是否存在重複元素。 如果任何值在陣列中出現至少兩次,函式返回 true。如果陣列中每個元素都不相同,則返回 false。 示例 1: 輸入: [1,2,3,1] 輸出: true 示例 2: 輸入: [1,2,3,4] 輸出: false 示
2018-10-28 多對多2
級聯新增 book.hbm.xml:inverse=false; category.hbm.xml:inverse=true; inverse:反方 指的是將級聯關係的維護的責任交給false一方的物件。 以往jdbc: * this.bookDao