1. 程式人生 > >hadoop入門第七步---hive部署安裝(apache-hive-1.1.0)

hadoop入門第七步---hive部署安裝(apache-hive-1.1.0)

以下操作在hdpsrc3 節點上操作 一,下載安裝包 1,下載hive http://mirrors.hust.edu.cn/apache/   得到apache-hive-1.1.0.tar.gz  ,放到該目錄下 /home/hdpsrc/  mysql-client-5.5.39-2.linux2.6.x86_64.rpm mysql-devel-5.5.39-2.linux2.6.x86_64.rpm mysql-server-5.5.39-2.linux2.6.x86_64.rpm mysql-shared-5.5.39-2.linux2.6.x86_64.rpm mysql-shared-compat-5.5.39-2.linux2.6.x86_64.rpm 拷貝到該目錄下  /home/hdpsrc/Desktop/mysql/ 二,安裝mysql 1,解除安裝系統自帶的mysql相關安裝包,僅解除安裝
 mysql 開頭的包

rpm -qa|grep mysql

sudo rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64

2,安裝

cd /home/hdpsrc/Desktop/mysql/

sudo rpm -ivh mysql-*

sudo cp /usr/share/mysql/my-large.cnf /etc/my.cnf

3,啟動設定mysql 啟動mysql服務 sudo service mysql start 設定為開機自啟動 sudo chkconfig mysql on 設定root使用者登入密碼 sudo/usr/bin/mysqladmin -u root password 'wu123' 登入mysql  以root使用者身份登入 mysql -uroot -pwu123 建立hive使用者,資料庫等 insert into mysql.user(Host,User,Password) values("
localhost","hive",password("hive"));
create database hive;
grant all on hive.* to [email protected]'%'  identified by 'hive';
grant all on hive.* to [email protected]'localhost'  identified by 'hive';
flush privileges; 退出mysql  exit 驗證hive使用者 mysql -uhive -phive show databases; 看到如下反饋資訊,則說明建立成功 mysql> show databases; +--------------------+ | Database           | +--------------------+ | information_schema | | hive               | | test               | +--------------------+ 3 rows in set (0.00 sec) 退出mysql exit 三,安裝hive 1,解壓安裝包 cd  ~ tar -zxvf apache-hive-1.1.0-bin.tar.gz 2,建立軟連線 ln -s apache-hive-1.1.0-bin hive
3,新增環境變數 vi  .bash_profile 匯入下面的環境變數 export HIVE_HOME=/home/hdpsrc/hive export PATH=$PATH:$HIVE_HOME/bin 使其有效 source .bash_profile 4,修改hive-site.xml 主要修改以下引數
<property>    <name>javax.jdo.option.ConnectionURL</name>    <value>jdbc:mysql://localhost:3306/hive</value>  </property>  <property>    <name>javax.jdo.option.ConnectionDriverName</name>    <value>com.mysql.jdbc.Driver</value>  </property> <property>    <name>javax.jdo.option.ConnectionPassword</name>    <value>hive</value>  </property>  <property>    <name>hive.hwi.listen.port</name>    <value>9999</value>    <description>This is the port the Hive Web Interface will listen on</description>  </property>  <property>    <name>datanucleus.autoCreateSchema</name>    <value>true</value>  </property>  <property>    <name>datanucleus.fixedDatastore</name>    <value>false</value>  </property>  </property>    <property>     <name>javax.jdo.option.ConnectionUserName</name>     <value>hive</value>     <description>Username to use against metastore database</description>   </property>   <property>     <name>hive.exec.local.scratchdir</name>     <value>/home/hdpsrc/hive/iotmp</value>     <description>Local scratch space for Hive jobs</description>   </property>   <property>     <name>hive.downloaded.resources.dir</name>     <value>/home/hdpsrc/hive/iotmp</value>     <description>Temporary local directory for added resources in the remote file system.</description>   </property>   <property>     <name>hive.querylog.location</name>     <value>/home/hdpsrc/hive/iotmp</value>     <description>Location of Hive run time structured log file</description>   </property> cp hive/conf/hive-default.xml.template hive/conf/hive-site.xml 編輯hive-site.xml 5,拷貝mysql-connector-java-5.1.6-bin.jar 到hive 的lib下面 mv /home/hdpsrc/Desktop/mysql-connector-java-5.1.6-bin.jar /home/hdpsrc/hive/lib/ 6,把jline-2.12.jar拷貝到hadoop相應的目錄下,替代jline-0.9.94.jar,否則啟動會報錯 cp /home/hdpsrc/hive/lib/jline-2.12.jar /home/hdpsrc/hadoop-2.6.0/share/hadoop/yarn/lib/ mv /home/hdpsrc/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar /home/hdpsrc/hadoop-2.6.0/share/hadoop/yarn/lib/jline-0.9.94.jar.bak / 7,穿件hive臨時資料夾 mkdir /home/hdpsrc/hive/iotmp 四,啟動測試hive 啟動hadoop後,執行hive命令 hive 測試輸入 show database; hive> show databases; OK default Time taken: 0.907 seconds, Fetched: 1 row(s) 遇到問題總結希望可以幫助遇到此類問題的人。 建議先建元資料庫,設定編碼latin1。否則建好元資料相關可能會出問題,如drop table 卡死, create table too long等等 hive對utf-8支援不好。設定完編碼latin1,發現table 欄位描述無法顯示中文。修改元資料庫表的字元 (1)修改表字段註解和表註解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8
(2) 修改分割槽欄位註解:
alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8 ; 
alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8; 
(3)修改索引註解:
alter table INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;
連線元資料設定 dbc:mysql://192.168.209.1:3306/metastore_hive_db?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8
對於已經建好的表,不起作用。 最好安裝的時候就修改編碼格式。 元資料mysql遠端模式配置 <property>
                <name>hive.metastore.uris</name>
                <value>thrift://192.168.223.129:9083</value> 
                <description>執行hive的主機地址及埠(特別重要ip不要弄錯)</description>
</property>
啟動元資料
bin/hive --service metastore &
到此hive已經安裝完成 備註:

相關推薦

hadoop門第---hive部署安裝apache-hive-1.1.0

以下操作在hdpsrc3 節點上操作 一,下載安裝包 1,下載hive http://mirrors.hust.edu.cn/apache/   得到apache-hive-1.1.0.tar.gz  ,放到該目錄下 /home/hdpsrc/  mysql-client

hive部署安裝apache-hive-1.1.0

http://blog.csdn.net/an342647823/article/details/46048403 以下操作在hdpsrc3 節點上操作 一,下載安裝包 1,下載hive http://mirrors.hust.edu.cn/apache/   得到

大數據門第天——MapReduce詳解

nbsp targe input pre 切片 入門 技術 log 過程 一、mapTask並行度的決定機制    1.概述   一個job的map階段並行度由客戶端在提交job時決定   而客戶端對map階段並行度的規劃的基本邏輯為:     將待處理數據執行邏輯

Spring門第

actor strac 關系 並不是 null ont dao ble init Bean之間的關系:繼承和依賴。 繼承Bean配置 Spring允許繼承bean的配置,被繼承的bean稱為父bean,繼承這個父bean的Bean稱為子Bean。 子Bean從父Bean中繼

大數據門第天——MapReduce詳解

使用 sys distrib sent 作業 asi users tor war 一、概述   1.map-reduce是什麽 Hadoop MapReduce is a software framework for easily writing applica

java門第篇-JQuery;

效果 接下來 AR api insert 傳參數 tex .data ogg 【JQuery語法】 1.使用Jquery必須先導入jquery.x.x.x.js文件 2.JQuery中的選擇器: $("選擇器名稱").方法()。($是JQuery的縮寫,也就是說選

Android門第篇之ListView 二

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!        

python門第

  有人會問為啥沒有第五、六課呢? 我不會告訴你我沒聽懂的。 書歸正傳,繼續第七課的練習。 練習一:簡單加法 在 Python 下對一個二維列表,l1=[[1,2,3],[4,5,6]],然後進行每個元素+1 的操作。 要求使用  Python 迴圈

python 門第課 面向物件進階

靜態方法: @staticmethod,只是名義上歸類管理,實際上在靜態方法裡訪問不了類或者例項的任何屬性 類方法: @classmethod,只能訪問類變數,不能訪問例項變數 屬性方法: @property ,把一個方法變成一個靜態屬性 屬性方法的應用如下: f.flight_status呼叫屬性方法,.s

Hive部署安裝

下載對應Hadoop版本的Hive本人使用的是hive-1.1.0-cdh5.7.0.tar.gz 下載tar.gz包 或者wget 如圖 下載完成以後使用tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app/解壓到app

微信小程式開發門第章:收藏、評論、點贊及計數功能

    本章內容有一定的難度,但其中的技巧和知識還是很豐富的。本章通過編寫幾乎所有內容型應用都會附帶的“評論”“點贊”“閱讀計數”“收藏”等功能,來學習使用小程式的互動反饋元件、快取的應用、圖片選擇和預覽、遮蔽關鍵字、錄音、拍照以及播放錄音等功能7.1 收藏、評論、點贊、計數

ArcGIS Enterprise 10.5.1 靜默安裝部署記錄Centos 7.2 minimal版- 2、安裝Portal for ArcGIS

-a 切換 https stop user 安裝 執行 limits 方式 安裝Portal for ArcGIS 解壓portal安裝包,tar -xzvf Portal_for_ArcGIS_Linux_1051_156440.tar.gz 切換到arcgis賬戶靜

ArcGIS Enterprise 10.5.1 靜默安裝部署記錄Centos 7.2 minimal版- 3、安裝 ArcGIS for Server

切換 驗證 裝包 start dap sof 訪問權限 tar 服務 安裝ArcGIS for Server 解壓server安裝包,tar -xzvf ArcGIS_Server_Linux_1051_156429.tar.gz 切換到arcgis賬戶靜默安裝serv

ArcGIS Enterprise 10.5.1 靜默安裝部署記錄Centos 7.2 minimal版- 1安裝前準備

計算機 boot thread connect conf 1.8 div 導入 top 安裝前準備 上傳文件到服務器,x-ftp xshell登陸Centos 檢查機器名 修改機器名為:portal.cloud.local 方法一:零時設置,重啟後失效,

System Center 2016 - Operations Manager 部署安裝

system center 2016 scom2016 operations manager 上一篇我們講到了為 SCOM 2016 準備先決條件。需要安裝 Rport View 組件,但是還需要先裝CLR Type for SQL Server 2014CLR Type for SQL Serv

System Center 2016 - Operations Manager 部署安裝

scom2016 operations manager system center 2016 今天很高興和大家一起探討一下關於 System Center 2016 - Operations Manager (俗稱SCOM2016)的部署安裝,也希望多多和大家一起討論學習。其實網上有一些關於SCO

System Center 2016 - Operations Manager 部署安裝

scom2016 system center 2016 operations manager 上一篇文章中,我們講述了如何安裝和準備 SCOM2016 的先決條件。接下來,我們來正式的開始安裝 SCOM 2016了在上文的最後一張圖中,我們已經通過了所有的先決條件檢查我們點擊下一步來進行後續安裝

System Center 2016 - Configuration Manager 部署安裝

style 管理員 擴展 管理中心 -c 還需 管理企業 roc 查詢 Hi 大家好,很高興今天和大家一起來學習探討一下 System Center 2016 - Configuration Manager , 其實一開始,我就要糾正一下我的這個叫法,不同於我之前分享給大家

System Center 2016 - Configuration Manager 部署安裝

space sid 運行 top src mil style 接下來 更新點 今天給大家介紹一下如何為 SCCM2016 準備Windows “功能和角色”的先決條件註:在安裝windows 功能和角色 之後,通常需要重新啟動服務器以完成配置。首先從功能上,以下的功能是站點

System Center 2016 - Configuration Manager 部署安裝

文件 sccm type 準備 系統 cto 安裝介質 manage mar 好了,前兩篇文章我們已經贅述了很多關於 SCCM 2016 安裝之前所需要做的準備工作,今天就來開始安裝SCCM程序了。找到安裝介質如下路徑中的 setup 文件,雙擊開始安裝點擊安裝安裝前的說