1. 程式人生 > >mac OSX 上 brew install hive

mac OSX 上 brew install hive

本文介紹brew install hive並修改預設的metastore儲存方案,改Derby資料庫為mysql的方法以及可能遇到的問題的解決方案。

1. 通過homebrew安裝hive

1 brew install hive

2. 新增hadoop和hive的環境變數

1 2 3 4 5 6 sudo vim ~/.bash_profile export HADOOP_HOME=/usr/local/Cellar/hadoop/hadoop export HIVE_HOME=
/usr/local/Cellar/hive/hive/libexec source ~/.bash_profile

3. 下載mysql connector

4. 建立mysql metastore

1 2 3 4 mysql> CREATE DATABASE metastore; mysql> USE metastore; mysql> CREATE USER 'hiveuser'@'localhost' IDENTIFIED BY 'password'; mysql> GRANT SELECT
,INSERT,UPDATE,DELETE,ALTER,CREATE ON metastore.* TO 'hiveuser'@'localhost';

5. 配置hive的配置檔案

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 cd /usr/local/Cellar/hive/hive/libexec/conf cp hive-default.xml.template hive-site.xml #新增或者編輯如下內容
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> <property> <name>datanucleus.fixedDatastore</name> <value>false</value> </property>

6. 測試hive是否工作

1 2 3 $ hive; hive > show tables; hive> create table temp_table temp_col string;

7. Revoke few permissions on the mysql metastore

1 2 $ mysql mysql> REVOKE ALTER,CREATE ON metastore.* FROM 'hiveuser'@'localhost';

9. Further troubleshooting : 
(a) If you get a bin log error saying statement format is not support. Login to your mysql console as root

$ mysql -uroot
mysql > SET GLOBAL binlog_format = 'ROW';

(b) You could also try reading the logs as follows. Logs can be emitted to the bash prompt while running hive by setting hive.root.logger to INFO,console.

$ hive -hiveconf hive.root.logger=INFO,console

(c)You could also read the raw hive logs which is usually located at /tmp/user_name/hive.log

(d)If you still have any errors, feel free to comment. 在配置完成後,可能遇到的問題解決方案: 一,Reference error 解決方案:         使用sequel pro, 修改hive使用者的許可權,新增Reference的global許可權。 二,啟動hive時遇到的" Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D " 解決方案: 修改hive-site.xml 配置中的以下key value即可: <name>hive.exec.scratchdir</name> <value>/tmp/hive-${user.name}</value>  <name>hive.exec.local.scratchdir</name>  <value>/tmp/${user.name}</value> <name>hive.downloaded.resources.dir</name> <value>/tmp/${user.name}_resources</value> <name>hive.scratch.dir.permission</name>     <value>733</value> restart hive metastore and hiveserver2 

相關推薦

mac OSX brew install hive

本文介紹brew install hive並修改預設的metastore儲存方案,改Derby資料庫為mysql的方法以及可能遇到的問題的解決方案。 1. 通過homebrew安裝hive 1 brew install hive 2.

mac osx 系統 brew install hadoop 安裝指南

mac osx 系統 brew  install hadoop 安裝指南 brew install hadoop  配置 core-site.xml:配置hdfs檔案地址(記得chmod 對應資料夾,否則無法正常啟動hdfs)和namenode的rpc通行埠 配置mapred-site.xm

Mac OSX 安裝 nginx

chown brew gin 使用 目錄 bre 修改 writable osx 今天在使用 brew 安裝 nginx 時,提示錯誤,安裝不上去: brew install nginx, 提示:/usr/local is not writable. 這個是需要修改 /

Mac OSX 配置Appium+Android自動化測試環境

crm get exp 一個 shang time 點擊 host 設置代理 前提準備 開始正文之前,你需要準備好一些基本條件: 安裝好Mac OSX 操作系統的設備 能夠訪問中國局域網以外資源的方法(沒有也行,但很痛苦) 已經安裝好 homebrew 已經安裝好 Pyt

Mac OSX卸載Anaconda

刪除一行 lean vim 輸入 related creat https ubuntu pen 方案一   anaconda安裝程序在~/.bash_profile腳本中新添加了一行,將anaconda bin目錄添加到了$PATH環境變量中。所以你只需要刪除anacond

Mac OSX使用brew安裝舊版本phpunit的方法

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!        

mac OSX ,使用python matplotlib庫時,出現問題

from matplotlib.backends import _macosx RuntimeError: Python is not installed as a framework. The Mac

mac osx安裝機器學習開發環境

[email protected] ~ $ bash Anaconda3-4.3.1-MacOSX-x86_64.sh Welcome to Anaconda3 4.3.1 (by Continuum Analytics, Inc.) In order to continue the insta

osxbrew install mysql之後mysql報錯的問題

報錯如下: ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) 然後檢視/tmp/目錄下根本沒有mysql.sock 其實當年安裝

Mac OSX 安裝 Tomcat 7 及管理介面

I’ve made the switch over to Apple on my development machines and as I’m starting my new company soon I’ve got myself a new MacBook Pro machine of which I

兩件小事讓我抓狂 之一:Mac OSX沒有可用的雙拼

1995年我就看上了蘋果電腦,但是沒有錢,也沒必要買,當時的蘋果電腦還很難用,高層應用和PC有很大的差異,但是現在的Mac OSX已經很好用了,很多平時在PC上賴以生存的工具都有了Mac版。簡單舉兩個例子,凡是跟Apache/Eclipse/Mozilla/Codehaus有

【轉】Install libimobiledevice on Mac OSX

com app native device blog pre fss command null About the App App name: libimobiledevice App description: Library to communicate with iO

macpip install時提示/System/Library/... 無權限

alt ins log img png library 即使 roo blog 使用pip install安裝包時,提示無權限,即使切換到root賬號,仍然提示無權限 加上--user參數解決,如: pip install --user ipythonmac上

mac brew install redis

Last login: Tue Jul 31 23:30:40 on console ➜  ~ brew install redis  #安裝redis Updating Homebrew... ==> Auto-updated Homebrew! Updated 2

MacRStudio install.packages聯網失敗的解決方式

本篇主要參考大佬文章:Rstudio install.packages失敗解決方式。與其略微不同的是,它解決的是普通Linux下,新裝Rstudio無法install.packages的問題,這邊文章則是Mac上遇到此問題的解決方法。(可以說是它的一個特例) 問題 重灌了RSt

如何在Mac OSX 系統安裝 Vagrant

翻譯&轉載:http://sourabhbajaj.com/mac-setup/Vagrant/README.html   如何在Mac OSX 系統上安裝 Vagrant   建立和配置輕量級、可重現且可移植的開發環境。Vagrant是一個通過簡單易用的

Install plantuml on Mac OSX

About the App App name: plantuml App description: Draw UML diagrams Install the App Press Command+F and type Terminal and press enter

GraphicsMagick在mac系統的用brew的裝配

*******************************************************   安裝jpeg包******************************************************brew install li

Mac使用技巧-Mac OSX 使用rz、sz 遠端傳、下載檔案

使用背景:   遠端檔案傳輸的工具有很多,例如rz、sz;scp;ftp等。我用的iMac,通常通過scp來進行傳輸。但是由於公司的測試環境伺服器需要通過跳板機訪問,不能使用scp,ftp中轉的機器也難協調。諮詢同事後得知可以使用rz、sz進行傳輸。於是我便嘗試了

Mac OSX 使用rz、sz 遠端傳、下載檔案

前言:   部落格園開博很久了,一直想寫點什麼。或許自己能力有限,不夠自信。本來想以一篇華麗麗的技術分享作為部落格園的開篇的。醞釀了很久的sqoop使用分享,但是一直封存在草稿箱。最近需要倒騰檔案,便以此文作為筆記開篇吧 :) 使用背景:   遠端檔案傳輸的工具有很多,例如rz、sz;scp;ftp