mac OSX 上 brew install hive
本文介紹brew install hive並修改預設的metastore儲存方案,改Derby資料庫為mysql的方法以及可能遇到的問題的解決方案。
1. 通過homebrew安裝hive
1 |
brew install hive
|
2. 新增hadoop和hive的環境變數
1 2 3 4 5 6 |
sudo vim ~/.bash_profile
export HADOOP_HOME= /usr/local/Cellar/hadoop/hadoop
export HIVE_HOME= /usr/local/Cellar/hive/hive /libexec
source ~/.bash_profile
|
3. 下載mysql connector
4. 建立mysql metastore
1 2 3 4 |
mysql> CREATE DATABASE metastore;
mysql> USE metastore;
mysql> CREATE USER 'hiveuser' @ 'localhost' IDENTIFIED BY 'password' ;
mysql> GRANT SELECT , INSERT , UPDATE , DELETE , ALTER , CREATE ON metastore.* TO 'hiveuser' @ 'localhost' ;
|
5. 配置hive的配置檔案
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
cd /usr/local/Cellar/hive/hive /libexec/conf
cp hive-default.xml.template hive-site.xml
#新增或者編輯如下內容 <property>
<name>javax.jdo.option.ConnectionURL< /name >
<value>jdbc:mysql: //localhost/metastore < /value >
< /property >
<property>
<name>javax.jdo.option.ConnectionDriverName< /name >
<value>com.mysql.jdbc.Driver< /value >
< /property >
<property>
<name>javax.jdo.option.ConnectionUserName< /name >
<value>hiveuser< /value >
< /property >
<property>
<name>javax.jdo.option.ConnectionPassword< /name >
<value>password< /value >
< /property >
<property>
<name>datanucleus.fixedDatastore< /name >
<value> false < /value >
< /property >
|
6. 測試hive是否工作
1 2 3 |
$ hive;
hive > show tables;
hive> create table temp_table temp_col string;
|
7. Revoke few permissions on the mysql metastore
1 2 |
$ mysql
mysql> REVOKE ALTER,CREATE ON metastore.* FROM 'hiveuser' @ 'localhost' ;
|
9. Further troubleshooting :
(a) If you get a bin log error saying statement format is not support. Login to your mysql console as root
$ mysql -uroot mysql > SET GLOBAL binlog_format = 'ROW';
(b) You could also try reading the logs as follows. Logs can be emitted to the bash prompt while running hive by setting hive.root.logger to INFO,console.
$ hive -hiveconf hive.root.logger=INFO,console
(c)You could also read the raw hive logs which is usually located at /tmp/user_name/hive.log
(d)If you still have any errors, feel free to comment. 在配置完成後,可能遇到的問題解決方案: 一,Reference error 解決方案: 使用sequel pro, 修改hive使用者的許可權,新增Reference的global許可權。 二,啟動hive時遇到的" Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D " 解決方案: 修改hive-site.xml 配置中的以下key value即可: <name>hive.exec.scratchdir</name> <value>/tmp/hive-${user.name}</value> <name>hive.exec.local.scratchdir</name> <value>/tmp/${user.name}</value> <name>hive.downloaded.resources.dir</name> <value>/tmp/${user.name}_resources</value> <name>hive.scratch.dir.permission</name> <value>733</value> restart hive metastore and hiveserver2相關推薦
mac OSX 上 brew install hive
本文介紹brew install hive並修改預設的metastore儲存方案,改Derby資料庫為mysql的方法以及可能遇到的問題的解決方案。 1. 通過homebrew安裝hive 1 brew install hive 2.
mac osx 系統 brew install hadoop 安裝指南
mac osx 系統 brew install hadoop 安裝指南 brew install hadoop 配置 core-site.xml:配置hdfs檔案地址(記得chmod 對應資料夾,否則無法正常啟動hdfs)和namenode的rpc通行埠 配置mapred-site.xm
在 Mac OSX 上安裝 nginx
chown brew gin 使用 目錄 bre 修改 writable osx 今天在使用 brew 安裝 nginx 時,提示錯誤,安裝不上去: brew install nginx, 提示:/usr/local is not writable. 這個是需要修改 /
在Mac OSX 上配置Appium+Android自動化測試環境
crm get exp 一個 shang time 點擊 host 設置代理 前提準備 開始正文之前,你需要準備好一些基本條件: 安裝好Mac OSX 操作系統的設備 能夠訪問中國局域網以外資源的方法(沒有也行,但很痛苦) 已經安裝好 homebrew 已經安裝好 Pyt
Mac OSX上卸載Anaconda
刪除一行 lean vim 輸入 related creat https ubuntu pen 方案一 anaconda安裝程序在~/.bash_profile腳本中新添加了一行,將anaconda bin目錄添加到了$PATH環境變量中。所以你只需要刪除anacond
Mac OSX使用brew安裝舊版本phpunit的方法
分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!  
在mac OSX 上,使用python matplotlib庫時,出現問題
from matplotlib.backends import _macosx RuntimeError: Python is not installed as a framework. The Mac
在mac osx上安裝機器學習開發環境
[email protected] ~ $ bash Anaconda3-4.3.1-MacOSX-x86_64.sh Welcome to Anaconda3 4.3.1 (by Continuum Analytics, Inc.) In order to continue the insta
osx下brew install mysql之後mysql報錯的問題
報錯如下: ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) 然後檢視/tmp/目錄下根本沒有mysql.sock 其實當年安裝
Mac OSX 上安裝 Tomcat 7 及管理介面
I’ve made the switch over to Apple on my development machines and as I’m starting my new company soon I’ve got myself a new MacBook Pro machine of which I
兩件小事讓我抓狂 之一:Mac OSX上沒有可用的雙拼
1995年我就看上了蘋果電腦,但是沒有錢,也沒必要買,當時的蘋果電腦還很難用,高層應用和PC有很大的差異,但是現在的Mac OSX已經很好用了,很多平時在PC上賴以生存的工具都有了Mac版。簡單舉兩個例子,凡是跟Apache/Eclipse/Mozilla/Codehaus有
【轉】Install libimobiledevice on Mac OSX
com app native device blog pre fss command null About the App App name: libimobiledevice App description: Library to communicate with iO
mac上pip install時提示/System/Library/... 無權限
alt ins log img png library 即使 roo blog 使用pip install安裝包時,提示無權限,即使切換到root賬號,仍然提示無權限 加上--user參數解決,如: pip install --user ipythonmac上
mac brew install redis
Last login: Tue Jul 31 23:30:40 on console ➜ ~ brew install redis #安裝redis Updating Homebrew... ==> Auto-updated Homebrew! Updated 2
Mac上RStudio install.packages聯網失敗的解決方式
本篇主要參考大佬文章:Rstudio install.packages失敗解決方式。與其略微不同的是,它解決的是普通Linux下,新裝Rstudio無法install.packages的問題,這邊文章則是Mac上遇到此問題的解決方法。(可以說是它的一個特例) 問題 重灌了RSt
如何在Mac OSX 系統上安裝 Vagrant
翻譯&轉載:http://sourabhbajaj.com/mac-setup/Vagrant/README.html 如何在Mac OSX 系統上安裝 Vagrant 建立和配置輕量級、可重現且可移植的開發環境。Vagrant是一個通過簡單易用的
Install plantuml on Mac OSX
About the App App name: plantuml App description: Draw UML diagrams Install the App Press Command+F and type Terminal and press enter
GraphicsMagick在mac系統上的用brew的裝配
******************************************************* 安裝jpeg包******************************************************brew install li
Mac使用技巧-Mac OSX 使用rz、sz 遠端上傳、下載檔案
使用背景: 遠端檔案傳輸的工具有很多,例如rz、sz;scp;ftp等。我用的iMac,通常通過scp來進行傳輸。但是由於公司的測試環境伺服器需要通過跳板機訪問,不能使用scp,ftp中轉的機器也難協調。諮詢同事後得知可以使用rz、sz進行傳輸。於是我便嘗試了
Mac OSX 使用rz、sz 遠端上傳、下載檔案
前言: 部落格園開博很久了,一直想寫點什麼。或許自己能力有限,不夠自信。本來想以一篇華麗麗的技術分享作為部落格園的開篇的。醞釀了很久的sqoop使用分享,但是一直封存在草稿箱。最近需要倒騰檔案,便以此文作為筆記開篇吧 :) 使用背景: 遠端檔案傳輸的工具有很多,例如rz、sz;scp;ftp