1. 程式人生 > >Mac下Hbase偽分佈安裝和使用

Mac下Hbase偽分佈安裝和使用

Hbase是一個分散式的、面向列的開源資料庫,是構建在HDFS分散式檔案系統上的分散式儲存系統。

1.下載安裝

官網下載地址apache.fayea.com/hbase/,這裡選擇1.1.9版本hbase-1.1.9-bin.tar.gz。

1.1 abase-site.xml

解壓檔案到資料夾,進入/conf資料夾,開啟hbase-site.xml,加入以下配置:

<configuration>
<property>
    <name>hbase.rootdir</name>
    <value>file:///Users/kangkang/hadoop/hbase-1.1.9</value
>
</property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/Users/kangkang/hadoop/hbase-1.1.9/zookeeper</value> </property> <property> <name>hbase.table.sanity.checks</name> <value>false</value
>
</property> <property> <name>hbase.master.info.port</name> <value>60010</value> </property> </configuration>

1.2 hbase-env.sh

編輯/conf資料夾下的hbase-env.sh檔案,修改以下的配置(可能是註釋掉的,需把註釋去掉):

叢集pid存放目錄配置:

# The directory where pid files are stored. /tmp by default.
export HBASE_PID_DIR=/Users/kangkang/hadoop/pids

Zookeeper管理介面啟用:

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true

Jdk配置(1.1.9版本對應的jdk版本要求是1.7以上):

# The java implementation to use.  Java 1.7+ required.
 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home

安裝配置完畢。

2.啟動Hbase

命令:bin/start-hbase.sh

進入shell操作hbase命令:bin/hbase shell,進入shell命令列後可以通過shell命令操作hbase,實現對資料的操作。

3.關閉Hbase

命令:bin/stop-hbase.sh

4.遇到的問題

4.1在啟動Hbase之後,在瀏覽器中輸入localhost:60010不能顯示Hbase的執行狀態

解決辦法:

conf->hbase-site.xml配置中新增以下配置:

<property>
  <name>hbase.master.info.port</name>
  <value>60010</value>
</property>

在conf->hbase-env.sh中的配置

#Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true

設定為true,預設是註釋掉的,把註釋去掉即可,除錯可以通過Zookeeper物件來管理Hbase自己的例項。

4.2 在啟動的時候提示以下警告

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

錯誤表示在Java8版本中MaxPermSize=128m;這個配置資訊已經被移除了,所以不需要再配置,但是配置了並不報錯,而是警告。

解決辦法:在conf->hbase-env.sh中更改配置(表示只有在JDK7中需要)

# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+  -XX:MaxPermSize=128m
export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

將配置中的兩行註釋即可。結果:

# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+  -XX:MaxPermSize=128m
# export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
# export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

4.3 使用Phoenix操作Hbase時報錯

1.在使用Phoenix進行Hbase資料庫的操作時,出現如下錯誤,錯誤顯示了找不到ImmutableMap這個類。

java.lang.NullPointerException
    at vbap_hbase_test.hbase.ConnHbase.main(ConnHbase.java:29)
Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableMap
    at org.apache.phoenix.util.ReadOnlyProps.<init>(ReadOnlyProps.java:68)
    at org.apache.phoenix.util.ReadOnlyProps.<clinit>(ReadOnlyProps.java:47)
    at org.apache.phoenix.jdbc.PhoenixEmbeddedDriver.<clinit>(PhoenixEmbeddedDriver.java:82)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:264)
    at vbap_hbase_test.hbase.ConnHbase.main(ConnHbase.java:15)
Caused by: java.lang.ClassNotFoundException: com.google.common.collect.ImmutableMap
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 6 more

很奇怪,而我在Maven依賴裡面看到的卻有這個類。但是卻不能點進這個類去看具體的內容,而且報錯:

 invalid LOC header

於是網上搜了一下,將maven庫中的該jar包刪除,重新讓maven下載一下就可以了。

具體操作:

1.刪除com/google資料夾下的所有內容。

2.Maven—>update project

相關推薦

MacHbase分佈安裝使用

Hbase是一個分散式的、面向列的開源資料庫,是構建在HDFS分散式檔案系統上的分散式儲存系統。 1.下載安裝 官網下載地址apache.fayea.com/hbase/,這裡選擇1.1.9版本hbase-1.1.9-bin.tar.gz。 1.1 a

macmysql的解除安裝安裝

1. mysql的解除安裝 1 sudo rm /usr/local/mysql2 sudo rm -rf /usr/local/mysql*3 sudo rm -rf /Library/StartupItems/MySQLCOM4 sudo rm -rf /Library/PreferencePanes/

UbuntuHBase資料庫的安裝配置檔案詳解

1.從http://www.apache.org/dyn/closer.cgi/hbase/下載穩定版安裝包,我下的是hbase-1.2.6-bin.tar.gz 2.解壓放在/usr/local的目錄下 3.修改許可權sudo chown -R luanpeng hbase-1.2.6/ 4.修改資料

zookeeper分佈安裝使用

2、安裝: 第一步 解壓zookeeper壓縮包: 進入 zookeeper安裝目錄 第二步 建立一個data目錄: 第三步 修改 conf/zoo.cfg檔案: 先將zoo_sample.

hadoop單機分佈安裝HBase-1.4.8詳細步驟(親測成功)

---------前提:安裝hadoop、yarn、jdk 1.下載解壓 1.1使用wget下載 1.2解壓到/usr/local目錄下 1.3.修改hbase資料夾許可權 chown -R hadoop:hadoop /usr/local/hbase-

hbase三種安裝模式,本地安裝分佈安裝、叢集模式安裝

<property>         <name>hbase.rootdir</name>         <value>hdfs://namenode.example.org:8020/hbase</value> <

(5)HBase 1.2.6分佈安裝

1.引言       HBase是一個分散式的、面向列的開源資料庫,HBase是建立Hadoop領域的資料庫。HBase不同於一般的關係資料庫,它是一個適合於非結構化資料儲存的資料庫。在本篇

HBase知識體系及分佈安裝

HBase簡介 HBase – Hadoop Database,是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統,利用HBase技術可在廉 價PC Server上搭建起大規模結構化儲存叢集。HBase利用Hadoop HDFS作為其檔案儲存系統,利用Hadoop的

Mac利用Brew同時安裝Python2Python3

Step 1 安裝Xcode Appstore下載並安裝Xcode 在terminal安裝Xcode command line tool xcode-select --install Step 2 安裝Brew Step 3 安裝Py

sublime text2--mac初始配置(package control)必備外掛安裝

並非專業前端,然而專案需求,一個功能交給你,前端後端都搞定,所以先裝個輕量級的IDE–sublime text2,在其基礎上安裝所需外掛 要想裝外掛,需要先配置好package control 1.按住ctrl+~,彈出的控制檯中輸入如下程式碼,w

Hadoop-1.2.1安裝HBase(分佈模式)

我是在hadoop1.2.1版本的基礎上安裝0.98.6版本的hbase。 安裝步驟前面和安裝HBase單機模式是一樣的  (可參考我的另一篇文章:                 http://blog.csdn.net/zhangxbj/article/details/

Centos7關於memcached的安裝簡單使用

entos name 終端 說明 所有 local memcach 們的 clas 在這裏,由於用編譯安裝memcached服務端過於復雜,因此我選用依賴管理工具 yum 來實現 memcached 的服務端安裝: [root@localhost /]# yum insta

centosnodejs,npm的安裝nodejs的升級

ted ble entos nodejs install ins npm print nbsp 安裝: $ sudo yum install epel-release$ sudo yum install nodejs$ node -v$ yum install -y npm

Linux使用腳本安裝升級pip

spa style 通過 腳本 linux下 調用 源碼編譯安裝 trap ont 要安裝或升級pip,需要下載 get-pip.py. 地址:https://bootstrap.pypa.io/get-pip.py ]# wget https://bootstrap.py

mac使用命令行安裝、卸載ipa包

img gpo ruby 安裝完成 png color 終端 ont 令行 p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px ".PingFang SC"; color: #454545 } p.p2 { margin

Linux環境虛擬環境virtualenv安裝使用

lan all pan linu 使用方法 安裝 require local 整合 virtualenv用於創建獨立的Python環境,多個Python相互獨立,互不影響,它能夠: 1. 在沒有權限的情況下安裝新套件 2. 不同應用可以使用不同的套件版本 3. 套件升級不影

CentOS的Mysql的安裝使用

lan eas 刪除數據 匹配 iad 輸入密碼 查詢語句 所在 global 1.使用安裝命令 :yum -y install mysql mysql-server mysql-devel 安裝完成卻發現Myserver安裝缺失,在網上找原因,原來是因為CentOS 7上

macApache的brew安裝與配置

本地域名 upgrading 文章 ati 代碼 with localhost 3.4 ack mac 系統macOS High Sierra版本 10.13.4 mac系統自帶apache,配置文件在/etc/apache2/httpd.conf 雖然我安裝了php72命

MAC 上的Phantomjs的安裝配置

1、下載 http://phantomjs.org/download.html 選擇mac版本下載 2、下載完成後,解壓縮,然後放到自己的一個目錄下面 例如:/usr/local/Phantomjs/ 3、設定環境變數 新增:  export PATH=/Users/jerry/p

Hadoop分佈安裝詳解+MapReduce執行原理+基於MapReduce的KNN演算法實現

本篇部落格將圍繞Hadoop偽分佈安裝+MapReduce執行原理+基於MapReduce的KNN演算法實現這三個方面進行敘述。 (一)Hadoop偽分佈安裝 1、簡述Hadoop的安裝模式中–偽分佈模式與叢集模式的區別與聯絡. Hadoop的安裝方式有三種:本地模式,偽分佈模式