Mac下Hbase偽分佈安裝和使用
Hbase是一個分散式的、面向列的開源資料庫,是構建在HDFS分散式檔案系統上的分散式儲存系統。
1.下載安裝
官網下載地址apache.fayea.com/hbase/,這裡選擇1.1.9版本hbase-1.1.9-bin.tar.gz。
1.1 abase-site.xml
解壓檔案到資料夾,進入/conf資料夾,開啟hbase-site.xml,加入以下配置:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///Users/kangkang/hadoop/hbase-1.1.9</value >
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/Users/kangkang/hadoop/hbase-1.1.9/zookeeper</value>
</property>
<property>
<name>hbase.table.sanity.checks</name>
<value>false</value >
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
</configuration>
1.2 hbase-env.sh
編輯/conf資料夾下的hbase-env.sh檔案,修改以下的配置(可能是註釋掉的,需把註釋去掉):
叢集pid存放目錄配置:
# The directory where pid files are stored. /tmp by default.
export HBASE_PID_DIR=/Users/kangkang/hadoop/pids
Zookeeper管理介面啟用:
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true
Jdk配置(1.1.9版本對應的jdk版本要求是1.7以上):
# The java implementation to use. Java 1.7+ required.
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home
安裝配置完畢。
2.啟動Hbase
命令:bin/start-hbase.sh
進入shell操作hbase命令:bin/hbase shell
,進入shell命令列後可以通過shell命令操作hbase,實現對資料的操作。
3.關閉Hbase
命令:bin/stop-hbase.sh
4.遇到的問題
4.1在啟動Hbase之後,在瀏覽器中輸入localhost:60010不能顯示Hbase的執行狀態
解決辦法:
conf->hbase-site.xml配置中新增以下配置:
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>
在conf->hbase-env.sh中的配置
#Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true
設定為true,預設是註釋掉的,把註釋去掉即可,除錯可以通過Zookeeper物件來管理Hbase自己的例項。
4.2 在啟動的時候提示以下警告
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
錯誤表示在Java8版本中MaxPermSize=128m;
這個配置資訊已經被移除了,所以不需要再配置,但是配置了並不報錯,而是警告。
解決辦法:在conf->hbase-env.sh中更改配置(表示只有在JDK7中需要)
# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+ -XX:MaxPermSize=128m
export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
將配置中的兩行註釋即可。結果:
# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+ -XX:MaxPermSize=128m
# export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
# export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
4.3 使用Phoenix操作Hbase時報錯
1.在使用Phoenix進行Hbase資料庫的操作時,出現如下錯誤,錯誤顯示了找不到ImmutableMap
這個類。
java.lang.NullPointerException
at vbap_hbase_test.hbase.ConnHbase.main(ConnHbase.java:29)
Exception in thread "main" java.lang.NoClassDefFoundError: com/google/common/collect/ImmutableMap
at org.apache.phoenix.util.ReadOnlyProps.<init>(ReadOnlyProps.java:68)
at org.apache.phoenix.util.ReadOnlyProps.<clinit>(ReadOnlyProps.java:47)
at org.apache.phoenix.jdbc.PhoenixEmbeddedDriver.<clinit>(PhoenixEmbeddedDriver.java:82)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)
at vbap_hbase_test.hbase.ConnHbase.main(ConnHbase.java:15)
Caused by: java.lang.ClassNotFoundException: com.google.common.collect.ImmutableMap
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 6 more
很奇怪,而我在Maven依賴裡面看到的卻有這個類。但是卻不能點進這個類去看具體的內容,而且報錯:
invalid LOC header
於是網上搜了一下,將maven庫中的該jar包刪除,重新讓maven下載一下就可以了。
具體操作:
1.刪除com/google資料夾下的所有內容。
2.Maven—>update project
相關推薦
Mac下Hbase偽分佈安裝和使用
Hbase是一個分散式的、面向列的開源資料庫,是構建在HDFS分散式檔案系統上的分散式儲存系統。 1.下載安裝 官網下載地址apache.fayea.com/hbase/,這裡選擇1.1.9版本hbase-1.1.9-bin.tar.gz。 1.1 a
mac下mysql的解除安裝和安裝
1. mysql的解除安裝 1 sudo rm /usr/local/mysql2 sudo rm -rf /usr/local/mysql*3 sudo rm -rf /Library/StartupItems/MySQLCOM4 sudo rm -rf /Library/PreferencePanes/
Ubuntu下HBase資料庫的安裝和配置檔案詳解
1.從http://www.apache.org/dyn/closer.cgi/hbase/下載穩定版安裝包,我下的是hbase-1.2.6-bin.tar.gz 2.解壓放在/usr/local的目錄下 3.修改許可權sudo chown -R luanpeng hbase-1.2.6/ 4.修改資料
zookeeper偽分佈安裝和使用
2、安裝: 第一步 解壓zookeeper壓縮包: 進入 zookeeper安裝目錄 第二步 建立一個data目錄: 第三步 修改 conf/zoo.cfg檔案: 先將zoo_sample.
hadoop單機偽分佈安裝HBase-1.4.8詳細步驟(親測成功)
---------前提:安裝hadoop、yarn、jdk 1.下載解壓 1.1使用wget下載 1.2解壓到/usr/local目錄下 1.3.修改hbase資料夾許可權 chown -R hadoop:hadoop /usr/local/hbase-
hbase三種安裝模式,本地安裝、偽分佈安裝、叢集模式安裝
<property> <name>hbase.rootdir</name> <value>hdfs://namenode.example.org:8020/hbase</value> <
(5)HBase 1.2.6偽分佈安裝
1.引言 HBase是一個分散式的、面向列的開源資料庫,HBase是建立Hadoop領域的資料庫。HBase不同於一般的關係資料庫,它是一個適合於非結構化資料儲存的資料庫。在本篇
HBase知識體系及偽分佈安裝
HBase簡介 HBase – Hadoop Database,是一個高可靠性、高效能、面向列、可伸縮的分散式儲存系統,利用HBase技術可在廉 價PC Server上搭建起大規模結構化儲存叢集。HBase利用Hadoop HDFS作為其檔案儲存系統,利用Hadoop的
Mac下利用Brew同時安裝Python2和Python3
Step 1 安裝Xcode Appstore下載並安裝Xcode 在terminal安裝Xcode command line tool xcode-select --install Step 2 安裝Brew Step 3 安裝Py
sublime text2--mac下初始配置(package control)和必備外掛安裝
並非專業前端,然而專案需求,一個功能交給你,前端後端都搞定,所以先裝個輕量級的IDE–sublime text2,在其基礎上安裝所需外掛 要想裝外掛,需要先配置好package control 1.按住ctrl+~,彈出的控制檯中輸入如下程式碼,w
Hadoop-1.2.1安裝HBase(偽分佈模式)
我是在hadoop1.2.1版本的基礎上安裝0.98.6版本的hbase。 安裝步驟前面和安裝HBase單機模式是一樣的 (可參考我的另一篇文章: http://blog.csdn.net/zhangxbj/article/details/
Centos7下關於memcached的安裝和簡單使用
entos name 終端 說明 所有 local memcach 們的 clas 在這裏,由於用編譯安裝memcached服務端過於復雜,因此我選用依賴管理工具 yum 來實現 memcached 的服務端安裝: [root@localhost /]# yum insta
centos下nodejs,npm的安裝和nodejs的升級
ted ble entos nodejs install ins npm print nbsp 安裝: $ sudo yum install epel-release$ sudo yum install nodejs$ node -v$ yum install -y npm
Linux下使用腳本安裝和升級pip
spa style 通過 腳本 linux下 調用 源碼編譯安裝 trap ont 要安裝或升級pip,需要下載 get-pip.py. 地址:https://bootstrap.pypa.io/get-pip.py ]# wget https://bootstrap.py
mac下使用命令行安裝、卸載ipa包
img gpo ruby 安裝完成 png color 終端 ont 令行 p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px ".PingFang SC"; color: #454545 } p.p2 { margin
Linux環境下虛擬環境virtualenv安裝和使用
lan all pan linu 使用方法 安裝 require local 整合 virtualenv用於創建獨立的Python環境,多個Python相互獨立,互不影響,它能夠: 1. 在沒有權限的情況下安裝新套件 2. 不同應用可以使用不同的套件版本 3. 套件升級不影
CentOS下的Mysql的安裝和使用
lan eas 刪除數據 匹配 iad 輸入密碼 查詢語句 所在 global 1.使用安裝命令 :yum -y install mysql mysql-server mysql-devel 安裝完成卻發現Myserver安裝缺失,在網上找原因,原來是因為CentOS 7上
mac下Apache的brew安裝與配置
本地域名 upgrading 文章 ati 代碼 with localhost 3.4 ack mac 系統macOS High Sierra版本 10.13.4 mac系統自帶apache,配置文件在/etc/apache2/httpd.conf 雖然我安裝了php72命
MAC 上的Phantomjs的安裝和配置
1、下載 http://phantomjs.org/download.html 選擇mac版本下載 2、下載完成後,解壓縮,然後放到自己的一個目錄下面 例如:/usr/local/Phantomjs/ 3、設定環境變數 新增: export PATH=/Users/jerry/p
Hadoop偽分佈安裝詳解+MapReduce執行原理+基於MapReduce的KNN演算法實現
本篇部落格將圍繞Hadoop偽分佈安裝+MapReduce執行原理+基於MapReduce的KNN演算法實現這三個方面進行敘述。 (一)Hadoop偽分佈安裝 1、簡述Hadoop的安裝模式中–偽分佈模式與叢集模式的區別與聯絡. Hadoop的安裝方式有三種:本地模式,偽分佈模式