hadoop學習筆記之-hbase完全分佈模式安裝-5
http://blog.csdn.net/lichangzai/article/details/8441975
http://blog.csdn.net/jpiverson/article/details/9130447
http://linux.it.net.cn/m/view.php?aid=11973 ---講解很詳細
hadoop+zookeeper+hbase叢集配置(二)
時間:2015-01-14 14:30來源:linux.it.net.cn 作者:IT
1.快速單機安裝:在單機安裝Hbase的方法。會引導你通過shell建立一個表,插入一行,然後刪除它,最後停止Hbase。只要10分鐘就可以完成以下的操作。 1.1下載解壓最新版本選擇一個Apache 下載映象:http://www.apache.org/dyn/closer.cgi/hbase/,下載一個releases版本的,目前是0.94.8.然後下載字尾為.tar.gz的檔案; 例如hbase-0.94.8.tar.gz.$ tar xfz hbase-0.94.8.tar.gz$ cd hbase-0.94.8 現在你已經可以啟動Hbase了。但是你可能需要先編輯conf/hbase-site.xml去配置hbase.rootdir,來選擇Hbase將資料寫到哪個目錄 .
將DIRECTORY替換成你期望寫檔案的目錄. 預設hbase.rootdir是指向/tmp/hbase-${user.name},也就說你會在重啟後丟失資料(重啟的時候作業系統會清理/tmp目錄) 1.2.啟動 HBase現在啟動Hbase: $ ./bin/start-hbase.sh starting Master, logging to logs/hbase-user-master-example.org.out 現在你執行的是單機模式的Hbaes。所以的服務都執行在一個JVM上,包括Hbase和Zookeeper。Hbase的日誌放在 1.3.Hbase Shell 練習用shell連線你的Hbase $ ./bin/hbase shell HBase Shell; enter 'help<RETURN>' for list of supported commands. Type "exit<RETURN>" to leave the HBase Shell Version: 0.90.0, r1001068, Fri Sep 24 13:55:42 PDT 2010 hbase(main):001:0> 輸入help然後<RETURN>可以看到一列shell命令。這裡的幫助很詳細,要注意的是表名,行和列需要加引號。 建立一個名為 hbase(main):003:0> create 'test', 'cf' 0 row(s) in 1.2200 seconds hbase(main):003:0> list 'table' test 1 row(s) in 0.0550 seconds hbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1' 0 row(s) in 0.0560 seconds hbase(main):005:0> put 'test', 'row2', 'cf:b', 'value2' 0 row(s) in 0.0370 seconds hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3' 0 row(s) in 0.0450 seconds 以上我們分別插入了3行。第一個行key為 檢查插入情況. Scan這個表,操作如下 hbase(main):007:0> scan 'test' ROW COLUMN+CELL row1 column=cf:a, timestamp=1288380727188, value=value1 row2 column=cf:b, timestamp=1288380738440, value=value2 row3 column=cf:c, timestamp=1288380747365, value=value3 3 row(s) in 0.0590 seconds Get一行,操作如下 hbase(main):008:0> get 'test', 'row1' COLUMN CELL cf:a timestamp=1288380727188, value=value1 1 row(s) in 0.0400 seconds disable 再 drop 這張表,可以清除你剛剛的操作 hbase(main):012:0> disable 'test' 0 row(s) in 1.0930 seconds hbase(main):013:0> drop 'test' 0 row(s) in 0.0770 seconds 關閉shell hbase(main):014:0> exit 1.4.停止 HBase執行停止指令碼來停止HBase. $ ./bin/stop-hbase.sh stopping hbase............... 2 Hbase叢集安裝前注意1)Java:(hadoop已經安裝了) 2)Hadoop1.2.0已經正確安裝,並且可以啟動 HDFS 系統, 可參考的Hadoop安裝文件:hadoop+zookeeper+hbase叢集配置(一)http://blog.csdn.net/jpiverson/article/details/9130447 3)NTP:叢集的時鐘要保證基本的一致。稍有不一致是可以容忍的,但是很大的不一致會 造成奇怪的行為。 執行NTP或者其他什麼東西來同步你的時間. 如果你查詢的時候或者是遇到奇怪的故障,可以檢查一下系統時間是否正確! 設定叢集各個節點時鐘:date -s“2012-02-13 14:00:00”
Base是資料庫,會在同一時間使用很多的檔案控制代碼。大多數linux系統使用的預設值1024是不能滿足的,會導致FAQ: Why do I see "java.io.IOException...(Too manyopen files)" in my logs?異常。還可能會發生這樣的異常 2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient: ExceptionincreateBlockOutputStream java.io.EOFException 2010-04-06 03:04:37,542 INFO org.apache.hadoop.hdfs.DFSClient:Abandoning block blk_-6935524980745310745_1391901 所以你需要修改你的最大檔案控制代碼限制。可以設定到10k. 你還需要修改 hbase 使用者的 nproc,如果過低會造成 OutOfMemoryError異常。 [2] [3]. 需要澄清的,這兩個設定是針對作業系統的,不是Hbase本身的。有一個常見的錯誤是Hbase執行的使用者,和設定最大值的使用者不是一個使用者。在Hbase啟動的時候,第一行日誌會現在ulimit資訊,所以你最好檢查一下。 設定
在檔案/etc/security/limits.conf新增一行,如: hadoop - nofile32768 可以把hadoop替換成你執行Hbase和Hadoop的使用者。如果你用兩個使用者,你就需要配兩個。還有配nproc hard 和 softlimits. 如: hadoop soft/hard nproc 32000 在/etc/pam.d/common-session加上這一行: session requiredpam_limits.so 否則在/etc/security/limits.conf上的配置不會生效. 還有登出再登入,這些配置才能生效! 7 )修改Hadoop HDFS Datanode同時處理檔案的上限: 一個 Hadoop HDFS Datanode 有一個同時處理檔案的上限. 這個引數叫xcievers(Hadoop的作者把這個單詞拼錯了). 在你載入之前,先確認下你有沒有配置這個檔案conf/hdfs-site.xml裡面的xceivers引數,至少要有4096: <property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </property> 對於HDFS修改配置要記得重啟. 如果沒有這一項配置,你可能會遇到奇怪的失敗。你會在Datanode的日誌中看到xcievers exceeded,但是執行起來會報 missing blocks錯誤。例如:02/12/1220:10:31 INFO hdfs.DFSClient: Could not obtain blockblk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No livenodes contain current block. Will get new block locations from namenode andretry... 8)繼承hadoop安裝的說明: 每個機子/etc/hosts 192.168.10.203 node1 (master) 192.168.10.204 node2 (slave) 192.168.10.205 node3 (slave) 9) 繼續使用hadoop使用者安裝 Chown –R hadoop /usr/local/hbase 3 分散式模式配置3.1配置
|