hadoop +hbase +zookeeper 完全分佈搭建 (版本一)
注意:apache提供的hadoop-2.6.0的安裝包是在32位作業系統編譯的,因為hadoop依賴一些C++的本地庫,
所以如果在64位的操作上安裝hadoop-2.6.0就需要重新在64作業系統上重新編譯
一.重新編譯
原因是hadoop-2.6.0.tar.gz安裝包是在32位機器上編譯的,64位的機器載入本地庫.so檔案時出錯,不影響使用。解決:
1、重新編譯原始碼後將新的lib/native替換到叢集中原來的lib/native
2、修改hadoop-env.sh ,增加
export HADOOP_OPTS="-Djava
二.hadoop + hbase +zookeeper 環境搭建
1.修改Linux主機名2.修改IP
3.修改主機名和IP的對映關係
######注意######如果你們公司是租用的伺服器或是使用的雲主機(如華為用主機、阿里雲主機等)
/etc/hosts裡面要配置的是內網IP地址和主機名的對映關係
4.關閉防火牆
5.ssh免登陸
6.安裝JDK,配置環境變數等
叢集規劃:
主機名 IP 安裝的軟體 執行的程序
-
Master 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
-
Slave1 192.168.1.202 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
-
Slave2 192.168.1.203 jdk、hadoop ResourceManager
-
Slave3 192.168.1.204 jdk、hadoop ResourceManager
-
Slave4 192.168.1.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
-
Slave5 192.168.1.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
- Slave6 192.168.1.207 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
說明:
1.在hadoop2.0中通常由兩個NameNode組成,一個處於active狀態,另一個處於standby狀態。Active NameNode對外提供服務,而Standby NameNode則不對外提供服務,僅同步active namenode的狀態,以便能夠在它失敗時快速進行切換。
hadoop2.0官方提供了兩種HDFS HA的解決方案,一種是NFS,另一種是QJM。這裡我們使用簡單的QJM。在該方案中,主備NameNode之間通過一組JournalNode同步元資料資訊,一條資料只要成功寫入多數JournalNode即認為寫入成功。通常配置奇數個JournalNode
這裡還配置了一個zookeeper叢集,用於ZKFC(DFSZKFailoverController)故障轉移,當Active NameNode掛掉了,會自動切換Standby NameNode為standby狀態
2.hadoop-2.2.0中依然存在一個問題,就是ResourceManager只有一個,存在單點故障,hadoop-2.4.1解決了這個問題,有兩個ResourceManager,一個是Active,一個是Standby,狀態由zookeeper進行協調
安裝步驟:1.安裝配置zooekeeper叢集(在Slave4上)
1.1解壓
-
[[email protected] local]#tar -zxvf zookeeper-3.4.6.tar.g-C /usr/local/
- [[email protected] local]#mv zookeeper-3.4.6/ zookeeper
1.2修改配置
-
[[email protected] local]#cd /usr/local/zookeeper/conf/
-
[[email protected] local]#cp zoo_sample.cfg zoo.cfg
- [[email protected] local]#vim zoo.cfg
修改:
- dataDir=/itcast/zookeeper/zkData
在最後新增:
-
server.1=Slave4:2888:3888
-
server.2=Slave5:2888:3888
- server.3=Slave6:2888:3888
儲存退出
然後建立一個tmp資料夾
- [[email protected] local]#mkdir /usr/local/zookeeper/zkData
再建立一個空檔案
- [[email protected] local]#touch /usr/local/zookeeper/zkData/myid
最後向該檔案寫入ID
- [[email protected] local]#echo 1 > /usr/local/zookeeper/zkData/myid
1.3將配置好的zookeeper拷貝到其他節點(首先分別在Slave5、Slave6根目錄:/usr/local/)
-
[[email protected] local]#scp -r /usr/local/zookeeper/ Slave5:/usr/local/
- [[email protected] local]#scp -r /usr/local/zookeeper/ Slave6:/usr/local/
注意:修改Slave5、Slave6對應/usr/local/zookeeper/zkData/myid內容
-
Slave5:
-
[[email protected] local]#echo 2 > /usr/local/zookeeper/zkData/myid
-
Slave6:
- [[email protected] local]#echo 3 > /usr/local/zookeeper/zkData/myid
2.安裝配置hadoop叢集(在Master上操作)
2.1解壓
- [[email protected] local]#tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/
2.2配置HDFS(hadoop2.0所有的配置檔案都在$HADOOP_HOME/etc/hadoop目錄下)
#將hadoop新增到環境變數中
-
[[email protected] local]#vim /etc/profile
-
export JAVA_HOME=/usr/local/jdk1.7
-
export HADOOP_HOME=/usr/local/hadoop-2.6.0
- export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#hadoop2.0的配置檔案全部在$HADOOP_HOME/etc/hadoop下
- [[email protected] local]#cd /usr/local/hadoop-2.6.0/etc/hadoop
2.2.1修改hadoo-env.sh
- export JAVA_HOME=/usr/local/jdk1.7
2.2.2修改core-site.xml
-
<configuration>
-
<!-- 指定hdfs的nameservice為masters -->
-
<property>
-
<name>fs.defaultFS</name>
-
<value>hdfs://masters</value>
-
</property>
-
相關推薦
hadoop +hbase +zookeeper 完全分佈搭建 (版本一)
hadoop2.0已經發布了穩定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.0又增加了YARN HA 注意:apache提供的hadoop-2.6.0的安裝包是在32位作業系統編譯的,因為hadoop依賴一些C++的本地庫
hadoop+hbase+zookeeper 分散式叢集搭建完美執行
備註: 搭建完(hadoop+hbase)整個叢集是能夠完美的執行,其中期間出過些小問題,如有一臺機器和其他機器時間相差很遠,結果是HRegionServer啟動的時候超時,這個時候要麼時間同步,或者在配置檔案中新增相應的引數 我所在的實驗室,整個叢集是
搭建hadoop+Hbase+Zookeeper偽分散式完整過程
安裝前準備:centos7 linux jdk1.8 hadoop ,Hbase ,zookeeper 發現ens33 沒有inet 這個屬性,那麼就沒法通過IP地址連線虛擬機器。 接著來檢視ens33網絡卡的配置:vi /etc/sysconfig/network
最詳細的Hadoop+Hbase+Hive完全分散式環境搭建教程(二)
繼續上次的教程,這次安裝hbase與hive 一、hbase2.1.1安裝 在master節點: $ tar -zxvf hbase-2.1.1-bin.tar.gz -C /opt $ cd /opt/hbase-2.1.1/conf/ $ vi hbase-
Hadoop+Flume+Kafka+Zookeeper叢集環境搭建(一)
Hadoop+Flume+Kafka+Zookeeper叢集環境搭建 1.部署基礎條件 1.1 硬體條件 IP hostname 192.168.100.103 mater 192.168.100.104 flumekafka1 192.168.1
Hadoop+HBase+ZooKeeper分散式叢集環境搭建
一、環境說明 叢集環境至少需要3個節點(也就是3臺伺服器裝置):1個Master,2個Slave,節點之間區域網連線,可以相互ping通,下面舉例說明,配置節點IP分配如下: Hostname IP User Password
Hadoop+HBase+Spark+Hive環境搭建
eight 基礎 計算 oracle keygen 結構化 文字 l命令 密鑰 楊赟快跑 簡書作者 2018-09-24 10:24 打開App 摘要:大數據門檻較高,僅僅環境的搭建可能就要耗費我們大量的精力,本文總結了作者是如何搭建大數據環境的(單機版和集
zookeeper 完全分散式搭建
1.安裝JDK(3臺PC都要安裝JDK)配置環境變數 2.安裝完全分散式叢集1)安裝zk2)配置zoo.cfg檔案dataDir=/opt/modules/zookeeper-3.4.5/zkDat
hadoop+hbase+zookeeper+phoenix安裝
文件下載地址:http://download.csdn.net/detail/xuwannian/9569818 Hadoop-hbase大資料環境安裝 Hadoop-2.7.1 zookeeper-3.4.6 hbase-1.1.2 phoenix-4.5.1 徐萬年
Hadoop + HBase + Hive 完全分散式部署筆記
完全分散式Hadoop + HBase + Hive 部署過程的的一些問題。 NameNode: 192.168.229.132 DataNode: 192.168.229.133/192.168.229.134 ----------------------------
Linux系統安裝Hadoop+Hbase+zookeeper
安裝前準備 修改主機名 hostname xx 將主機名修改成xx hostname 檢視主機名
Windows下eclipse連線遠端Hadoop+Hbase+zookeeper
1.將伺服器端hadoop和hbase的配置檔案拷貝到windows下並匯入eclipse工程裡, 不用修改 2.將hadoop和hbase壓縮包解壓到C:\hadoop-2.7.3和C:\hbase-1.2.6,建立環境變數HADOOP_HOME,路徑為hadoop安
zookeeper完全分散式搭建---linux許可權的問題
1.用hadoop使用者往 /home 下傳包不成功: 原因:上圖中的/home所有者是root, hadoop是其他使用者,hadoop沒有對home資料夾的w許
個人hadoop學習總結:Hadoop叢集+HBase叢集+Zookeeper叢集+chukwa監控(包括單機、偽分佈、完全分佈安裝操作)
環境介紹: 虛擬機器四個: hadoop-marster hadoop-salve1 hadoop-salve2 hadoop-salve3 ===========================1.Hadoop==============================
Hadoop及Zookeeper+HBase完全分布式集群部署
ng- 根據 標識 部署 mina 軟件包 大小 apache enable Hadoop及HBase集群部署 一、 集群環境 系統版本 虛擬機:內存 16G CPU 雙核心 系統: CentOS-7 64位 系統下載地址: http://124.202.164.6/f
linux 安裝hadoop 的四大執行模式——完全分佈模式(版本2.9.1)
hadoop完全分散式模式:hadoop的守護執行緒在不同的伺服器上(具體定義請自行查詢) 本機部署:實在前一篇文章偽分散式部署下進行操作的: 偽分佈部署連結:https://blog.csdn.net/weixin_39435629/article/details/84841252 前
大資料學習系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive叢集搭建 圖文詳解
引言 在之前的大資料學習系列中,搭建了Hadoop+Spark+HBase+Hive 環境以及一些測試。其實要說的話,我開始學習大資料的時候,搭建的就是叢集,並不是單機模式和偽分散式。至於為什麼先寫單機的搭建,是因為作為個人學習的話,單機已足以,好吧,
Linux下基於Hadoop的大資料環境搭建步驟詳解(Hadoop,Hive,Zookeeper,Kafka,Flume,Hbase,Spark等安裝與配置)
Linux下基於Hadoop的大資料環境搭建步驟詳解(Hadoop,Hive,Zookeeper,Kafka,Flume,Hbase,Spark等安裝與配置) 系統說明 搭建步驟詳述 一、節點基礎配置 二、H
基於Docker的Zookeeper+Hadoop(HA)+hbase(HA)搭建
公司要將監控資料存入opentsdb,而opentsdb使用了hbase作為儲存。所以想搭建一套高可用的分散式儲存來供opentsdb使用。 因為機器有限,所以測試過程中將三臺叢集的環境安裝在docker上。 一:宿主機版本和docker版本 宿主機:Centos7.2 &
[虛擬機器VM][Ubuntu12.04]搭建Hadoop完全分散式環境(一)
前言 大家都知道,Hadoop的部署方式可分為 單機模式 偽分散式 完全分散式 本篇主要講解的就是完全分散式。 搭建完全分散式的叢集環境,需要多臺的硬體裝置,作為初學者,為了搭建叢集去買多臺電腦,多少有點不現實,所以這裡我採用的是VM虛擬機器,模擬搭