Hadoop是一個開發和執行處理大規模資料的平臺，實現在多臺計算機組成的叢集中對海量資料進行分散式計算。

hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量資料的儲存，mapreduce提供了對資料的計算。

hadoop處理海量資料，需要hbase做資料庫，hbase是面向列的分散式資料庫，使用叢集環境的記憶體做處理，但是不支援sql語句，所以操作和計算資料非常不方便，於是整合hive，hive支援sql語句，讓hive支撐在hbase資料庫層面的查詢。

下面介紹hadoop+hbase+hive的環境部署：

一、Hadoop框架

hadoop使用主/從（master/slave）架構，主要由NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker組成。

其中，NameNode，secondary NameNode，JobTracker執行在Master節點上，DataNode和TaskTracker執行在Slave節點上。

NameNode：HDFS的守護程式，負責記錄檔案是如何分割成資料塊的，以及這些資料塊被儲存到哪些資料節點上。

DataNode：叢集中每個從伺服器都執行一個DataNode後臺程式，後臺程式負責把HDFS資料塊讀寫到本地檔案系統。需要讀寫資料時，由NameNode告訴客戶端去哪個DataNode進行具體的讀寫操作。

secondary NameNode：用來監控HDFS狀態的輔助後臺程式，如果NameNode發生問題，可以使用Secondary NameNode作為備用的NameNode。

JobTracker：用來連線應用程式與Hadoop，使用者應用提交到集群后，由JobTracker決定哪個檔案處理哪個task執行，一旦某個task失敗，JobTracker會自動開啟這個task。

TaskTracker：負責儲存資料的DataNode相結合，位於從節點，負責各自的task。

1）準備工作：

4臺獨立的主機

一臺為master，其餘3臺為slave。

作業系統均為CentOS 5.8，jdk均安裝同個版本同個目錄，配置好/etc/profile。

為避免許可權問題導致無法使用，以下操作均使用了root賬號操作。如果是其他賬號操作，要確保同個賬號對每臺主機相同目錄的操作許可權一致。

2)做好master到slave的免登入：

在master上依次操作：

ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_keys
然後將 id_rsa.pub authorized_keys id_rsa，拷到其它機器上，注意檔案的許可權與目錄的許可權：
scp id_rsa.pub authorized_keys id_rsa [email protected]:~/.ssh
scp id_rsa.pub authorized_keys id_rsa [email protected]:~/.ssh
scp id_rsa.pub authorized_keys id_rsa [email protected]:~/.ssh

3）每臺機器配置hosts：

XXX.XXx.XXx.XX  master
XXX.XXx.XXx.XX  slave2
XXX.XXx.XXx.XX   slave1
XXX.XXx.XXx.XX slave3

4）每臺機器配置對應的hostname：

如master節點，開啟/etc/sysconfig/network：

NETWORKING=yes
HOSTNAME=master

其他從節點的hostname分佈配置成對應的slave1、slave2、slave3

5）建立相關資料目錄：

如hadoop存放目錄為/home/hadoop2,將hadoop安裝到該目錄下。具體配置如下：

• 在每個節點上建立程式儲存目錄/home/hadoop2，用來存放Hadoop程式檔案
• 在每個節點上建立資料儲存目錄/home/hadoop2/hdfs，用來存放叢集資料
• 在主節點上建立目錄/home/hadoop2/hdfs/name，用來存放檔案系統元資料
• 在每個從節點上建立目錄/home/hadoop2/hdfs/data，用來存放真正的資料
• 所有節點上的日誌目錄為/home/hadoop2/logs
• 所有節點上的臨時目錄為/home/hadoop2/tmp

6）每臺機器配置環境變數：

export HADOOP_HOME=/home/hadoop2/hadoop-2.5.0-cdh5.3.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

7）hadoop配置檔案：

配置檔案所在目錄為/home/hadoop2/hadoop-2.5.0-cdh5.3.2/etc/hadoop

a、配置core-site.xml

b、配置hdfs-site.xml

c、配置yarn-site.xml

d、配置mapred-site.xml

e、配置hadoop-env.sh、yarn-env.sh、mapred-env.sh指令碼，修改每個指令碼的JAVA_HOME為當前系統的JAVA_HOME

f、修改slaves檔案

8）同步程式檔案到從節點：

在master將上面配好的檔案複製到各個節點對應的目錄：

9）確保每臺機器的防火牆關閉：

service iptables stop

10）格式化檔案系統：

hadoop namenode -format

hadoop datanode -format

11)啟動hdfs叢集：

start-dfs.sh

可以訪問http://master:50070，檢視hdfs叢集狀態

12）啟動yarn叢集：

start-yarn.sh

可以訪問http://master:8099，檢視yarn叢集狀態

也可以直接使用start-all.sh指令碼啟動，該指令碼包含了hdfs和yarn兩個叢集的啟動。

二、Hbase

在master上操作，將hbase安裝到/home/hadoop2目錄下。

1）修改配置檔案：

配置檔案所在目錄為/home/hadoop2/hbase-1.0.0-cdh5.4.8/conf

a、配置hbase-site.xml

b、配置hbase-env.sh指令碼，修改指令碼的JAVA_HOME為當前系統的JAVA_HOME

 c、配置regionservers

2）同步程式檔案到從節點：

在master將上面配好的檔案複製到各個節點對應的目錄：

scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 [email protected]:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 [email protected]:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 [email protected]:/home/hadoop2/hbase-1.0.0-cdh5.4.8/

3）每臺機器配置環境變數：

export HBASE_HOME=/home/hadoop2/hbase-1.0.0-cdh5.4.8
export PATH=$PATH:$HBASE_HOME/bin

4）啟動hbase叢集：

start-hbase.sh

三、Hive

在master上操作，將hive安裝到/home/hadoop2目錄下。

1）修改配置檔案：

配置檔案所在目錄為/home/hadoop2/hive-0.13.1-cdh5.3.2/conf

a、配置hive-site.xml

b、配置hive-env.sh指令碼

2）配置環境變數：

export HIVE_HOME=/oracle/hadoop2/hive-0.13.1-cdh5.3.2
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

3）啟動hive：

進入/home/hadoop2/hive-0.13.1-cdh5.3.2/bin

nohup hiveserver2 &

以上，一個可以執行的環境就安裝好了，可以在hive和hbase中建立自己需要的資料。