如今大資料各種火，看看各種招聘網址，大資料、資料探勘起薪20W啊，各種誘惑，所以，自己也學學大資料相關。

具體大資料什麼，能做什麼，發展史等等，我在這裡就不描述了，網上一大堆，再說，個人從來不記什麼東西發展史什麼的，浪費腦細胞。

本文主要是作為個人的學習筆記，如果有不對之處，歡迎指正。

首先肯定是從環境的搭建開始。

個人環境配置

Linux	Centos7
JDK	jdk7u25
Hadoop	2.5.2

安裝步驟

1：安裝SSH

使用yum install openssh-server安裝ssh服務（Centos7預設已經安裝ssh）

2：配置ssh免密碼登陸

ssh-keygen -t rsa -P ''
 

使用上面命令後，會在~/home/{username}/.ssh/下生成兩個加密檔案，id_rsa（私鑰）和id_rsa.pub（公鑰）。

然後進入.ssh目錄，將id_rsa.pub中的內容追加到authorized_keys檔案中：cat id_rsa.pub >> authorized_keys；

如果是Ubuntu，則此時已經可以使用ssh免密碼登陸，如果是centos環境，則需要修改.ssh目錄許可權和authorized_keys許可權，如下：

chmod 700 .ssh
chmod 600 authorized_keys

此時，則可以直接使用ssh免密碼登陸了：ssh localhost驗證結果。

3：安裝配置JDK

jdk的安裝配置此處也不在描述，相信搞java的童鞋都能搞定。

4：安裝Hadoop

• 下載Hadoop（可在官方提供的映象地址下載：http://mirror.bit.edu.cn/apache/hadoop/common/)選擇hadoop-2.5.2.tar.gz下載。
• 將壓縮檔案解壓到某目錄下（tar -zxvf hadoop-2.5.2.tar.gz）。
• 新增Hadoop環境變數（vim /etc/profile，將如下內容新增到檔案中）。

export HADOOP_HOME={Hadoop目錄}/hadoop-2.5.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATH
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
 

儲存退出，病執行如下命令試修改生效：

source /etc/profile

• 修改Hadoop配置

進入Hadoop目錄下/home/shipg/soft/hadoop/hadoop-2.5.2/etc/hadoop，修改hadoop-env.sh檔案中JAVA_HOME值，如下我的配置：

export JAVA_HOME=/usr/java/jdk1.7.0_75

儲存退出

此時，單機版Hadoop環境已經安裝完成。

5：驗證結果

使用Hadoop自帶的wordcount來驗證安裝結果。

首先在Hadoop跟目錄下建立input目錄（mkdir input），在input目錄中隨便拷貝一份檔案進去，或者自己寫些內容到此目錄下，此處將README.txt拷貝進input目錄。

然後執行如下命令執行單詞統計：

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jar org.apache.hadoop.examples.WordCount input output

此命令大概意思為：執行hadoop-mapreduce-example-2.5.2-sources.jar包中的WordCount類，資料來源在input目錄，將最終結果輸出到output目錄下。執行命令後可看到如下圖所示表示執行成功。

此時，在Hadoop跟目錄下你會發現多出了output目錄，其中統計結果即放在此目錄下。

cat part-r-00000

即可看到對README.txt檔案中各個單詞的統計結果。

至此，Hadoop單機版即安裝並驗證結果完成。