一、JDK的安裝與配置

(1)、自行前往Oracle官網下載JDK

(2)、下載後解壓到相關路徑，配置環境變數：

vi /etc/profile

新增如下配置

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar
export PATH=$PATH:$JAVA_HOME/bin

(3)、重新整理配置

source /etc/profile
 

二、配置SSH

sudo apt-get install ssh
sudo apt-get install rsync

(1)、使用者主目錄（cd ~），ls -a檢視檔案，其中一個為“.ssh”，該檔案價是存放金鑰的。生成的金鑰都會放到這個資料夾中。
(2)、生成公鑰和.ssh資料夾：ssh-keygen -t rsa 一路回車，不需要輸入密碼
(2)、命令生成金鑰： ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa (使用rsa加密方式生成金鑰)回車後，會提示三次輸入資訊，我們直接回車即可。
(3)、將生成的公鑰id_rsa.pub 內容追加到authorized_keys，執行命令：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

驗證：
執行命令：ssh localhost(主機名) 無錯誤提示則配置成功

三、hadoop的相關配置
(1)、官方的下載地址連結：Hadoop下載地址

(2)、下載後解壓路徑為/usr/hadoop/hadoop-2.7.3

(3)、配置hadoop

第一個：hadoop-env.sh

vim hadoop-env.sh

第27行中

export JAVA_HOME=/usr/jdk1.8.0_101

第二個：core-site.xml

<!-- 制定HDFS的老大（NameNode）的地址 -->
<property>
 

    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存目錄 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/hadoop/hadoop-2.7.3/tmp</value>
</property>

第三個：hdfs-site.xml

<!-- 指定HDFS副本的數量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!-- HDFS許可權驗證 -->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
    <!-- HDFS檔案系統超級許可權使用者 -->
    <property>
        <name>dfs.permissions.superusergroup</name>
        <value>root</value>
    </property>
    <!-- NameNode臨時檔案的存放目錄 -->
    <property>
        <name>dfs.NameNode.name.dir</name>
        <value>file:/usr/local/Hadoop-2.7.3/tmp/dfs/name</value>
    </property>
    <!-- datanode臨時檔案的存放目錄 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/Hadoop-2.7.3/tmp/dfs/data</value>
    </property>

第四個：mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<!-- 指定MapReduce執行在YRAN上 -->
    <property>
        <name>MapReduce.framework.name</name>
        <value>YRAN</value>
    </property>
    <!-- 指定任務是否可以跨平臺提交 -->
    <property>
        <name>MapReduce.app-submission.cross-platform</name>
        <value>true</value>
    </property>
    <!-- MapReduce應用程式的依賴包 -->
    <property>
        <name>MapReduce.application.classpath</name>
        <value>
            /usr/local/Hadoop-2.7.3/etc/Hadoop,
            /usr/local/Hadoop-2.7.3/share/Hadoop/common/*,
            /usr/local/Hadoop-2.7.3/share/Hadoop/common/lib/*,
            /usr/local/Hadoop-2.7.3/share/Hadoop/hdfs/*,
            /usr/local/Hadoop-2.7.3/share/Hadoop/hdfs/lib/*,
            /usr/local/Hadoop-2.7.3/share/Hadoop/MapReduce/*,
            /usr/local/Hadoop-2.7.3/share/Hadoop/MapReduce/lib/*,
            /usr/local/Hadoop-2.7.3/share/Hadoop/YRAN/*,
            /usr/local/Hadoop-2.7.3/share/Hadoop/YRAN/lib/*
        </value>
    </property>

第五個：yarn-site.xml

<!-- 指定YRAN的老大（ResourceManager）的地址 -->
    <property>
        <name>YRAN.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <!-- reducer獲取資料的方式 -->
    <property>
        <name>YRAN.nodemanager.aux-services</name>
        <value>MapReduce_shuffle</value>
    </property>
    <!-- YRAN 應用環境 -->
    <property>
        <name>YRAN.application.classpath</name>
        <value>
                /usr/local/Hadoop-2.7.3/etc/Hadoop,
                /usr/local/Hadoop-2.7.3/share/Hadoop/common/*,
                /usr/local/Hadoop-2.7.3/share/Hadoop/common/lib/*,
                /usr/local/Hadoop-2.7.3/share/Hadoop/hdfs/*,
                /usr/local/Hadoop-2.7.3/share/Hadoop/hdfs/lib/*,
                /usr/local/Hadoop-2.7.3/share/Hadoop/MapReduce/*,
                /usr/local/Hadoop-2.7.3/share/Hadoop/MapReduce/lib/*,
                /usr/local/Hadoop-2.7.3/share/Hadoop/YRAN/*,
                /usr/local/Hadoop-2.7.3/share/Hadoop/YRAN/lib/*
        </value>
    </property>

(4)、配置hadoop的環境變數

vi /etc/profile

新增如下配置

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

執行指令 source /etc/profile

(5)、格式化namenode（是對namenode進行初始化）

hdfs namenode -format 或 hadoop namenode -format

(6)、安裝完成後的驗證

驗證環境是否配置好：hadoop version

驗證Java環境：java -version

驗證節點是否可以啟動：

start-all.sh
jps

有六項表示安裝成功，否則請檢視相應的日誌檔案，找出問題並重新啟動

驗證網頁端是否正常：

http://192.168.3.97:8088/cluster可以正常檢視

四、安裝過程中遇到的問題及解決方法

(1)、啟動不了Namenode程序，出現IllegalArgumentException異常
在hdfs-site.xml 檔案中將以下內容：

<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>file://${hadoop.tmp.dir}/dfs/name</value>  
</property>  
<property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file://${hadoop.tmp.dir}/dfs/data</value>  
</property>

修改為：

<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>file:/home/hdusr/hadoop-2.2.0/tmp/dfs/name</value>
</property>  
<property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file:/home/hdusr/hadoop-2.2.0/tmp/dfs/data</value>
</property> 

即使用絕對地址代替，如果沒有上面的項，則直接新增即可

(2)、nodemanager啟動失敗，日誌中錯誤如下：

java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers

根據提示，Hadoop中命名規則是數字、字母或者下劃線，其他字元會出現錯誤，修改重新啟動即可

(3)、安裝Hadoop啟動之後總有警告：Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable

原因：
解決思路一
解決思路二

Apache提供的hadoop本地庫是32位的，而在64位的伺服器上就會有問題，因此需要自己編譯64位的版本。
檢視當前是多少位的方法為：

file /usr/hadoop/hadoop-2.7.3/lib/native/libhadoop.so.1.0.0

我在安裝的過程中遇到這個問題，並沒有重新編譯原始碼，雖然這樣肯定可行，但是太麻煩，我將Hadoop根目錄下etc/hadoop/hadoop-env.sh中的下如下內容註釋掉：

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"   

然後修改該內容為：

export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"