一、 hadoop的配置

離開安全模式

 hadoop  dfsadmin  –safemode  leave

修改root使用者密碼

sudo passwd 設定root的密碼

passwd 設定自己的密碼

關閉ubuntu的防火牆: ufw disable

普通使用者

一、新增hadoop使用者組和hadoop使用者

建立hadoop使用者組：sudo addgroup hadoop

建立hadoop使用者：  sudo adduser -ingroup hadoop hadoop

二、安裝ssh

安裝命令：sudo apt-get install openssh-server

啟動服務：sudo /etc/init.d/ssh start

檢視服務是否啟動：ps -e | grep ssh

修改配置檔案，允許root使用者遠端登陸：

開啟"終端視窗"，輸入"sudo gedit /etc/ssh/sshd_config"-->回車-->把配置檔案中的"PermitRootLogin without-password"加一個"#"號,把它註釋掉-->再增加一句"PermitRootLogin yes"-->儲存，修改成功。

1、免密碼登入

生成金鑰

[email protected]:~/Hadoop# ssh-keygen -t rsa -P ""

將公鑰追加到authorized_keys

[email protected]:~/.ssh# cat  ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[email protected]:~/.ssh# ls

authorized_keys  id_rsa  id_rsa.pub

2、配置hadoop環境變數

[email protected]:/usr/bin# vi  /etc/profile

export JAVA_HOME=/home/hadoop/setup/jdk1.8.0_131

export HADOOP_HOME=/home/hadoop/setup/hadoop-2.7.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[email protected]:/usr/bin# source  /etc/ profile

檢視環境：

[email protected]:/usr/bin# echo $PATH

3、配置Hadoop偽分散式的步驟（要修改5個檔案）

（1）、hadoop-env.sh

 25行 export JAVA_HOME=/root/app/jdk1.8.0_131

（2）、core-site.xml

<configuration>

        <property>

<!-- 指定HDFS老大（namenode）的通訊地址 -->

                <name>fs.defaultFS</name>

                <value>hdfs://hadoop01:9000</value>

        </property>

        <property>

<!-- 指定hadoop執行時產生檔案的儲存路徑 -->      

                <name>hadoop.tmp.dir</name>

                <value>/Hadoop/setup/tmp</value>

        </property>

</configuration>

（3）、hdfs-site.xml

<configuration>

        <property>

<!-- 設定hdfs副本數量 -->

                <name>dfs.replication</name>

                <value>1</value>

        </property>

     <property>

<!--用於確定將HDFS檔案系統的元資訊儲存在什麼目錄下-->

         <name>dfs.namenode.name.dir</name>

         <value>file:/Hadoop/setup/dfs/name</value>

    </property>

     <property>

<!--用於確定將HDFS檔案系統的資料儲存在什麼目錄下-->

        <name>dfs.datanode.data.dir</name>

         <value>file:/Hadoop/setup/dfs/data</value>

     </property>

</configuration>

（4）、maprea-site.xml

<configuration>

<!-- 通知框架MR使用YARN -->

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

（5）、yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

        <property>

<!-- NodeManager取資料的方式是mapreduce_shuffle -->

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <property>

<!-- 指定yarn的老大的地址（resourcemanager） -->

                <name>yarn.resourcemanager.hostname</name>

                <value>hadoop01</value>

        </property>

</configuration>

4、格式化hdfs

[email protected]:~/Hadoop/hadoop-2.7.3/etc/hadoop# hdfs namenode -format

5、啟動hadoop

啟動namenode和datanode: start-dfs.sh 

啟動yarn：start-yarn.sh

啟動全部:：start-all.sh

start-all.sh 啟動所有的Hadoop守護程序。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守護程序。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 啟動Hadoop HDFS守護程序NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守護程序NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 單獨啟動NameNode守護程序
hadoop-daemons.sh stop namenode 單獨停止NameNode守護程序
hadoop-daemons.sh start datanode 單獨啟動DataNode守護程序
hadoop-daemons.sh stop datanode 單獨停止DataNode守護程序
hadoop-daemons.sh start secondarynamenode 單獨啟動SecondaryNameNode守護程序
hadoop-daemons.sh stop secondarynamenode 單獨停止SecondaryNameNode守護程序
start-mapred.sh 啟動Hadoop MapReduce守護程序JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守護程序JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 單獨啟動JobTracker守護程序
hadoop-daemons.sh stop jobtracker 單獨停止JobTracker守護程序
hadoop-daemons.sh start tasktracker 單獨啟動TaskTracker守護程序
hadoop-daemons.sh stop tasktracker 單獨啟動TaskTracker守護程序