1. 程式人生 > 其它 >Hadoop偽分散式部署

Hadoop偽分散式部署

1.解壓Hadoop安裝包

cd ......  進入軟體包所在資料夾

ls   檢視資料夾下所有檔案

tar -zxvf hadoop......  解壓Hadoop的jar包

2.配置hadoop檔案

cd /......(Hadoop安裝所在目錄)/etc/hadoop  進入配置檔案所在目錄下

vim hadoop-env.sh  設定Hadoop的JAVA_HOME

export JAVA_HOME=/......(本機Java的安裝目錄)

vim core-site.xml  設定common元件的屬性

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://
localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/simple/hadoop-2.7.3/tmp</value> </property>

 

vim hdfs-site.xml  設定HDFS元件的屬性

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
     <name>dfs.name.dir</name>
     <value>/simple/hadoop-2.7.3/hdfs/name</value>
</property>
<property>
     <name>dfs.data.dir</name>
    <value>/simple/hadoop-2.7.3/hdfs/data</value>
</property>

 

mv mapred-site.xml template mapred-site.xml  修改檔案的命名

vm mapred.xml    設定map-reduce元件的屬性

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

 

vim yarn-site.xml  設定yarn元件的屬性

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

 

vim /etc/profile  配置環境變數

source /etc/profile  使配置檔案生效

hdfs namesode -format  格式化namenode

cd ~/.ssh  設定本機免密

ssh-keygen -t rsa  預設在~/.ssh/目錄下生成id_rsa:私鑰、id_rsa.pub:公鑰

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  將公鑰匯入到認證檔案

start-hdfs.sh  開啟hdfs

start-yarn.sh  開啟yarn

jps  驗證程序是否正常啟動