1. 程式人生 > 其它 >2022.4.5學習成果

2022.4.5學習成果

 (1)安裝ssh 

    執行命令:sudo apt-get install ssh

  (2)生成ssh公私鑰對

    執行命令:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

  (3)實現本機免密碼登入

    執行命令:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

  (4)測試

    執行命令:ssh localhost

    如果出現 Last login: Sun Apr  9 08:33:24 2017 from localhost說明配置沒有問題

4、配置host(主從都要改)

  執行 sudo gedit /etc/hosts

  在開啟的資料夾中新增

  192.168.181.131 slave1
  192.168.181.132 slave2

  兩個IP是你從機的IP地址(通過ifconfig命令檢視IP)

5、實現主機免密碼訪問從機

  (1)執行命令:

    scp authorized_keys slave1:~/.ssh/

    scp authorized_keys slave2:~/.ssh/

    實現將主機的公鑰加到兩臺從機的公鑰的認證檔案中

  (2)測試

    分別執行命令:

    ssh slave1 

    ssh slave2

    如果出現 Last login: Sun Apr  9 08:33:24 2017 from localhost

    說明配置沒有問題

6、安裝hadoop 

下載,執行命令tar xzvf hadoop-1.0.1.tar.gz(我用的是1.0.1)

7、修改配置檔案

(1)hadoop-env.sh

新增export JAVA_HOME=/home/wyh/hadoop/jdk1.6.0_45

(2)core-site.xml

<configuration>
    <property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<description>change your own hostname</description>
    </property>
    <property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
    </property> 
</configuration>

 (3)hdfs-site.xml

<configuration>
   <property>
<name>dfs.replication</name>
<value>2</value>
   </property>
</configuration>

(4)mapred-site.xm

<configuration>
    <property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<description>change your own hostname</description>
    </property>
</configuration>

(5)master

將masters裡的localhost改成master

(6)slaves

將slaves裡的localhost改成 slave1 slave1   7、從主向從複製Hadoop sudo scp -r hadoop-1.0.1 wyh@slave1:~/hadoop sudo scp -r hadoop-1.0.1 wyh@slave2:~/hadoop   8、格式化hadoop 三臺機器執行 bin/hadoop namenode -format   9、啟動hadoop 主機執行:bin/start-all.sh   10 、檢視效果 訪問master:50030以及master:50070 ,如果能夠訪問,說明配置成功    

 (1)安裝ssh 

    執行命令:sudo apt-get install ssh

  (2)生成ssh公私鑰對

    執行命令:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

  (3)實現本機免密碼登入

    執行命令:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

  (4)測試

    執行命令:ssh localhost

    如果出現 Last login: Sun Apr  9 08:33:24 2017 from localhost說明配置沒有問題

4、配置host(主從都要改)

  執行 sudo gedit /etc/hosts

  在開啟的資料夾中新增

  192.168.181.131 slave1
  192.168.181.132 slave2

  兩個IP是你從機的IP地址(通過ifconfig命令檢視IP)

5、實現主機免密碼訪問從機

  (1)執行命令:

    scp authorized_keys slave1:~/.ssh/

    scp authorized_keys slave2:~/.ssh/

    實現將主機的公鑰加到兩臺從機的公鑰的認證檔案中

  (2)測試

    分別執行命令:

    ssh slave1 

    ssh slave2

    如果出現 Last login: Sun Apr  9 08:33:24 2017 from localhost

    說明配置沒有問題

6、安裝hadoop 

下載,執行命令tar xzvf hadoop-1.0.1.tar.gz(我用的是1.0.1)

7、修改配置檔案

(1)hadoop-env.sh

新增export JAVA_HOME=/home/wyh/hadoop/jdk1.6.0_45

(2)core-site.xml

<configuration>
    <property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
<description>change your own hostname</description>
    </property>
    <property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
    </property> 
</configuration>

 (3)hdfs-site.xml

<configuration>
   <property>
<name>dfs.replication</name>
<value>2</value>
   </property>
</configuration>

(4)mapred-site.xm

<configuration>
    <property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<description>change your own hostname</description>
    </property>
</configuration>

(5)master

將masters裡的localhost改成master

(6)slaves

將slaves裡的localhost改成 slave1 slave1   7、從主向從複製Hadoop sudo scp -r hadoop-1.0.1 wyh@slave1:~/hadoop sudo scp -r hadoop-1.0.1 wyh@slave2:~/hadoop   8、格式化hadoop 三臺機器執行 bin/hadoop namenode -format   9、啟動hadoop 主機執行:bin/start-all.sh   10 、檢視效果 訪問master:50030以及master:50070 ,如果能夠訪問,說明配置成功