1. 程式人生 > >Hadoop學習筆記(待整理)

Hadoop學習筆記(待整理)

sbin auth host jdk 配置環境變量 整理 localhost 修改 -s

安裝步驟:
1、安裝虛擬機系統,並進行準備工作(可安裝一個然後克隆)
2.修改各個虛擬機的hostname和host
3.創建用戶組和用戶
4、配置虛擬機網絡,使虛擬機系統之間以及和host主機之間可以通過相互ping通。
5.安裝jdk和配置環境變量,檢查是否配置成功
6、配置ssh,實現節點間的無密碼登錄 ssh node1/2指令驗證時候成功
7、master配置hadoop,並將hadoop文件傳輸到node節點 
8、配置環境變量,並啟動hadoop,檢查是否安裝成功,執行wordcount檢查是否成功。
#環境變量配置
export HADOOP_HOME=/opt/hadoop/ export PATH
=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#SSL免登錄配置

#安裝SSL
yum -y install openssh-server  
ps -e | grep ssh  
ssh localhost 

#生成密鑰對
ssh-keygen -t rsa

#在master上,導入authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
#進入master的.ssh目錄,執行復制操作
scp authorized_keys hadoop@node1:~/.ssh/
scp authorized_keys hadoop@node2:~/.ssh/

#修改各臺主機上authorized_keys文件的權限  所有機器上,均執行命令
chmod 
600 .ssh/authorized_keys ssh node1(node2)

Hadoop學習筆記(待整理)