ubuntu18.04搭建hadoop
1 安裝ssh環境
首先進入root許可權
su
關閉防火牆
systemctl stop firewalld.service
開機不啟動防火牆
systemctl disable firewalld.service
檢視防火牆狀態
ufw status
配置root使用者遠端連線
如果沒有安裝ssh-server
,先安裝:
apt-get install openssh-server
修改sshd_config
gedit /etc/ssh/sshd_config
找到
# Authentication:
LoginGraceTime 2 m
PermitRootLogin without passwd
StrictModes yes
改成
# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes
然後重啟即可。
設定ssh localhost免密登入
ssh localhost
exit
輸入密碼進去後,然後退出來。
在進行了初次登陸後,會在當前家目錄使用者下有一個.ssh資料夾,進入該資料夾下:
cd ~/.ssh/
使用rsa演算法生成金鑰和公鑰對
ssh-keygen -t rsa
執行後一路回車就行,其中第一個是要輸入祕鑰和公鑰對的儲存位置,預設是在:.ssh/id_rsa
然後把公鑰加入到授權中:
cat ./id_rsa.pub >> ./authorized_keys
再次ssh localhost時就不用密碼登入了。
2 安裝並配置JDK
請看教程ubuntu18.04安裝jdk
3 hadoop安裝包下載
4 解壓hadoop
先在/usr/local/
下建立一個hadoop
資料夾,用來存放hadoop檔案。
sudo mkdir /usr/local/hadoop
解壓hadoop壓縮包
tar -zxvf hadoop-2.9.2.tar.gz
解壓完成後,移動hadoop-2.9.2檔案
/usr/local/hadoop
下:mv -v hadoop-2.9.2 /usr/local/hadoop
5 為當前使用者設定許可權
sudo chown -R 當前使用者名稱 ./hadoop
6 配置hadoop
為hadoop設定環境變數
sudo vi /etc/profile
在末尾新增
JAVA_HOME=/usr/local/java/jdk1.8.0_191
HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/sbin:$PATH
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.2
別忘了寫hadoop和jdk安裝路徑!!
新增好後,更新環境變數
source /etc/profile
檢測hadoop
hadoop version
如果配置成功,將出現以下其內容:
7 修改配置檔案
在路徑/usr/local/hadoop/hadoop-2.9.2/etc/hadoop
下有一個core-site.xml
檔案
在該檔案中新增:
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
在相同路徑下修改hdfs-site.xml
檔案,在該檔案中新增:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
仍然在相同路徑下修改hadoop-env.sh
,新增:export JAVA_HOME=/usr/local/java/jdk1.8.0_191
8 測試 啟動
格式化namenode
:
hadoop namenode -format
啟動hdfs
stall.sh
檢視相應程序
jps
網頁檢視5個程序(http://localhost:50070/dfshealth.html#tab-overview)
參考:Ubuntu 18.04 安裝 Hadoop系統環境