Ubuntu + Hadoop2.7.3偽分佈搭建
阿新 • • 發佈：2018-11-10
1.在virtualbox上設定共享目錄
將 JDK 和 hadoop 壓縮包上傳到Ubuntu：
參考連結：https://blog.csdn.net/qq_38038143/article/details/83017877
2.JDK安裝
- 在 /usr/local/ 下建立目錄 java，將 JDK 解壓到 java 目錄，執行命令：
sudo tar -zxvf /usr/local/lib/jdk-8u152-linux-x64.tar.gz -C /usr/local/java/
檢視 java目錄：
- 配置環境變數：
執行命令：
sudo vim /etc/profile
在檔案末尾新增以下內容：
JAVA_HOME=/usr/local/java/jdk1.8.0_152
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME CLASSPATH PATH
使配置生效：
source /etc/profile
- 檢視JDK配置是否成功：
JDK安裝完成。
3.hadoop安裝
3.1. 解壓hadoop
執行命令，分別為：解壓hadoop、修改目錄名稱、修改目錄擁有者（根據自己linux使用者）
sudo tar -zxvf /usr/local/lib/hadoop-2.7.3.tar.gz -C /usr/local/ sudo mv /usr/local/hadoop-2.7.3 /usr/local/hadoop sudo chown hadoop /usr/local/hadoop
3.2. 配置 JDK 路徑
進入目錄：
修改檔案：hadoop-env.sh
將第25行的 export JAVA_HOME=${JAVA_HOME} 修改為：
3.3. 配置 Hadoop 環境變數：
在檔案末尾新增，修改檔案：
vim ~/.bashrc
export JAVA_HOME=/usr/local/java/jdk1.8.0_152 export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
3.4. 檢視Hadoop版本
Hadoop安裝成功。
3.5. Hadoop單機例項執行：
進入目錄：
建立目錄，並將配置檔案作為輸入檔案：
mkdir ./input
cp ./etc/hadoop/*.xml ./input
執行執行命令：
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input/ ./output 'dfs[a-z.]+'
檢視輸出結果：
單機模式執行例項成功。
5.Hadoop偽分佈
5.1 配置IP對映：
修改檔案：sudo vim /etc/hosts
在檔案中新增：（master為主機名）
127.0.0.1 master
重啟網路：
sudo /etc/init.d/networking restart
5.2 免密登入：
安裝ssh：
sudo apt-get install openssh-server
生成 ~/.ssh目錄：
ssh master
# 輸入密碼登入後，執行exit退出
exit
執行命令，生成公鑰、金鑰：
ssh-keygen -t rsa #一直回車
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
再次執行登入命令：
ssh master
若不再使用命令即可登入，即免密登入成功。
5.3 修改Hadoop配置檔案：
待會更新