在ubuntu下搭建hadoop環境(單機配置)
阿新 • • 發佈:2019-01-03
電腦系統版本:windows7(32位)
VMware版本:VMware10
1、安裝ubuntu
版本:16.04.1-desktop-i386
安裝完之後,需要重啟系統,重啟時可能會出現
piix4_smbus : Host SMBus controller not enabled!的提示,這是因為裝入i2c-piix4模組所導致,解決方法就是在 /etc/modprobe.d/blacklist.conf的末尾新增blacklist i2c_piix4
重啟時還有可能出現
intel_rapl:not valid rapl domains found in package 0 !的提示,解決方法是在/etc/modprob.e/blacklist.conf的末尾新增blacklist intel_rapl
2、安裝jdk
jdk版本:jdk-8u121-linux-i586(字尾名是 tar.gz)
在/usr中新建java目錄
進入到java目錄中(jdk的tar包也放到這裡),使用tar命令解壓縮到當前目錄
使用vi ~/.bashrc來配置環境變數
注意:上面這張圖片中的路徑根據實際情況來編輯 配置好環境變數之後,使用source ~/.bashrc 來讓配置的內容生效 然後,輸入 java -version,如果出現下圖中的內容,則說明已經安裝好了
3、安裝hadoop 1)建立hadoop使用者組 addgroup hadoop
2)建立hadoop使用者,並將其加入到hadoop使用者組當中
adduser -ingroup hadoop hadoop
回車後會提示輸入新的UNIX密碼,這是新建使用者hadoop的密碼
3)為hadoop使用者新增許可權
使用 vi /etc/sudoers 來為hadoop使用者新增和root使用者一樣的許可權
4)安裝hadoop
版本:hadoop-2.5.2(字尾名是tar.gz)
在/usr中新建hadoop目錄 進入到hadoop目錄中(hadoop的tar包也放到這裡),使用tar命令解壓縮到當前目錄 使用vi ~/.bashrc來配置 在檔案末尾追加下面內容,然後儲存,關閉編輯視窗。 #HADOOP VARIABLES START export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" #HADOOP VARIABLES END 使用source ~/.bashrc 來讓配置的內容生效
5)編輯usr/hadoop/hadoop/etc/hadoop/hadoop-env.sh
修改該檔案中的JAVA_HOME 6)WordCount測試 單機模式安裝完成,下面通過執行hadoop自帶例項WordCount驗證是否安裝成功 /usr/hadoop/hadoop路徑下建立input資料夾
執行結果:
執行 cat output/*,檢視字元統計結果
注意:上面這張圖片中的路徑根據實際情況來編輯 配置好環境變數之後,使用source ~/.bashrc 來讓配置的內容生效 然後,輸入 java -version,如果出現下圖中的內容,則說明已經安裝好了
3、安裝hadoop 1)建立hadoop使用者組 addgroup hadoop
2)建立hadoop使用者,並將其加入到hadoop使用者組當中
adduser -ingroup hadoop hadoop
回車後會提示輸入新的UNIX密碼,這是新建使用者hadoop的密碼
3)為hadoop使用者新增許可權
使用 vi /etc/sudoers 來為hadoop使用者新增和root使用者一樣的許可權
4)安裝hadoop
版本:hadoop-2.5.2(字尾名是tar.gz)
在/usr中新建hadoop目錄 進入到hadoop目錄中(hadoop的tar包也放到這裡),使用tar命令解壓縮到當前目錄 使用vi ~/.bashrc來配置 在檔案末尾追加下面內容,然後儲存,關閉編輯視窗。 #HADOOP VARIABLES START export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" #HADOOP VARIABLES END 使用source ~/.bashrc 來讓配置的內容生效
5)編輯usr/hadoop/hadoop/etc/hadoop/hadoop-env.sh
修改該檔案中的JAVA_HOME 6)WordCount測試 單機模式安裝完成,下面通過執行hadoop自帶例項WordCount驗證是否安裝成功 /usr/hadoop/hadoop路徑下建立input資料夾
mkdir input
拷貝README.txt到input
cp README.txt input
執行WordCount
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
執行結果:
執行 cat output/*,檢視字元統計結果