初識hadoop hdfs--(1)安裝
阿新 • • 發佈:2019-01-26
我是在ubuntu14.04上安裝的最簡單的單點的hadoop,按照官方文件安裝的。
首先要安裝幾個必備的軟體
1. 安裝jdk. 從oracle官網下載jdk,jdk-8u77-linux-x64.tar.gz, 然後解壓縮
tar -xzvf jdk-8u77-linux-x64.tar.gz
配置環境變數:在/etc/profile最後追加
export JAVA_HOME=/usr/java/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib
執行
source /etc/profile
使之生效。
2. 安裝ssh和rsync
apt-get install ssh
apt-get install rsync
3. 下載hadoop安裝包hadoop-2.7.4.tar.gz
解壓縮
tar -xzvf hadoop-2.7.4.tar.gz
4. 編輯hadoop安裝目錄下的etc/hadoop/hadoop-env.sh,把javahome配成剛剛安裝的jdk路徑
# set to the root of your Java installation
export JAVA_HOME=/usr/java/jdk1.8.0_77
這時候執行bin/hadoop會列印使用引數的一些基本資訊
5. 然後建立資料夾input,將conf下的檔案拷貝進去,匹配正則後輸出到outpu目錄
$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar grep input output 'dfs[a-z.]+'
$ cat output/*
6. 編輯etc/hadoop/core-site.xml:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
7. 編輯etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
8. 執行ssh localhost確定本地ssh是否需要輸入密碼,如果需要輸入密碼,那麼要改成不輸入密碼
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
9. 格式化檔案系統
$ bin/hdfs namenode -format
10. 開啟例項
$ sbin/start-dfs.sh
然後就可以通過瀏覽器來檢視節點資訊了
http://localhost:50070/