hadoop筆記第一天
1:安裝虛擬機器(略)
2:安裝必要的環境:安裝jdk
3:安裝hadoop
3.1上傳hadoop包
3.2解壓hadoop包
首先在目錄~建立一個app目錄
mkdir /app
解壓:
tar -zxvf hadoop-1.1.2.tar.gz -C /app/
[[email protected] hadoop-2.4.1]$ ll
total 60
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 20 2014 bin
drwxrwxr-x. 4 hadoop hadoop 4096 Jul 6 16:32 data
drwxr-xr-x. 3 hadoop hadoop 4096 Jun 20 2014 etc
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 20 2014 include
drwxr-xr-x. 3 hadoop hadoop 4096 Jun 20 2014 lib
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 20 2014 libexec
-rw-r--r--. 1 hadoop hadoop 15458 Jun 20 2014 LICENSE.txt
drwxrwxr-x. 3 hadoop hadoop 4096 Jul 7 15:52 logs
-rw-r--r--. 1 hadoop hadoop 101 Jun 20 2014 NOTICE.txt
-rw-r--r--. 1 hadoop hadoop 1366 Jun 20 2014 README.txt
drwxr-xr-x. 2 hadoop hadoop 4096 Jun 20 2014 sbin
drwxr-xr-x. 4 hadoop hadoop 4096 Jun 20 2014 share
bin :執行的指令碼
etc:配置檔案
share:jar包
doc:文件(可以是刪除rm-rfdoc)
lib:本地庫
include:跟本地庫相關的檔案
3.3配置hadoop偽分散式(要修改4個檔案)
第一個:hadoop-env.sh
export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
第二個:core-site.xml(啟動時)
<configuration>
<!-- 指定HDFS的namenode的通訊地址 -->
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop001:9000</value>
</property>
<!-- 指定hadoop執行時產生檔案的存放目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/data/</value>
</property>
</configuration>
第三個:hdfs-site.xml
<configuration>
<!-- 配置HDFS副本的數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四個:mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第五個:yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop001</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3.4將hadoop新增到環境變數
3.5格式化HDFS
hadoop namenode -format
3.6啟動hadoop
start-all.sh
3.7驗證叢集是否啟動成功(有這5個就可以)
[[email protected] hadoop-2.4.1]$ jps
2750 SecondaryNameNode
2887 ResourceManager
2483 NameNode
3926 Jps
2570 DataNode
3109 NodeManager
配置ssh免登陸(登入分為密碼登入和祕鑰登入,如果不配置祕鑰,預設的採用密碼登入)
生成ssh免登陸金鑰
ssh-keygen -t rsa
執行完這個命令後,會生成兩個檔案id_rsa(私鑰)、id_rsa.pub(公鑰)
將公鑰拷貝到要免登陸的機器上
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
有疑問歡迎郵箱提問: