hadoop大資料環境部署--linux centos虛擬機器
需要版本：
jdk:jdk-7u79-linux-x64.tar.gz
hadoop:hadoop-2.5.0-cdh5.3.6.tar.gz
1.建立hadoop使用者
useradd -m hadoop -G root -s /bin/bash
2.賦予hadoop使用者最高許可權
chmod 777 hadoop
--記得給hadoop設定密碼
passwd hadoop
hadoop
3.切換hadoop使用者
su hadoop
4.檢視主機名
hostname
如果不是當前的主機名，則需要修改: vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=king
5.ping king看是否連結通
6.金鑰公鑰-
ssh-keygen -t rsa
一路回車，出現如下圖示時候：成功
The key's randomart image is:
+--[ RSA 2048]----+
| .=. . .o*o |
| . o. = ... |
| .+..o |
| ...+. |
| S.+ . . |
| o o . . . |
| . . . |
| . . |
| E |
+-----------------+
7.cd
pwd
ls-al
找到.ssh隱藏檔案
8.
[
[[email protected] .ssh]$ ls
id_rsa id_rsa.pub
其中有兩個檔案
9.
cat id_rsa.pub > authorized_keys
ls
現有三個檔案
10.
sudo chmod 600 authorized_keys
輸入hadoop使用者密碼即可
11.嘗試免密碼登陸
ssh king
12.生成的konw_hosts其中儲存的是登陸ip地址的資訊
13.如果是有多型分佈是機器
金鑰需要追加到authorized_keys中；
cp id_rsa.pub id.rsa.king2.pub
cat id_rsa.king2.pub>>authorized_keys
#安裝jdk
7U79-linux-x64
1.home/hadoop/bigdater/softs
其中softs用來存放壓縮包 :jdk-7u79-linux-x64.tar.gz hadoop-2.5.0-cdh5.3.6.tar.gz
cd 到bigdater目錄
tar -zxvf softs/jdk-7u79-linux-x64.tar.gz
建立軟連線：
sudo ln -s /home/hadoop/bigdater/jdk1.7.0_79/ /usr/local/jdk
2.設定環境變數
vim ~/.bash_profile
新增：
#jdk
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
source ~/.bash_profile
3.檢視是否安裝成功
java -version
#hadoop安裝
1.
tar -zxvf softs/hadoop路徑
cd hadoop檔案路徑
mkdir hdfs
2.開始配置檔案 都在etc/hadoop中
2.1 vim hadoop-env.sh
#把原來的註釋掉
export JAVA_HOME=/usr/local/jdk
export HADOOP_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp
#程序id的儲存路徑，一般生產環境需要修改
#儲存 esc --shift zz
#檢視是否報錯
cd /home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/etc/hadoop
2.2 vim mapred-env.sh
export HADOOP_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp
2.3 vim yarn-env.sh
export YARN_PID_DIR=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp
2.4 vim core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://king</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/tmp</value>
</property>
2.5 vim hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
#引數因子
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/data</value>
</property>
#非必須，許可權驗證
<property>
<name>dfs.permission.enabled</name>
<value>false</value>
</property>
2.6 vim mapred-site.xml--如果沒有 先建立 cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
#預設是local
</property>
2.7 vim yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
#給定服務名稱
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
#列印日誌
<value>true</value>
</property>
2.8 vim slaves
存放datanode的節點的主機名
修改為king
2.9 配置hadoop環境變數
vim ~/.bash_profile
#hadoop
export HADOOP_HOME=/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2.10 source ~/.bash_profile
2.11 hadoop version
看是否安裝成功