Hadoop的偽分散式搭建
阿新 • • 發佈:2018-11-05
已正確安裝jdk環境
JDK測試安裝成功:
>java -version
解壓Hadoop,建議解壓目錄:/usr/local下
免密登陸設定(如果不加免密操作,每次啟動和關閉會有多次輸入密碼過程):
>ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
>cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
>ssh localhost
//修改主機名
>vim /etc/hostname
Master
//修改host
>vim /etc/host
加入虛擬機器ip
建立三個資料夾
>mkdir /usr/local/hadoop/tmp
>mkdir -p /usr/local/hadoop/hdfs/name
>mkdir -p /usr/local/hadoop/hdfs/data
配置Hadoop環境變數
>vim ~/.bash_profile
HADOOP_HOME=/hadoop解壓路徑
PATH=$PATH:$HADOOP_HOME/bin
>source ~/.bash_profile
進入到Hadoop解壓路徑進行配置引數修改
1.配置hadoop-env.sh //此處要注意是否存在多個檔案情況 >vim hadoop-env.sh export JAVA_HOME=JDK路徑 2.配置yarn_env.sh >vim yarn_env.sh export JAVA_HOME=jdk路徑 3.配置核心配置檔案:core-site.xml >vim core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>tem資料夾路徑</value> </property> 4.配置底層儲存:hdfs-site.xml >vim hdfs-site.xml <property> <name>dfs.namenode.name.dir</name> <value>file:/hdfs/name資料夾絕對路徑</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/hdfs/data資料夾絕對路徑</value> </property> //副本個數 <property> <name>dfs.replication</name> <value>1</value> //預設是3,偽分散式設定1即可 </property> 5.mapred中配置yarn框架(確認檔案格式) >mv mapred-site.xml.template mapred-size.xml >vim mapred-site.xml <property> <name>mapreduce.framwork.name</name> <value>yarn</value> </property> 6.yarn配置mapred框架shuffle >vim yarn-site.xml <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
進行格式化(如果修改配置檔案則需要重新格式化)
>hadoop namenode -format
啟動hadoop
>cd sbin
>./start-all.sh
檢視程序
>jps
訪問:
ip:8088
檢視防火牆:
>firewall -cmd --state
關閉防火牆:
>stop firewalld.service