Hadoop偽分散式部署
阿新 • • 發佈:2022-04-16
1.解壓Hadoop安裝包
cd ...... 進入軟體包所在資料夾
ls 檢視資料夾下所有檔案
tar -zxvf hadoop...... 解壓Hadoop的jar包
2.配置hadoop檔案
cd /......(Hadoop安裝所在目錄)/etc/hadoop 進入配置檔案所在目錄下
vim hadoop-env.sh 設定Hadoop的JAVA_HOME
export JAVA_HOME=/......(本機Java的安裝目錄)
vim core-site.xml 設定common元件的屬性
<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/simple/hadoop-2.7.3/tmp</value> </property>
vim hdfs-site.xml 設定HDFS元件的屬性
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/simple/hadoop-2.7.3/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/simple/hadoop-2.7.3/hdfs/data</value> </property>
mv mapred-site.xml template mapred-site.xml 修改檔案的命名
vm mapred.xml 設定map-reduce元件的屬性
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
vim yarn-site.xml 設定yarn元件的屬性
<property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
vim /etc/profile 配置環境變數
source /etc/profile 使配置檔案生效
hdfs namesode -format 格式化namenode
cd ~/.ssh 設定本機免密
ssh-keygen -t rsa 預設在~/.ssh/目錄下生成id_rsa:私鑰、id_rsa.pub:公鑰
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 將公鑰匯入到認證檔案
start-hdfs.sh 開啟hdfs
start-yarn.sh 開啟yarn
jps 驗證程序是否正常啟動