Hadoop全生態搭建日誌 一
此次使用的作業系統是18年十月最新的ubuntu18.04LTS官方釋出版本,剛開始配置軟體源時就遇到了難題。
ubuntu最新版貌似對第三方軟體源有些抵觸,我配置的是國內的阿里雲映象源,結果被系統預設禁止,花了很久的時間查詢網上的解決辦法都沒有解決掉,後來查詢到需要將/etc/apt/source.list更改但也沒有用,後來,在我插入U盤的時候發現系統不能支援exfat格式的U盤,在聯想到更新軟體源時也是卡在了更新exfat檔案時出錯。
在網上找到一篇部落格瞭解到只需要把卡住的那個原始檔移動到/etc/apt/source.list.d/目錄下就ok,
根據類似命令將我卡住的原始檔移動下來後再次更新 成功!
例如
mv relan-ubuntu-exfat-bionic.list relan-ubuntu-exfat-bionic.list.save
原文章地址:www.cnblogs.com/fwl8888/p/9719948.html
解決掉這一大難題後便開始了搭建hadoop環境
Hadoop環境資料百度網盤地址:
連結:https://pan.baidu.com/s/18zBBbY9Jo2P_G0E6EhhHmg
提取碼:shcy
因為此次搭建是學校的一個工程專案,所以叢集中的節點就是此次專案的小組成員 一共四人,所以一共四個節點(包括master)
java8安裝
首先在各個節點上配置java8的環境
命令:sudo su apt-get install openjdk-8-jre openjdk-8-jdk
java8安裝完成後便是配置java環境變數
命令:sudo vim ~/.bashrc
在空白處新增你的java地址,預設java安裝在/usr/lib/jvm/目錄下
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
退出後使用source命令是更改生效
命令:source ~/.bashrc
檢測:命令列輸入:$JAVA_HOME/bin/java -version
結果輸出為java的版本
SSH安裝及免密登陸
命令: apt-get install openssh-server
並切入~/.ssh目錄 如果沒有就建立一個
命令: mkdir ~/.ssh
切入目錄生成金鑰
命令:ssh-keygen -t rsa 一路回車
配置本地免密碼登陸 將公鑰寫入authorized_keys
命令:cat id_rsa.pub >> authorized_keys
同樣對次結點操作並將此節點公鑰寫入master節點的authorized_keys檔案中
並將master節點公鑰寫入次節點authorized_keys中 以保證互相訪問 傳輸檔案
Host A 的公鑰追加到Host B 的authorized_keys中即Hots A 可以訪問Host B
Vim /etc/hosts 中追加slaves的ip地址資訊及別稱
命令:ssh ubuntu 即登陸