1. 程式人生 > >Hadoop全生態搭建日誌 一

Hadoop全生態搭建日誌 一

此次使用的作業系統是18年十月最新的ubuntu18.04LTS官方釋出版本,剛開始配置軟體源時就遇到了難題。

ubuntu最新版貌似對第三方軟體源有些抵觸,我配置的是國內的阿里雲映象源,結果被系統預設禁止,花了很久的時間查詢網上的解決辦法都沒有解決掉,後來查詢到需要將/etc/apt/source.list更改但也沒有用,後來,在我插入U盤的時候發現系統不能支援exfat格式的U盤,在聯想到更新軟體源時也是卡在了更新exfat檔案時出錯。

在網上找到一篇部落格瞭解到只需要把卡住的那個原始檔移動到/etc/apt/source.list.d/目錄下就ok,

根據類似命令將我卡住的原始檔移動下來後再次更新 成功!

例如

mv relan-ubuntu-exfat-bionic.list relan-ubuntu-exfat-bionic.list.save

原文章地址:www.cnblogs.com/fwl8888/p/9719948.html

解決掉這一大難題後便開始了搭建hadoop環境

Hadoop環境資料百度網盤地址:

連結:https://pan.baidu.com/s/18zBBbY9Jo2P_G0E6EhhHmg 
提取碼:shcy 

因為此次搭建是學校的一個工程專案,所以叢集中的節點就是此次專案的小組成員 一共四人,所以一共四個節點(包括master)

java8安裝

首先在各個節點上配置java8的環境

命令:sudo su apt-get install openjdk-8-jre openjdk-8-jdk

java8安裝完成後便是配置java環境變數

命令:sudo vim ~/.bashrc

在空白處新增你的java地址,預設java安裝在/usr/lib/jvm/目錄下

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

退出後使用source命令是更改生效

命令:source ~/.bashrc

檢測:命令列輸入:$JAVA_HOME/bin/java -version

結果輸出為java的版本

SSH安裝及免密登陸

命令: apt-get install openssh-server

並切入~/.ssh目錄 如果沒有就建立一個 

命令: mkdir ~/.ssh

切入目錄生成金鑰

命令:ssh-keygen -t rsa  一路回車

配置本地免密碼登陸 將公鑰寫入authorized_keys

命令:cat id_rsa.pub >> authorized_keys

同樣對次結點操作並將此節點公鑰寫入master節點的authorized_keys檔案中

並將master節點公鑰寫入次節點authorized_keys中 以保證互相訪問 傳輸檔案

Host A 的公鑰追加到Host B 的authorized_keys中即Hots A 可以訪問Host B

Vim /etc/hosts 中追加slaves的ip地址資訊及別稱

命令:ssh ubuntu 即登陸