hadoop搭建在Ubuntu16.04上
一、環境
Ubuntu16.04、Hadoop2.7.3、java8
系統安裝完成後建議先更新一下 apt源
1、復制原文件備份
sudo cp /etc/apt/source.list /etc/apt/source.list.bak
2、編輯源列表文件
sudo vim /etc/apt/source.list
3、將原來的列表刪除,添加如下內容(更換阿裏的鏡像,也可以更換其他的)
deb http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse
4、運行sudo apt-get update
5、運行sudo apt-get upgrade
二、安裝SSH、配置SSH無密碼登陸
- sudo apt-get install openssh-server
- ssh localhost
- 輸入yes,輸入當前帳號的密碼
-
exit # 退出剛才的 ssh localhost
cd ~/.ssh/ # 若沒有該目錄,請先執行一次ssh localhost
ssh-keygen -t rsa # 會有提示,都按回車就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授權
這樣就可以無密碼登錄了。
三、安裝Java環境
隨意搜索一下就好,註意安裝java8
四、安裝hadoop
Hadoop 2 可以通過 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下載,一般選擇下載最新的穩定版本,即下載 “stable” 下的 hadoop-2.X這個格式的文件,這是編譯好的,另一個包含 src 的則是 Hadoop 源代碼,需要進行編譯才可使用。
選擇將 Hadoop 安裝至 /usr/local/ 中:
sudo tar -zxf ~/downloads/hadoop-2.7.3.tar.gz -C /usr/local # 解壓到/usr/local中
cd /usr/local/
sudo chown -R hadoop ./hadoop-2.7.3 # 修改文件權限
Hadoop 解壓後即可使用。輸入如下命令來檢查 Hadoop 是否可用,成功則會顯示 Hadoop 版本信息:
cd /usr/local/hadoop
./bin/hadoop version
hadoop搭建在Ubuntu16.04上