ubuntu 搭建 hadoop環境
友情推廣
hadoop
版本 2.7.3
下邊將一步一步的介紹在ubuntu系統中搭建hadoop環境。
- 建立免密碼登入使用者
- 安裝sun jdk
- 下載hadoop可執行包
- 修改hadoop配置檔案
- 啟動hadoop服務
建立免密碼登入的使用者
首先請先確保安裝ssh軟體,然後生成金鑰。
sudo adduser -ingroup hadoop hadoop sudo adduser hadoop sudo sudo apt-get install install ssh su - hadoop ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
接下來驗證ssh是否可以免密碼登入
ssh localhost
成功登入,則繼續往下邊操作。
安裝sun jdk
如果你的機器上已經安裝了openjdk,請先解除安裝,如果沒有,請按照下面方法繼續操作。
在oracle官網上下載最新的jdk包,在這裡我選則的是jdk1.8.0_121,具體下載地址,請訪問 JAVA SEE 下載地址
將下載後的檔案解壓到/opt目錄中,然後配置環境變數
[email protected]:/opt/jdk1.8.0_121$ pwd
/opt/jdk1.8.0_121
[email protected]:/opt/jdk1.8.0_121$
修改~/.profile檔案內容,在末尾追加下面資訊:
export JAVA_HOME=/opt/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
接著source一下該檔案,讓環境變數生效
source ~/.profile
下載hadoop可執行包
hadoop下載地址
請選擇binary包,這樣就不用自己去編譯hadoop,在這裡,我下載的是2.7.3 binary包。
將下載下來的包解壓到/opt目錄中,接著配置環境變數
export HADOOP_HOME=/opt/hadoop-2.7.3 export PATH=$PATH:$HADOOP_HOME/bin
如上圖所示,解壓後的hadoop被放在/opt目錄中,將HADOOP_HOME目錄指向hadoop檔案所在路徑。
修改hadoop配置檔案
hadoop配置檔案在$HADOOP_HOME/etc/hadoop目錄中,下邊以最簡單的方式啟動hadoop,大部分引數沿用預設值。
1.修改core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
# The java implementation to use.
export JAVA_HOME=/opt/jdk1.8.0_121
3.修改hdfs-site.xml,使用單節點啟動hadoop。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/tmp/dfs/data</value>
</property>
</configuration>
到此,配置檔案修改完成。再次source一下環境使用者配置資訊
source ~/.profile
啟動hadoop服務
1.初始化namenode,僅僅第一次安裝時使用,後邊再次啟動不需要執行。
hdfs namenode -format
2.啟動hadoop服務
cd $HADOOP_HOME/sbin
./start-all.sh
等待命令成功執行後,檢視jvm是否存在hadoop程序
[email protected]:/opt/hadoop-2.7.3/sbin$ jps
5632 ResourceManager
6448 NodeManager
3746 NameNode
4554 DataNode
12763 Jps
5467 SecondaryNameNode
向hdfs傳入檔案
hdfs dfs -put $HADOOP_HOME/sbin/start-all.sh /
檢視檔案是否傳入hdfs
hdfs dfs -ls /
如果能夠檢視到start-all.sh檔案,表明hadoop單節點版本已經搭建完成。如果要在生產環境中使用hadoop,複雜程度遠遠比這個多,所以,再次,僅供入門參考。不過話又說回來,複雜的的東西也是從簡單的東西竄起來的,打好基礎很重要。
相關推薦
ubuntu 搭建 hadoop環境
友情推廣 hadoop 版本 2.7.3 下邊將一步一步的介紹在ubuntu系統中搭建hadoop環境。 建立免密碼登入使用者 安裝sun jdk 下載hadoop可執行包 修改hadoop配置檔案 啟動hadoop服務 建立免密碼登入的使用者 首
Ubuntu 18.04.1 LTS 搭建Hadoop環境
1.Ubuntu環境配置 本文使用Ubuntu 18.04.1 LTS,其他版本搭建過程基本一致。 建立hadoop使用者(可略) 1.建立新使用者 $ sudo useradd -m hadoop -s /bin/bash 2.設定密碼 $ sudo pass
Ubuntu中Hadoop環境搭建
Ubuntu中Hadoop環境搭建 JDK安裝 方法一:通過命令列直接安裝(不建議) 有兩種java可以安裝oracle-java8-installer以及openjdk (1)安裝oracle-java8-installer apt install software-properties-
在ubuntu下搭建hadoop環境(單機配置)
電腦系統版本:windows7(32位) VMware版本:VMware10 1、安裝ubuntu 版本:16.04.1-desktop-i386 安裝完之後,需要重啟系統,重啟時可能會出現 piix4_smbus : Host SMBus controller
VirtualBox安裝Ubuntu搭建js環境的註意事項
支持 創建 重啟 bow sta 虛擬機 解壓 安裝git rem 1、使用CPU-Z工具檢查主板是否支持虛擬技術,因為VirtulBox虛擬機需要主板支持虛擬技術 2、Ubuntu安裝之後重啟會出現:please remove this install medium,
ubuntu 搭建django 環境
ubuntu pytho 客戶端 [0 sta 域名 安裝django 默認 初始 ubuntu 默認安裝了 python2.7 。 安裝django apt install python-django; 安裝mysql apt install mysql-server*
VM搭建Hadoop環境遇到的問題
訪問 root 搭建 nod 失敗 rsa ont .sh -1 一、Slave2中sshd服務一直處於啟動失敗狀態 查看配置文件 c 發現配置文件末尾slave2和master不同,更改過後問題解決,可以連接 二、啟動Hadoop時,SSH免密驗證失敗 查看
Ubuntu搭建Hadoop的踩坑之旅(三)
namenode 結束 ctu mapreduce 分布 使用 framework 2.6 start 之前的兩篇文章介紹了如何從0開始到搭建好帶有JDK的Ubuntu的過程,本來這篇文章是打算介紹搭建偽分布式集群的。但是後來想想反正偽分布式和完全分布式差不多,所幸直接介紹
新手入門篇:虛擬機搭建hadoop環境的詳細步驟
文檔 優勢 indent gic 地址 完成 align 頁面 一段 前兩天看到有人留言問在什麽情況下需要部署hadoop,我給的回答也很簡單,就是在需要處理海量數據的時候才需要考慮部署hadoop。關於這個問題在很早之前的一篇分享文檔也有說到這個問題,數據量少的完全發揮不
ubantu中搭建Hadoop環境20180908(全)
初始 The lib 服務 指向 ref hdfs alter open 一. Ubuntu Java8 的安裝 添加ppa sudo add-apt-repository ppa:webupd8team/java sudo apt-get updat
CentOS6.5x64搭建Hadoop環境
ipv data 查看 大致 ber 裝配 yarn 鏡像 3.2 首先總結一下之所以被搭建大數據環境支配的原因:浮躁。 總是坐不住,總是嫌視頻太長,總是感覺命令太雜太多,所以就不願去面對。 在抖音上聽到一句話:“為什麽人們不願吃學習的苦而能吃社會的苦
Spark學習筆記(三) Ubuntu搭建Hadoop分散式叢集
Ubuntu搭建Hadoop分散式叢集 執行環境 配置目標 搭建Hadoop分散式叢集步驟 1 搭建master 1.1 安裝JDK 1.2 安裝SSH 1.3 安裝Hadoop 2
搭建Hadoop環境之偽分散式
搭建好單機模式的Hadoop環境以後就可以搭建偽分散式的Hadoop環境了,接下來資料儲存在HDFS上進行測試,首先就要對HDFS進行配置。 配置HDFS 配置/opt/app/hadoop2.7/etc/hadoop/core-site.xml <con
Ubuntu 搭建hadoop叢集成功,但MobaXterm無法遠端連線叢集各個節點
由於我是在VMware上 使用的ubuntu系統,因此解決這個問題需要先了解一下VMware三種網路工作模式: 我們可以看到有VMnet0(橋接模式)、VMnet1(僅主機模式)、VMnet8(NAT模式)其中: VMnet0表示的是:用於橋接模式下的虛擬交換機;
10分鐘從無到有搭建hadoop環境並測試mapreduce
2012-05-22 來源:http://abloz.com/2012/05/22/hadoop-installation.html 目標: 安裝測試本地單機hadoop。 花費時間:10分鐘 前提: java環境已經準備好
Ubuntu部署Hadoop環境
0 環境 Ubuntu18.04 openssh-server Hadoop3.0.2 JDK1.8.0_191 1 ssh配置 1.0 安裝openssh-server sudo apt-get install openssh-s
Ubuntu搭建LAMP環境
1.更新軟體源 sudo apt-get update 2.安裝Apache sudo apt-get install apache2 3.檢視Apache是否安裝成功 apache2 –v 如下所示,表示搭建成功 4. 通過瀏覽器訪問伺服器
hadoop初識之三:搭建hadoop環境(配置HDFS,Yarn及mapreduce 執行在yarn)上及三種執行模式(本地模式,偽分散式和分散式介)
--===============安裝jdk(解壓版)================== --root 使用者登入 --建立檔案層級目錄 /opt下分別 建 modules/softwares/datas/tools 資料夾 --檢視是否安裝jdk rpm -
使用maven搭建hadoop環境
關於Maven的使用就不再囉嗦了,網上很多,並且這麼多年變化也不大,這裡僅介紹怎麼搭建Hadoop的開發環境。 1. 首先建立工程 [plain] view plain copy print? mvn archetype:generate -Dgroup
ubuntu搭建hadoop 2.7.2 Single Node Cluster及windows eclipse yarn提交Mapreduce筆記
環境配置 hadoop 版本:2.7.2 ubuntu 版本:lubuntu-16.04.1-desktop-amd64 java 版本:1.8.0_102 windows 版本:Microsoft Windows [版本 10.0.10586] eclipse 版本:Ne