1. 程式人生 > >Hadoop單機模式安裝-(3)安裝和配置Hadoop

Hadoop單機模式安裝-(3)安裝和配置Hadoop

網路上關於如何單機模式安裝Hadoop的文章很多,按照其步驟走下來多數都失敗,按照其操作彎路走過了不少但終究還是把問題都解決了,所以順便自己詳細記錄下完整的安裝過程。

此篇主要介紹在Ubuntu安裝完畢後,如何進行Hadoop的安裝和配置。

我所記錄的筆記適合沒有Linux基礎的朋友跟我一起操作,同時歡迎高手參觀指導。

環境約定

以下環境基於攥寫時間:5th July 2015。

宿主機器:Windows 8

虛擬機器環境:WMware Wrokstation 11

Ubuntu版本:Ubuntu Desktop 14.04.2

物理環境:

筆記本Thinkpad T420 i5 CPU 4+4=8G記憶體, 500G硬碟。

其它:

JavaJDK版本:7

Hadoop版本:2.7.0

首先,登入Ubuntu,進入到命令模式,可以通過兩個方法,就是點選左上角的Search按鈕,輸入Ter然後在下面的結果介面就可以找到控制檯Terminal。

另外一個方法就是通過快捷鍵Ctrl+Alt+T。

首先開啟虛擬機器的網路連線。Ubuntu的配置過程中包括更新和軟體的安裝都要以來於網際網路環境。

回到控制檯,輸入如下命令開始更新系統(需聯網)。sudo是經常會用到的,提示系統以最高許可權執行,有些類似windows下的UAC。

sudo apt-get update

系統會提示輸入密碼,然後開始下載和安裝更新。

完成更新後,接下來在系統中首先建立名稱為hadoop的使用者名稱和組。

首先建立組:

sudo addgroup Hadoop

然後再建立使用者。

sudo adduser -ingroup hadoop Hadoop

輸入這個命令後系統會提示輸入密碼,然後關於Full Name等資訊一路回車就可以。

最後輸入如下命令,使新建立的hadoop賬戶擁有最高的許可權。

sudo gedit /etc/sudoers

系統會彈出Ubuntu Desktop的Gedit工具,這是一個視覺化的文字編輯工具,跟windows下的記事本一樣。在Ubuntu Server下沒有圖形化介面,可以通過vim完成類似的編輯和配置工作。

在開啟的配置檔案中,在root下面加入下面一行。

hadoop   ALL=(ALL:ALL) ALL

需要留意的是,如果手動敲入這行內容,hadoop後面跟的是/t,也就是鍵盤的Tab。如果這裡輸入不對的話會導致Ubuntu系統出現很大的問題。

編輯完成後點選Gedit上面的Save按鈕然後關閉這個工具(Ubuntu Desktop下關閉和最大化等按鈕是在每個窗體的左上方),回到控制檯。

接下來配置ssh服務,使系統可以遠端登入。

輸入如下命令安裝ssh。

sudo apt-get install openssh-server

然後通過如下命令開啟ssh服務。

sudo /etc/init.d/ssh start

最後通過如下命令,檢視ssh服務是否啟動。

ps -e | grep ss

如圖看到sshd的話說明ssh啟動成功。

接下來配置ssh的免密碼登入,確保其它節點可以不需要密碼就可以登入到系統。(目前不太確定單擊模式中這一步是否必要,但為了後續搭建多節點環境所以先跟著配置。)

首先輸入如下命令生成公匙和私匙。

ssh-keygen -t rsa -P ""

然後通過如下命令把公匙的內容加入到authorized_keys中。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

至此ssh的配置完成。

接下來安裝java的jdk,輸入如下命令開始安裝。安裝過程會略微長一些。

sudo apt-get install openjdk-7-jdk

安裝完畢後,可以通過如下命令確定Java的版本。

java –version

接下來下載Hadoop。

開啟Ubuntu Desktop的Firefox,輸入以下網址:

找到頁面的Get started,點選Download。

在下載頁中,找到2.7.0版本的二進位制下載連結。

然後系統會導航到另外一個下載頁面,從眾多地址中選擇一個就可以了。

點選一個連結之後開始下載。

點選Save File之後,下載檔案會預設存放在本地Ubuntu的Home/Wade/Downloads下,請留意Wade是我建立的使用者名稱。

回到控制檯,敲入cd命令,會回到/home/wade目錄。所以直接敲入Downloads就可以進入到下載目錄。

進入到Downloads目錄後,輸入如下指令將hadoop檔案解壓出來。

sudo tar xzf hadoop-2.7.0.tar.gz

然後使用下面的命令將解壓後的目錄移動到/usr/local/hadoop目錄。

sudo mv hadoop-2.7.0 /usr/local/hadoop

接下來給前面建立的hadoop使用者賦予相關的許可權,否則hadoop使用者無法配置這個目錄下面的檔案。

sudo chown -R hadoop:hadoop /usr/local/hadoop

接下來配置java home,首先通過如下命令確定java的安裝位置。

update-alternatives - -config java

其中/usr/lib/jvm/java-7-openjdk-amd64是我們需要的部分。

接下來把這個配置到bashrc中,輸入如下命令。

sudo gedit ~/.bashrc

系統會開啟Gedit,然後把如下內容附加到檔案的末尾。bashrc配置檔案很重要,如果有差錯會導致系統很大的問題。如果你的版本和前面的操作跟我的都一樣的話,那麼下面的配置內容是不需要更改的。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

配置之後的檔案。點選Save後關閉。

接下來通過如下命令使配置生效。

source ~/.bashrc

再輸入如下命令,配置hadoop的環境檔案。

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到export JAVA段,配置成如下內容。

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

配置後的檔案如下圖。

接下來通過如下命令讓配置生效。

source /usr/local/hadoop/etc/hadoop/hadoop-env.sh

至此hadoop的配置工作完成。

接下來測試一下hadoop的環境,我們將執行一個hadoop自帶的程式WordCount。

這個應用我們統計一下在hadoop目錄下README.txt檔案各個英文單詞出現的次數。

首先使用以下命令定位到hadoop目錄。

cd /usr/local/Hadoop

在這個目錄下建立一個input資料夾。

sudo mkdir input

然後將README.txt資料夾複製到input資料夾下。

sudo cp README.txt input

然後執行如下命令開始統計。

sudo bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.0-sources.jar org.apache.hadoop.examples.WordCount input output

看到如下輸出說明執行成功了。

輸入如下命令檢視統計結果。(cat命令是顯示文字內容的命令,如果編輯檔案的話在ubuntu desktop下可以用gedit,server下可以用vim)

cat output/*

至此hadoop單擊模式搭建完畢。

參考部落格:

注:其中第一個地址的內容有些細節在我這裡無法走通,所以我這裡根據其要表達的意思做了相關的修正。

相關推薦

Hadoop單機模式安裝-(3)安裝配置Hadoop

網路上關於如何單機模式安裝Hadoop的文章很多,按照其步驟走下來多數都失敗,按照其操作彎路走過了不少但終究還是把問題都解決了,所以順便自己詳細記錄下完整的安裝過程。 此篇主要介紹在Ubuntu安裝完畢後,如何進行Hadoop的安裝和配置。 我所記錄的筆記適合沒有Linux基礎的朋友跟我一起操作,同時歡迎

HadoopHadoop單機偽分散式的安裝配置

因為lz的linux系統已經安裝好了很多開發環境,可能下面的步驟有遺漏。之前是在docker中配置的hadoop單機偽分散式[ ],並且在docker只有root使用者,所有沒有許可權問題存在。這裡直接在linux下配置,主要是為了能用netbeans ide除錯had

安裝hadoop配置hadoop,啟動namenode設置免密登錄的詳細解析!

啟動namenode和hadoop的配置首先安裝hadoop要安裝好java的開發環境,配置好jdk其實創建一個hadoop的用戶cd到這個用戶的目錄下創建一個apps的目錄。以後所有的東西都解壓進入apps解壓後的目錄中的文件如下這裏lib是本地的庫!bin是自己的操作命令,sbin是啟動命令!etc是配置

Hadoop單機模式配置官方案例

Hadoop單機模式 1.環境準備 0.安裝jdk(自行安裝) 1.配置hadoop環境變數 下載hadoop的Linux的安裝包,並解壓 複製hadoop的解壓後的路徑

Hadoop單機模式安裝-(1)安裝設定虛擬環境

網路上關於如何單機模式安裝Hadoop的文章很多,按照其步驟走下來多數都失敗,按照其操作彎路走過了不少但終究還是把問題都解決了,所以順便自己詳細記錄下完整的安裝過程。 此篇主要介紹如何在Windows環境下設定虛擬機器環境以及一些準備工作,熟悉WMware的朋友可以略過。 我所記錄的筆記適合沒有Linux

Hadoop單機模式安裝-(2)安裝Ubuntu虛擬機器

網路上關於如何單機模式安裝Hadoop的文章很多,按照其步驟走下來多數都失敗,按照其操作彎路走過了不少但終究還是把問題都解決了,所以順便自己詳細記錄下完整的安裝過程。 此篇主要介紹在虛擬機器設定完畢後,如何進行Ubuntu的安裝。 我所記錄的筆記適合沒有Linux基礎的朋友跟我一起操作,同時歡迎高手參觀指

Hadoop本地模式、偽分散式全分散式叢集安裝與部署

<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/

Jenkins的安裝、啟動配置

mage 安裝 ont test testsuite 保留 sts war包 根目錄 一、Jenkins的安裝 1.前提條件:已經成功安裝了JDK,因為jenkins是一款基於Java的持續集成工具。 2.準備工具:下載一個jenkins的war包。 3.啟動方法:如把je

Linux安裝jdk1.8配置環境變量

配置 linux安裝 cookie 內容 rac 紅色 如果 mkdir linu    每次感覺配這個都很簡單,但每次都要查一下,畢竟配錯一點 後面都比較麻煩,記錄一下,方便以後查看。    linux 下安裝jdk和windows下的安裝是一樣的,之前在windows安

轉載 CentOS 7安裝GNOME桌面 配置 VNC 服務器

-- idt 安裝 sytem cal rhel -i load mon CentOS 7安裝GNOME桌面 和 配置 VNC 服務器這是一個關於怎樣在你的 CentOS 7 上安裝GNOME桌面 和 配置 VNC 服務器的教程。當然這個教程也適合 RHEL 7 安裝GNO

Hadoop單機式偽分散式安裝詳解

Ubuntu、centos7、6叢集搭建:https://blog.csdn.net/qq_40938267/article/details/83476896 遇到的問題以及解決方法: 1.在./bin/hdfs namenode –format時 載入不出class  檢視配置的

樹莓派 安裝MySQL資料庫 配置

                             樹莓派 安裝MySQL資料庫 和配置   前言:我們僅僅是在樹莓派3上搭建

charles安裝、破解配置

每次更換系統或者換電腦安裝charles都要經歷一番磨難,下載安裝包,百度破解工具,百度配置方法。每次想想都頭大,所以準備寫篇方案記錄一下整個過程,方便以後每次配置。 下載安裝包,並安裝 破解 最近發現一個線上破解工具,挺好用的:線上破解,根據網上提示,生成破

hadoop單機模式的構建、配置與執行測試步驟(ubuntu14.04)

PS:全程以root的角色進行配置安裝 本篇文章的前期準備工作可以看我之前的部落格連結: 參照上面兩篇文章,設定好機器環境和準備好檔案包,這篇文章是以下載好相應的jdk、hadoop檔案的

Ubuntu下面安裝ssh服務配置

 Ubuntu 下安裝 OpenSSH Server 是無比輕鬆的一件事情,需要的命令只有一條:   sudo apt-get install openssh-server (檢視返回的結果,如果沒有出錯,則用putty、SecureCRT、SSH Secure Shell Client等SSH 客戶端軟

Hama單機模式下的安裝

作者:王連平 Hama是Apache公司對Google公司的Pregel模型的開源實現,實際上則是對經典的BSP模型的實現。Hama將BSP模型同Hadoop的HDFS結合,並且很好的使用了zookeeper來做分散式工作。它目前有三種執行引擎,即Hadoop的Map

RobotFramework(RF)+Appium完全安裝環境搭建配置的解決方案

【本部落格原創,都是經過博主本人全程操作安裝過的,踩過的坑都記錄在本文,有興趣的讀者跟著做一遍~~~】一、搭建環境流程1.先安裝python2.7環境(python-2.7.14.amd64.msi),(1)再安裝第三方庫:wxPython(32位的電腦就安裝win32,64

spark學習1——配置hadoop 單機模式並執行WordCount例項(ubuntu14.04 & hadoop 2.6.0)

1. 安裝SSH  hadoop是採用SSH進行通訊的 ,此時要設定密碼為空,即不需要密碼登陸,免去每次登陸時都要輸入密碼,當叢集較大時該步驟顯得尤為重要。     $ sudo apt-get install ssh 安裝完成後啟動服務:     $ /etc/init.

debian安裝 JDK+Tomcat配置ssl443埠

       公司要我在伺服器上安裝 JDK+Tomcat和配置ssl443埠,伺服器是debian4 64位。本人菜雞,經過不少努力才完成配置,在期間也學到了很多東西,所以在這裡總結一下,希望能幫助到跟我一樣水平的朋友。 一、   安裝jdk8 主要是解

Hadoop】Hadoop2.7.3安裝Hive 2.1.0

第一步: 下載最新的hive,直接去apache 裡面找hive2.1.0下載就行。 第二步,解壓到伺服器 tar zxvf apache-hive-2.0.0-bin.tar.gz mv apache-hive-2.0.0-bin /hom