Hadoop系列004-Hadoop執行模式（上）

阿新 • • 發佈：2018-12-01

title: Hadoop系列004-Hadoop執行模式（上）
date: 2018-11-20 14:27:00
updated: 2018-11-20 14:27:00
categories: Hadoop
tags: [Hadoop,框架,執行模式]

本人微信公眾號，歡迎掃碼關注！

Hadoop執行模式

1、概述

1）官方網址

官方網站：http://hadoop.apache.org/
各個版本歸檔庫地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
hadoop2.7.2版本詳情介紹：http://hadoop.apache.org/docs/r2.7.2/

2）Hadoop執行模式

本地模式（預設模式）：不需要啟用單獨程序，直接可以執行，測試和開發時使用。
偽分散式模式：等同於完全分散式，只有一個節點。
完全分散式模式：多個節點一起執行。

2、案例

2.1、本地檔案執行Hadoop 案例

官方grep案例

1）建立在hadoop-2.7.2檔案下面建立一個input資料夾
```
[[email protected] hadoop-2.7.2]$mkdir input
```

2）將hadoop的xml配置檔案複製到input

[[email protected] hadoop-2.7.2]$cp etc/hadoop/*.xml input

3）執行share目錄下的mapreduce程式

[[email protected] hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

4）檢視輸出結果

[[email protected] hadoop-2.7.2]$ cat output/*

官方wordcount案例

1）建立在hadoop-2.7.2檔案下面建立一個wcinput資料夾
```
[[email protected] 
 hadoop-2.7.2]$mkdir wcinput
```

2）在wcinput檔案下建立一個wc.input檔案

[[email protected] hadoop-2.7.2]$cd wcinput
[[email protected] wcinput]$touch wc.input

3）編輯wc.input檔案

[[email protected] wcinput]$vim wc.input
在檔案中輸入如下內容
hadoop yarn
hadoop mapreduce 
intflag
intflag

儲存退出：：wq

4）回到hadoop目錄/opt/module/hadoop-2.7.2

5）執行程式

[[email protected] hadoop-2.7.2]$hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

6）檢視結果

[[email protected] hadoop-2.7.2]$cat wcoutput/part-r-00000
intflag 2
hadoop  2
mapreduce       1
yarn    1

2.2、偽分散式執行Hadoop 案例

HDFS上執行MapReduce 程式

1）分析：
- （1）準備1臺客戶機
- （2）安裝jdk
- （3）配置環境變數
- （4）安裝hadoop
- （5）配置環境變數
- （6）配置叢集
- （7）啟動、測試叢集增、刪、查
- （8）在HDFS上執行wordcount案例

2）執行步驟

（1）配置叢集

（a）配置：hadoop-env.sh

Linux系統中獲取jdk的安裝路徑

[[email protected] hadoop101 ~]# echo $JAVA_HOME
/opt/module/jdk1.7.0_79

修改JAVA_HOME 路徑

export JAVA_HOME=/opt/module/jdk1.7.0_79

（b）配置：/etc/hadoop/下的core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop101:8020</value>
</property>

<!-- 指定hadoop執行時產生檔案的儲存目錄 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（c）配置：hdfs-site.xml

<!-- 指定HDFS副本的數量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

（2）啟動叢集
- （a）格式化namenode（第一次啟動時格式化，以後就不要總格式化）
```
bin/hdfs namenode -format
```
- （b）啟動namenode
```
sbin/hadoop-daemon.sh start namenode
```
- （c）啟動datanode
```
sbin/hadoop-daemon.sh start datanode
```

（3）檢視叢集

（a）檢視是否啟動成功

[[email protected] ~]# jps
13586 NameNode
13668 DataNode
13786 Jps

（b）檢視產生的log日誌

當前目錄：/opt/module/hadoop-2.7.2/logs

[[email protected] logs]# ls

hadoop-root-datanode-hadoop.intflag.com.log
hadoop-root-datanode-hadoop.intflag.com.out
hadoop-root-namenode-hadoop.intflag.com.log
hadoop-root-namenode-hadoop.intflag.com.out
SecurityAuth-intflag.audit

[[email protected] logs]# cat hadoop-root-datanode-hadoop.intflag.com.log

（c）web端檢視HDFS檔案系統

http://192.168.25.101:50070/dfshealth.html#tab-overview

注意：如果不能檢視，看如下帖子處理
http://www.cnblogs.com/zlslch/p/6604189.html

（4）操作叢集

（a）在hdfs檔案系統上建立一個input資料夾

[[email protected] hadoop-2.7.2]$ hadoop fs -mkdir -p /user/intflag/input

或

[[email protected] hadoop-2.7.2]$ hdfs dfs -mkdir -p /user/intflag/input

（b）將測試檔案內容上傳到檔案系統上

[[email protected] hadoop-2.7.2]$ hadoop fs -put wcinput/wc.input /user/intflag/input

或

[[email protected] hadoop-2.7.2]$ hdfs dfs -put wcinput/wc.input  /user/intflag/input

（c）檢視上傳的檔案是否正確

[[email protected] hadoop-2.7.2]$ hadoop fs -ls -R /

（d）在Hdfs上執行mapreduce程式

[[email protected] hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/intflag/input/wc.input /user/intflag/output

（e）檢視輸出結果

[[email protected] hadoop-2.7.2]$ hadoop fs -cat /user/intflag/output/part-r-00000
intflag 2
doop    1
hadoop  1
mapreduce       1
yarn    1

（f）將測試檔案內容下載到本地

[[email protected] hadoop-2.7.2]$ hadoop fs -get /user/intflag/output/part-r-00000 ./wcoutput/

（g）刪除輸出結果

[[email protected] hadoop-2.7.2]$ hadoop fs -rm -r /user/intflag/output
18/11/21 10:17:43 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /user/intflag/output

（H）hadoop fs、hadoop dfs與hdfs dfs命令的區別
- hadoop fs：使用面最廣，可以操作任何檔案系統。
- hadoop dfs與hdfs dfs：只能操作HDFS檔案系統相關（包括與Local FS間的操作），前者已經Deprecated，一般使用後者。

YARN上執行MapReduce 程式

1）分析：
- （1）準備1臺客戶機
- （2）安裝jdk
- （3）配置環境變數
- （4）安裝hadoop
- （5）配置環境變數
- （6）配置叢集yarn上執行
- （7）啟動、測試叢集增、刪、查
- （8）在yarn上執行wordcount案例

2）執行步驟

（1）配置叢集

（a）配置yarn-env.sh

配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_79

（b）配置：mapred-env.sh

配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.7.0_79

（c）配置yarn-site.xml

<!-- reducer獲取資料的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop101</value>
</property>

（d）配置： (對mapred-site.xml.template重新命名為) mapred-site.xml

<!-- 指定mr執行在yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

（2）啟動叢集

（a）啟動namenode和datanode（先用jps檢視，若已啟動則不需要再啟）
```
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
```

（b）啟動resourcemanager

sbin/yarn-daemon.sh start resourcemanager

（c）啟動nodemanager
```
sbin/yarn-daemon.sh start nodemanager
```

（3）叢集操作

（a）yarn的瀏覽器頁面檢視：http://hadoop101:8088/cluster
（b）刪除檔案系統上的output檔案（若無則不用刪除）
```
bin/hdfs dfs -rm -R /user/mapreduce/wordcount/output
```

（c）執行mapreduce程式

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/intflag/input /user/intflag/output

（d）檢視執行結果

[[email protected] hadoop-2.7.2]$ hadoop fs -cat /user/intflag/output/part-r-00000
intflag 2
doop    1
hadoop  1
mapreduce       1
yarn    1

修改本地臨時檔案儲存目錄

1）停止程序

[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager
[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
stopping resourcemanager
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode
stopping namenode
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[[email protected] hadoop-2.7.2]$

2）修改hadoop.tmp.dir

<!-- 指定hadoop執行時產生檔案的儲存目錄 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

3）刪除舊的臨時檔案

[[email protected] tmp]$ rm -rf hadoop-intflag
[[email protected] tmp]$ rm -rf hadoop-intflag-namenode.pid 
[[email protected] hadoop-2.7.2]$ rm -rf logs/

4）格式化NameNode

[[email protected] hadoop-2.7.2]$ hadoop namenode -format

5）啟動所有程序

[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

6）檢視/opt/module/hadoop-2.7.2/data/tmp這個目錄下的內容。

Hadoop配置檔案說明

Hadoop配置檔案分兩類：預設配置檔案和自定義配置檔案，只有使用者想修改某一預設配置值時，才需要修改自定義配置檔案，更改相應屬性值。

（1）預設配置檔案：存放在hadoop相應的jar包中

[core-default.xml]
        hadoop-common-2.7.2.jar/ core-default.xml

[hdfs-default.xml]
        hadoop-hdfs-2.7.2.jar/ hdfs-default.xml

[yarn-default.xml]
        hadoop-yarn-common-2.7.2.jar/ yarn-default.xml

[core-default.xml]
        hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml

（2）自定義配置檔案：存放在$HADOOP_HOME/etc/hadoop
```
core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml
```

2.3、完全分散式部署Hadoop

見Hadoop系列005-Hadoop執行模式（下）

Hadoop系列004-Hadoop執行模式（上）

title: Hadoop系列004-Hadoop執行模式（上） date: 2018-11-20 14:27:00 updated: 2018-11-20 14:27:00 categories: Hadoop tags: [Hadoop,框架,執行模式] 本人微信公眾號，歡迎掃碼關注！

Hadoop系列005-Hadoop執行模式（下）

本人微信公眾號，歡迎掃碼關注！ Hadoop執行模式（下） 2.3、完全分散式部署Hadoop 1）分析： 1）準備3臺客戶機（關閉防火牆、靜態ip、主機名稱） 2）安裝jdk 3）配置環境變數 4）安裝hadoop 5）配置環境變數

跟我學設計模式視頻教程——管擦者模式（下），責任鏈模式（上）

tar eight color font content 設計模式 name -m ack 課程視頻觀察者模式（下）責任鏈模式（上）課程筆記課程筆記課程代碼課程代碼新課程火熱報名中課程介紹

戲（細）說Executor框架線程池任務執行全過程（上）

文章空間重點 urn 枯燥 ash 成功創建使用原文鏈接：http://ifeve.com/executor-framework-thread-pool-task-execution-part-01/ 內容綜述基於Executor接口中將任務提交和任務執行解耦的

java之Spring（AOP）前奏-動態代理設計模式（上）

對象 .cn 分享圖片賦值 alt his 編程習慣輸出 style 我們常常會遇到這樣的事，項目經理讓你為一個功能類再加一個功能A，然後你加班為這個類加上了功能A；過了兩天又來了新需求，再在A功能後面加上一個新功能B，你加班寫好了這個功能B，加在了A後面；又過

觀察者模式和發布訂閱模式（上）

nts 針對處理 nds script 分享圖片 .data cto 這樣的觀察者模式定義：觀察者模式(Observer Pattern)：定義對象間的一種一對多依賴關系，使得每當一個對象狀態發生改變時，其相關依賴對象皆得到通知並被自動更新。其中有兩個定義需要明確，

C#設計模式系列：橋接模式（Bridge）

span -i 原來派生引用分享圖片 on() 版本 nta 1.1定義　當一個抽象可能有多個實現時，通常用繼承來進行協調。抽象類定義對該抽象的接口，而具體的子類則用不同的方式加以實現。繼承機制將抽象部分與它的實現部分固定在一起，使得難以對抽象部分和實現部分獨立地進行

C/S模式，發布/訂閱模式和PUSH/PULL模式（上）

沒有入庫即使分時流程 https 分享圖片內容怎麽 CS模式（客戶端/服務器模式）最場景的信息傳遞模式，也稱為Request/Response模式，或者調用模式。http/https協議即此模式。因為最常用所以大家一般都比較熟悉，這裏不重點講了，大家請看圖下圖

Java設計模式簡介（三）：行為型模式（上）

本章講到第三種設計模式——行為型模式，共11種：策略模式、模板方法模式、觀察者模式、迭代子模式、責任鏈模式、命令模式、備忘錄模式、狀態模式、訪問者模式、中介者模式、直譯器模式。先來張圖，看看這11中模式的關係：第一類：通過父類與子類的關係進行實現。第二類：兩個類之間。第三類：類的狀態。第

設計模式總結篇系列：建造者模式（Builder）

關於建造者模式網上有很多文章，也有些不同的理解。在此結合網上其他文章對建造者模式進行總結。總體說來，建造者模式適合於一個具有較多的零件（屬性）的產品（物件）的建立過程。根據產品建立過程中零件的構造是否具有一致的先後順序，可以將其分為如下兩種形式。一、通過Client、Director、Builder和

Java面試系列總結：JavaSE高階（上）

1. 說說你對Java中反射的理解 Java 中的反射首先是能夠獲取到 Java 中要反射類的位元組碼，獲取位元組碼有三種方法，1.Class.forName(className) 2.類名.class 3.this.getClass()。然後將位元組碼中的方法，變數，建構函式等

大資料營銷傳播實戰教學創新的北大模式（上）

一、大資料營銷傳播實戰教學創新的背景對於廣告教育教學而言，課堂與實踐脫節是主要的教學難題。以理論、案例教學為主的課堂模擬與真實的營銷傳播環境之間存在巨大差異，但傳統的廣告投放實際操作成本太高，企業不敢讓學生參與練手。學生們的想法創意難以得到執行，即使學生將創意製作出來，也看不到在真實環境中進行

網路穿透與音視訊技術(1)——NAT的概念及工作模式（上）

（這個專題我們將介紹網路穿透的基本知識，以及建立在此基礎上的實時視訊語音通訊技術。不只是介紹理論知識，還介紹實際案例） 1、概念介紹 1.1、NAT基本概念 NAT英文全稱是“Network Address Translation”，中文意思是“網路

深入理解單例模式（上）

最近在閱讀《》這本書，第3個條款專門提到了單例屬性，並給出了使用單例的最佳實踐建議。讓我對這個單例模式（原本我以為是設計模式中最簡單的一種）有了更深的認識。單例模式單例模式（Singleton Pattern）是 Java 中最簡單的設計模式之一。這種型別的設計模式屬

java day24 多執行緒（上）

24.01_多執行緒(多執行緒的引入)(瞭解) 1.什麼是執行緒執行緒是程式執行的一條路徑, 一個程序中可以包含多條執行緒多執行緒併發執行可以提高程式的效率, 可以同時完成多項工作 2.多執行緒的應用場景紅

資料庫設計（三）—— 使用者許可權設計模式（上）

方法一：從職位（角色）的角度出發，指定職位擁有那些操作許可權。給定使用者一個職位，當用戶登入的時候通過Session儲存該職位所具有的操作許可權。當用戶執行操作時，邏輯層通過遍歷判斷使用者是否具有這個操

linux裡的程序與執行緒（上）

在學習linux的過程中，程序與執行緒可謂一對好兄弟，是必然要掌握的內容。一：何所謂程序何所謂執行緒程序：程序（Process）是計算機中的程式關於某資料集合上的一次執行活動，是系統進行資源分配與排程的基本單位。執行緒：執行緒是作

戲（細）說Executor框架執行緒池任務執行全過程（上）

內容綜述基於Executor介面中將任務提交和任務執行解耦的設計，ExecutorService和其各種功能強大的實現類提供了非常簡便方式來提交任務並獲取任務執行結果，封裝了任務執行的全部過程。本文嘗試通過對j.u.c.下該部分原始碼的解析以ThreadPoolExecutor為例來追蹤任

換種思路去理解設計模式（上）

1 前言　　看過許多關於設計模式的部落格，也讀過關於設計模式的書。幾乎所有的介紹的開頭，直接就引入了“設計模式”或者“某某模式”。設計模式到底是因什麼而來？這是一個很重要的問題。孫悟空從石頭縫裡蹦出來，《西遊記》還介紹了這個石頭的來歷呢。　　要想了解一個東西，至少有“3W”——what、why、how

java執行緒（上）——執行緒狀態及屬性詳解

在作業系統中，我們通過分時的方法在CPU上不斷地切換處理多個程序任務，給人並行處理的感覺，這種方法在作業系統中叫做多工。多工在較低層次上擴展出多執行緒的概念，也就是指一個程式同時執行多個執行緒。這種可以同時執行一個以上的執行緒的程式，我們叫做多執行緒程式。

Hadoop系列004-Hadoop執行模式（上）

Hadoop執行模式

1、概述

2、案例

2.1、本地檔案執行Hadoop 案例

2.2、偽分散式執行Hadoop 案例

2.3、完全分散式部署Hadoop

相關推薦