2. 程式人生 > >hadoop 偽分散式模式學習筆記

hadoop 偽分散式模式學習筆記

阿新 • • 發佈：2018-11-11

前言

Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎。

這是一篇記錄我自己學習的文章，Hadoop的學習方法很多，網上也有很多學習路線圖。

hadoop介紹

Hadoop是一個能夠對海量資料進行分散式處理的系統架構。我採用的是hadoop-2.8.0,它主要包含3大塊：

  • hdfs:分散式儲存系統HDFS(Hadoop Distributed File System)分散式儲存層
  • mapreduce:分散式計算框架MapReduce分散式計算層
  • yarn:資源管理系統YARN(Yet Another Resource Negotiator)叢集資源管理層

Hadoop的核心是：HDFS和MapReduce。

分散式儲存系統HDFS

HDFS（Hadoop Distributed File System，Hadoop 分散式檔案系統）是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS 能提供高吞吐量的資料訪問，適合那些有著超大資料集（largedata set）的應用程式。HDFS負責大資料的儲存，通過將大檔案分塊後進行分散式儲存方式，突破了伺服器硬碟大小的限制，解決了單臺機器無法儲存大檔案的問題，HDFS是個相對獨立的模組，可以為YARN提供服務，也可以為HBase等其他模組提供服務。

核心

  • NameNode
  • DataNode
  • SecondaryNameNode(NameNode的快照)

HDFS是一個主從結構，一個HDFS叢集由一個名位元組點（NameNode）和多個數據節點（DataNode）組成。

HDFS的優點（設計思想）

1.高容錯性 HDFS 認為所有計算機都可能會出問題，為了防止某個主機失效讀取不到該主機的塊檔案，它將同一個檔案塊副本分配到其它某幾個主機上，如果其中一臺主機失效，可以迅速找另一塊副本取檔案。資料自動儲存多個節點；備份丟失後，自動恢復。

2.海量資料的儲存 非常適合上T 級別的大檔案或者一堆大資料檔案的儲存

3.檔案分塊儲存 HDFS 將一個完整的大檔案平均分塊（通常每塊64M）儲存到不同計算機上，這樣讀取檔案可以同時從多個主機取不同區塊的檔案，多主機讀取比單主機讀取效率要高得多得多。

4.移動計算 在資料儲存的地方進行計算，而不是把資料拉取到計算的地方，降低了成本，提高了效能！

5.流式資料訪問 一次寫入，並行讀取。不支援動態改變檔案內容，而是要求讓檔案一次寫入就不做變化，要變化也只能在檔案末新增內容。

6.可構建在廉價的機器上 通過多副本提高可靠性，提供了容錯和恢復機制。HDFS 可以應用在普通PC 機上，這種機制能夠讓一些公司用幾十臺廉價的計算機就可以撐起一個大資料叢集。

NameNode

作用

  • 它是一個管理檔案的名稱空間
  • 協調客戶端對檔案的訪問
  • 記錄每個檔案資料在各個DataNode上的位置和副本資訊

檔案解析

  • version：是一個properties檔案，儲存了HDFS的版本號
  • editlog：任何對檔案系統資料產生的操作，都會被儲存！
  • fsimage /.md5：檔案系統元資料的一個永久性的檢查點，包括資料塊到檔案的對映、檔案的屬性等
  • seen_txid ：非常重要，是存放事務相關資訊的檔案

什麼是FSImage和EditsLog

FsImage和Editlog是HDFS的核心資料結構。這些檔案的損壞會導致整個叢集的失效。因此，名位元組點可以配置成支援多個FsImage和EditLog的副本。任何FsImage和EditLog的更新都會同步到每一份副本中。

SecondaryNameNode

作用

  • Namenode的一個快照，週期性的備份Namenode
  • 記錄Namenode中的metadata及其它資料
  • 可以用來恢復Namenode，並不能替代NameNode！

執行流程

  1. SecondaryNameNode節點會定期和NameNode通訊，請求其停止使用EditLog,暫時將新的寫操作到一個新的檔案edit.new上來，這個操作是瞬間完成的。
  2. SecondaryNameNode 通過HTTP Get方式從NameNode上獲取到FsImage和EditLog檔案並下載到本地目錄
  3. 將下載下來的FsImage 和EditLog載入到記憶體中這個過程就是FsImage和EditLog的合併（checkpoint）
  4. 合併成功之後，會通過post方式將新的FsImage檔案傳送NameNode上。
  5. SecondaryNamenode 會將新接收到的FsImage替換掉舊的，同時將edit.new替換EditLog，這樣EditLog就會變小。

DataNode

作用

  • 真實資料的儲存管理
  • 一次寫入，多次讀取（不修改）
  • 檔案由資料塊組成，Hadoop2.x的塊大小預設是128MB
  • 將資料塊儘量散佈到各個節點

檔案解析

  • blk_<id>：HDFS的資料塊，儲存具體的二進位制資料
  • blk_<id>.meta：資料塊的屬性資訊：版本資訊、型別資訊

可以通過修改hdfs-site.xml的dfs.replication屬性設定產生副本的個數！預設是3！

基本操作

MapReduce

MapReduce分散式處理框架為海量的資料提供了計算。MapReduce是一個計算框架，它給出了一種資料處理的方式，即通過Map階段、Reduce階段來分散式地流式處理資料。它只適用於大資料的離線處理，對實時性要求很高的應用不適用。

簡介

  • MapReduce是一種分散式計算模型，是Google提出的，主要用於搜尋領域，解決海量資料的計算問題。
  • MR有兩個階段組成：Map和Reduce，使用者只需實現map()和reduce()兩個函式，即可實現分散式計算。

MapReduce執行流程

MapReduce原理

MapReduce的執行步驟

  1. 讀取HDFS中的檔案。每一行解析成一個<k,v>。每一個鍵值對呼叫一次map函式。 - <0,hello you> <10,hello me>
  2. 覆蓋map()，接收1產生的<k,v>，進行處理，轉換為新的<k,v>輸出。 - <hello,1> <you,1> <hello,1> <me,1>
  3. 對2輸出的<k,v>進行分割槽。預設分為一個區。
  4. 對不同分割槽中的資料進行排序（按照k）、分組。分組指的是相同key的value放到一個集合中。 - 排序後：<hello,1> <hello,1> <me,1> <you,1> ；分組後：<hello,{1,1}><me,{1}><you,{1}>
  5. （可選）對分組後的資料進行歸約
  6. 多個map任務的輸出，按照不同的分割槽，通過網路copy到不同的reduce節點上。（shuffle）
  7. 對多個map的輸出進行合併、排序。覆蓋reduce函式，接收的是分組後的資料，實現自己的業務邏輯 -  <hello,2> <me,1> <you,1> 處理後，產生新的<k,v>輸出。
  8. 對reduce輸出的<k,v>寫到HDFS中。

MapReduce原理總結

原語通常由若干條指令組成，用來實現某個特定的操作。通過一段不可分割的或不可中斷的程式實現其功能。且常駐記憶體。但是這樣一來，如果原語執行需要的開銷超過了機器能給予的開銷，則該原語在機器上無法執行，通常解決該問題的辦法是增加機器配置，但計算機的配置在上層每提升一點所需要的資金都是翻倍的。因此根據分散式檔案系統的原理,MapReduce誕生了。它將原語分成了兩個步驟即map()和reduce(),同時兩個階段還可以分成多個模組在不同的機器上執行。

開始學習

  1. 上傳hadoop.tar.gz到伺服器並解壓

  1. 配置hadoop環境變數
vi /etc/prifile
複製程式碼

新增配置

export HADOOP_HOME="/opt/modules/hadoop-2.8.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
複製程式碼

執行： 

source /etc/profile
複製程式碼

使得配置生效，並驗證引數

echo ${HADOOP_HOME}
複製程式碼

  1. 配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh檔案的JAVA_HOME引數

修改JAVA_HOME引數為java的安裝路徑

如何檢視java安裝路徑:

4.配置core-site.xml

以下操作都是在hadoop解壓後的目錄中操作

vi etc/hadoop/core-site.xml
複製程式碼

其中:

  • fs.defaultFS - 配置的是hdfs的地址,又為預設檔案系統的名稱。一個URI，其方案和許可權決定了FileSystem的實現。uri的方案確定命名FileSystem實現類的config屬性（fs.SCHEME.impl）。 uri的許可權用於確定檔案系統的主機，埠等。 如果是本地模式，該配置可以如下：
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
複製程式碼

如果是全分佈模式配置，該配置可以如下：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/home/hadoop/tmp</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hduser.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hduser.groups</name>
    <value>*</value>
  </property>
</configuration>
複製程式碼
  • hadoop.tmp.dir - 配置的是Hadoop臨時目錄，比如HDFS的NameNode資料預設都存放這個目錄下，檢視*-default.xml等預設配置檔案，就可以看到很多依賴${hadoop.tmp.dir}的配置。預設的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時有個問題就是NameNode會將HDFS的元資料儲存在這個/tmp目錄下，如果作業系統重啟了，系統會清空/tmp目錄下的東西，導致NameNode元資料丟失，是個非常嚴重的問題，所有我們應該修改這個路徑。

更多配置屬性介紹可以檢視這裡

5.配置hdfs-site.xml

vi etc/hadoop/hdfs-site.xml
複製程式碼

dfs.replication - 配置的是HDFS儲存時的備份數量，因為這裡是偽分散式環境只有一個節點，所以這裡設定為1。

  1. 格式化hdfs
hdfs namenode -format
複製程式碼

格式化是對HDFS這個分散式檔案系統中的DataNode進行分塊，統計所有分塊後的初始元資料的儲存在NameNode中。格式化後，檢視core-site.xml裡hadoop.tmp.dir（本例是/opt/data目錄）指定的目錄下是否有了dfs目錄，如果有，說明格式化成功。

ll /opt/data/tmp
複製程式碼

注意:

  • 格式化時，這裡注意hadoop.tmp.dir目錄的許可權問題，應該hadoop普通使用者有讀寫許可權才行，可以將/opt/data的所有者改為hadoop。
sudo chown -R hadoop:hadoop /opt/data
複製程式碼

檢視NameNode格式化後的目錄

ll /opt/data/tmp/dfs/name/current
複製程式碼

  • fsimage - 是NameNode元資料在記憶體滿了後，持久化儲存到的檔案。
  • fsimage*.md5 - 是校驗檔案，用於校驗fsimage的完整性。
  • seen_txid - 是hadoop的版本
  • VERSSION - 檔案中儲存著namespaceID：NameNode的唯一ID。clusterID:叢集ID，NameNode和DataNode的叢集ID應該一致，表明是一個叢集。

  1. 啟動namenode、datanode、secondarynamenode

並通過jps命令檢視是否啟動

  1. hdfs上測試建立目錄、上傳、下載檔案
  • 建立目錄
hdfs dfs -mkdir /demol
複製程式碼

通過hdfs建立的目錄我們直接用ls是檢視不到的，此時可以使用以下命令檢視

hdfs dfs -ls /
複製程式碼

  • 上傳本地檔案到HDFS上
hdfs dfs -put {本地檔案路徑} /demol
複製程式碼

這裡我遇到了一個問題，上傳的時候提示我datanode沒有啟動，後來我用jps命令查看了發現datanode自動關閉了，這個問題的原因是因為datanode的clusterID 和 namenode的clusterID 不匹配。

解決辦法，檢查hdfs-site.xml和core-site.xml的配置，如果沒有錯誤，則檢視tmp/dfs下的name和data的VERISON中的叢集id是否匹配，如果不匹配則刪除datanode中current下的檔案然後重新啟動；或者直接修改叢集id

  • 下載檔案到本地
hdfs dfs -get {HDFS檔案路徑} 
複製程式碼

  1. 配置mapred-site.xml,yarn-site.xml

預設沒有mapred-site.xml檔案，但是有個mapred-site.xml.template配置模板檔案。複製模板生成mapred-site.xml

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml 
複製程式碼

新增配置如下：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
複製程式碼

指定mapreduce執行在yarn框架上。

配置yarn-site.xml，新增配置如下:

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>0.0.0.0</value>
</property>
複製程式碼
  • yarn.nodemanager.aux-services配置了yarn的預設混洗方式，選擇為mapreduce的預設混洗演算法。
  • yarn.resourcemanager.hostname指定了Resourcemanager執行在哪個節點上。

更多屬性檢視

  1. 啟動resourcemanager、nodemanager
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
複製程式碼

通過jsp檢視是否成功開啟

  1. 執行MapReduce Job

在hadoop的share目錄裡，自帶了一些jar包，裡面帶有一些mapreduce例項的小例子，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar，這裡執行一個經典的單詞統計例項

建立測試用的input檔案

建立輸入目錄並將檔案上傳上去

hdfs dfs -mkdir -p /wordcount/input
hdfs dfs -put /opt/data/wc.input /wordcount/input
複製程式碼

執行wordcount mapreduce job

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /wordcount/input /wordcount/output
複製程式碼

檢視結果目錄

hdfs dfs -ls /wordcount/output
複製程式碼

  • output目錄中有兩個檔案，_SUCCESS檔案是空檔案，有這個檔案說明Job執行成功。

  • part-r-00000檔案是結果檔案，其中-r-說明這個檔案是Reduce階段產生的結果，mapreduce程式執行時，可以沒有reduce階段，但是肯定會有map階段，如果沒有reduce階段這個地方有是-m-。

  • 一個reduce會產生一個part-r-開頭的檔案。

檢視結果檔案

總結

  • hdfs - 負責大資料檔案的儲存，檔案儲存為hadoop二進位制檔案，無法被直接檢視，保證了安全性。其中的目錄相當於虛擬目錄。
  • yarn - 一個任務排程框架，mapreduce在它上面執行。同時它還可以執行storm，spark等
  • mapreduce - 計算框架，給出資料處理方案，然後通過yarn在多臺機器上執行，如果將每臺機器看作一個CPU，那麼該程式編寫過程中要求能支援並行且不會導致資料混亂。

相關推薦

hadoop 偽分散式模式學習筆記

前言 Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎。 這是一篇記錄我自己學習的文章，Hadoop的學習方法很多，網上也有很多學習路線圖。 hadoop介紹 Hadoop是一個能夠對海量資料進行分散式處理的系統架構。我採用的是hadoop-2.8.0,它主要包含3大塊：

搭建Hadoop偽分散式環境（筆記）

軟硬體環境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 關於本教程的說明 雲實驗室雲主機自動使用 root 賬戶登入系統，因此本教程中所有的操作都是以 root 使用者來執行的。若要在自己的雲主機上進行本教程的實驗，為了系統安全，建議

Hadoop偽分散式模式安裝

環境資訊作業系統：Ubuntu 17.04 64bit安裝步驟1. 安裝配置JDK1.1 複製到/opt/bigdata/目錄下，解壓cp ~/Downloads/jdk-8u161-linux-x64.tar.gz /opt/bigdata/ cd /opt/bigdata

Hadoop學習筆記（3）－搭建Hadoop偽分散式

0.前言 1.配置core-site.xml檔案 配置hadoop目錄下的etc/Hadoop/core-site.xml檔案。 新增如下內容： 官網上只配置了fs.defaultFS引數，這個引數是配置hdfs的url地址。配置好後就可

大資料之Hadoop學習（環境配置）——Hadoop偽分散式叢集搭建

title: Hadoop偽分散式叢集搭建 date: 2018-11-14 15:17:20 tags: Hadoop categories: 大資料 點選檢視我的部落格: Josonlee’s Blog 文章目錄 前言準備 偽分

Hadoop-2.9.2單機版安裝（偽分散式模式）

一、環境 硬體：虛擬機器VMware、win7 作業系統：Centos-7 64位 主機名： hadoopServerOne 安裝使用者：root軟體：jdk1.8.0_181、Hadoop-2.9.2 二、安裝jdk 1.建立hadoop目錄，並賦許可權chmod 777 hadoop2.下載jdk-

Hadoop 3.1.1偽分散式模式安裝

Hadoop 3.1.1偽分散式模式安裝 更多資源 github: https://github.com/opensourceteams/hadoop-java-maven-3.1.1 視訊 Hadoop 3.1.1偽分散式模式安裝(bilibili視訊) : htt

Hadoop CDH5 手動安裝偽分散式模式

CDH5已經使用了Hadoop2.2.0 重新弄個虛擬機器重頭裝一下 由於Cloudera強烈建議使用rmp包或者apt-get的方式安裝，一時半刻我都沒有找到手動安裝的說明，在安裝的遇到多個問題，稍作記錄 首先環境要求          JDK1.7_u25+      

hadoop-hive本地和偽分散式模式的安裝

前言：關於虛擬機器安裝hive,hadoop的資料林林總總,對於初學者很難甄別;             如下是按照官方doc,一步步經過實踐的一種方法,思路比我搜到網上的帖子更清晰；            初學，難免有錯誤的地方，敬請指正。 一、虛擬機器hadoop的安

cdh版本的hadoop安裝及配置(偽分散式模式) MapReduce配置 yarn配置

安裝hadoop需要jdk依賴，我這裡是用jdk8jdk版本：jdk1.8.0_151hadoop版本：hadoop-2.5.0-cdh5.3.6hadoop下載地址：連結：https://pan.baidu.com/s/1qZNeVFm 密碼：cilnjdk下載地址：連結：

Hadoop單機偽分散式模式

<property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> <property> <name>

hadoop 學習（二） 啟動hadoop偽叢集模式

一、修改配置檔案 要修改的配置檔案在/opt/module/hadoop-2.7.7/etc/hadoop目錄下 

安裝Hadoop及配置偽分散式模式的Hadoop

一．實驗目的 1. 掌握Linux虛擬機器的安裝方法。 2. 掌握Hadoop的偽分散式安裝方法。 二．實驗內容 （一）Linux基本操作命令 Linux常用基本命令包括： ls,cd,mkdir,rm,man,cat,ssh,yum,vim,vi等。 （二）安裝JDK Hadoop是Java實現的，執行在J

設計模式學習筆記-適配器模式（對象適配器）

ring ons col class pat ima pub 不兼容 public 一、概述 將一個類的接口轉換為客戶希望的另外一個接口。Adapter模式使得原本由於接口不兼容而不能一起工作的那些類可以一起工作； 二、模式中的角色 Target：定

設計模式學習筆記-橋接模式

學習 write images 基礎 abs 分離 對象 bsp uml 一、概述 將抽象部分與它的實現部分分離，使它們都可以獨立地變化。 二、模式中的角色 Abstraction：定義抽象類的接口；維護一個指向Implementor類型對象的指針；

簡單工廠模式 - 學習筆記

我想 ase 幫助 rto .class 分支 value sqlserve catch 工廠模式主要是為創建對象提供過渡接口，以便將創建對象的具體過程屏蔽隔離起來，達到提高靈活性的目的。 工廠模式可以分為三類： 簡單工廠模式（Simple Factory） 工廠方法模

設計模式學習筆記（二） 設計基本原則之【單一職責原則】

code 分享 開發者 實際應用 需要 ret ext file類 tor 單一職責原則（SRP： Single Responsibility Principle） 名詞解釋： 1） 職責：是指類變化的原因。 2） 職責擴散：就是因為某種原因，職責P被分化為粒度更細的職責P

Java 設計模式學習筆記1——策略模式（Duck例子）

利用 實例化 top 而是 實現 學習筆記 left ng- 多個 0、假設現有工程（Duck）中遇到為類添加功能的問題，如何設計類添加新的功能？ 1、利用繼承提供的Duck（鴨子）的行為會導致哪些缺點？ （1）代碼在多個子類中重復 （2）很多男知道所有鴨子的全部行為

設計模式學習筆記

開發 新的 check cal n) prot family 書寫 末尾 一、JS靈活性 1、在團隊開發中，為了減少方法覆蓋或者被覆蓋，我們可以用一個變量來保存這些方法和屬性； 示例： var checkObject = { checkName = function()

C#.Net 設計模式學習筆記之創建型 （一）

應用 種類 單件 src nag abstract 子類 指定 相關 1、抽象工廠（Abstract Factory）模式 常規的對象創建方法： //創建一個Road對象 Road road =new Road(); new 的問題： 實現依賴，不能應對“具