2. 程式人生 > >hadoop學習筆記（2）偽分佈模式配置

hadoop學習筆記（2）偽分佈模式配置

阿新 • • 發佈：2019-02-09

前面介紹了linux下hadoop的安裝和簡單配置，主要是獨立模式的配置，所謂獨立模式是指不需要執行任何守護程序（daemon），所有程式都再單個JVM上執行，由於在獨立模式下測試和除錯MapReduce程式較為方便，因此該模式適合用在開發階段。

這裡主要記錄了本人配置hadoop偽分佈模式的過程。所謂偽分佈模式是在單機上模擬Hadoop分散式，單機上的分散式並不是真正的分散式，而是使用java程序模擬分散式執行中的各類節點，包括：NameNode, DataNode, SecondaryNameNode, JobTracker, TaskTracker。其中，前三個概念是從分散式儲存的角度來說的：叢集節點由一個NameNode和若干個DataNode組成，另有一個SecondaryNameNode作為NameNode的備份；後兩個概念是從分散式應用的角度來說的：叢集中的節點由一個JobTracker和若干個TaskTracker組成，JobTracker負責任務的排程，TaskTracker負責並行任務執行。TaskTracker必須執行在DataNode上，這樣便於資料的本地化計算，而JobTracker和NameNode則無需執行在同一臺機器上。Hadoop本身是無法區分偽分佈和分散式的，兩種配置也很相似，唯一不同的是偽分散式是在單機上配置，DataNode和NameNode均是同一臺機器。

java的安裝和Hadoop的安裝在前一節已經記錄過了，這裡略過不談，下面主要記錄偽分佈模式的配置。

1.SSH無密碼驗證配置

在偽分佈模式下執行時必須啟動守護程序，而啟動守護程序的前提是已經成功安裝SSH。NameNode將使用SSH協議啟動DataNode程序，偽分佈模式下DataNode和NameNode均是本身，所以必須配置SSH localhost的無密碼驗證。

首先，確保SSH已經安裝，且伺服器正在執行。我機器上是預設安裝了的，所以這裡不談。

然後，基於空口令建立一個新SSH金鑰，以啟用無密碼登入：

$ ssh-keygen  -t  rsa  -P  ''  -f  ~/.ssh/id_rsa

$ cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys

用以下指令進行測試:

$ ssh  localhost

這裡測試我不知道需不需要重啟機器再測試，網上的資料沒說要重啟，但我是重啟了機器才能夠通過ssh無密碼登入的。

2.修改Hadoop配置檔案

Hadoop的各個元件均可利用XML檔案進行配置。core-site.xml檔案用於配置Common元件的屬性，hdfs-site.xml檔案用於配置HDFS屬性，mapred-site.xml檔案則用於配置MapReduce屬性。這些配置檔案都在conf子目錄下。

（1）
在hadoop-env.sh中配置Java環境

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0

（2）配置core-site.xml, hdfs-site.xml及mapred-site.xml

core-site.xml:

  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <!-- Put site-specific property overrides in this file. -->
  4. <configuration>
  5.     <property>
  6.         <name>fs.default.name</name>
  7.         <value>hdfs://localhost:9000</value>
  8.         <description>HDFS的URI，檔案系統://namenode標識:埠號</description>
  9.     </property>
  10.     <property>
  11.         <name>hadoop.tmp.dir</name>
  12.         <value>/root/hadoop/hadoop-0.20.2/hadooptmp</value>
  13.         <description>namenode上本地的hadoop臨時資料夾</description>
  14.     </property>
  15. </configuration>

hdfs-site.xml:

  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
  3. <!-- Put site-specific property overrides in this file. -->
  4. <configuration>
  5.     <property>
  6.         

    相關推薦

    hadoop學習筆記（2）偽分佈模式配置

    前面介紹了linux下hadoop的安裝和簡單配置，主要是獨立模式的配置，所謂獨立模式是指不需要執行任何守護程序（daemon），所有程式都再單個JVM上執行，由於在獨立模式下測試和除錯MapReduce程式較為方便，因此該模式適合用在開發階段。 這裡主要記錄了本人配置hadoop偽分佈模式的過程。所謂

    Hadoop學習筆記（3）－搭建Hadoop偽分散式

    0.前言 1.配置core-site.xml檔案 配置hadoop目錄下的etc/Hadoop/core-site.xml檔案。 新增如下內容： 官網上只配置了fs.defaultFS引數，這個引數是配置hdfs的url地址。配置好後就可

    YARN（Hadoop）學習筆記（2）

      一、關於DistributedShell      DistributedShell是一個可以分散式執行shell命令的應用程式，可以並行執行使用者提供的shell指令碼和shell命令。  

    Ceph學習筆記（2）- CRUSH資料分佈演算法

    ## 前言： ​ 分散式儲存系統需要讓資料均勻的分佈在叢集中的物理裝置上，同時在新裝置加入，舊裝置退出之後讓資料重新達到平衡狀態尤為重要。新裝置加入後，資料要從不同的老裝置中遷移過來。老裝置退出後，資料遷移分攤到其他裝置。將檔案、塊裝置等資料分片，經過雜湊，然後寫入不同的裝置，從而儘可能提高I/O併發與聚合

    學習筆記（2）---Matlab 圖像處理相關函數命令大全

    緩沖 操作 .... 命令 tor ace trac cati msh Matlab 圖像處理相關函數命令大全 一、通用函數： colorbar 顯示彩色條 語法：colorbar \ colorbar(‘vert‘) \ colorbar(‘horiz‘) \ co

    5.27：cocos2d-x初探學習筆記（2）--重要概念及Test樣例結構(轉)

    這樣的 發生 菜單 add css 基礎 dsm 人的 添加 1.幾個重要概念 在cocos2d引擎中，有幾個概念，各自是導演。場景，布景和人物角色。 導演（CCDirector）：在cocos2d-x引擎中，導演類是遊戲的組織者和領導者。導演制定規則讓遊戲內的場

    WPF學習筆記（2）——動畫效果按鈕變長

    anim aud tor col log 筆記 wpf style 分享 說明（2017-6-12 11:26:48）： 1. 視頻教程裏是把一個按鈕點擊一下，慢慢變長： 註意幾個方面： （1）RoutedEvent="Button.Click"，這裏面要用Button，是

    bootstrap 學習筆記（2）---- 排版

    -i 排列 分段函數 class 總結 capital src 設置 per 安裝和柵格系統學完，這篇寫的是排版手冊中排版的目錄如下圖 《標題，頁面主題，內聯文本元素，對齊，改變大小寫，縮略語，地址，引用，列表》手冊中介紹那麽多，其實並不是所有的都要去看看。很多都是沒有必

    jQuery源碼學習筆記（2）

    dom src asc turn rdo dom節點 defer ++ des 我們會認識到jQuery中一個叫做domManip的函數，這個函數的作用主要是處理DOM相關的操作，讓傳入的參數更加“幹凈”。 為什麽需要用這個domManip函數呢？ 我們知道節點操作瀏覽

    後盾網-CI框架實例教程-馬振宇 - 學習筆記（2）

    welcom index 如何 ech lin bsp 後臺模板 back href 第三節視頻： 　　1、配置自動加載輔助函數URL： 　　　　在application/config/autoload.php中設置： 　　　　　　$autoload[‘helper‘] =

    linux學習筆記（2）

    linux配置IP進入操作系統界面後，輸入root用戶密碼。<[email protected] ~># root為用戶localhost為主機名（可修改）root用戶後跟的是# 其他用戶為$===============================================

    Halcon學習筆記（2） VS2010 + Halcon12 C#鏈接相機

    operator debug ets generic code locate != 目錄 empty 1.打開Halcon, 使用圖像采集助手獲取相機實時圖像： 　　 　　1.1 獲取實時圖像： 　　　　　　 　　1.2 插入采集實時圖像的Halcon代碼，並導出： 　　　

    Byte of Python學習筆記（2）——回文練習

    span forbidden you 一點 學習筆記 成員 reverse 大小寫 lis 　　Byte of Python 第111頁有關回文的作業練習，原題為：要想檢查文本是否屬於回文需要忽略其中的標點、空格與大小寫。例如，“Rise to vote, sir.”是一段

    （來換項目系列）Spring學習筆記（2）

    servlet span on() 購物車 集成 因此 proxy center str 3.1.1 配置profile bean 使用@profile 註解 例如 @Configuration @Profile("dev") public class xxxConfig{

    Linux第一周學習筆記（2）

    內核 images 百度 互聯網公司 pac 特性 傳播 選擇 ffffff Linux第一周學習筆記（2）1.3認識Linux（1）.什麽是LinuxLinux是一個操作系統，比如說微軟的winodws、蘋果電腦的masOS、早於Linux發行的unix；我們平時使用的P

    ryu學習筆記（2） 之 ryu-manager運行報錯

    .com 其他 nbsp -i OS in use 分配 art -s http://blog.csdn.net/haimianxiaojie/article/details/48769653 ryu在使用的時候最常出現的報錯是：address already in

    shell學習筆記（2）

    shell 基礎 雜記一、標準輸入命令read與實踐 1、read基礎用法 [root@master4 day3]# read -p "Pls input tow num:" a1 a2 Pls input tow num:1 2 2、小腳本示例 [root@master4 day3]# vim read.s

    Python第一周 學習筆記（2）

    學習筆記習題解析 0.打印10以內偶數：位運算 for i in range(10): if not i & 0x01: print(i) 1.給定一個不超過5位的正整數，判斷其有幾位（使用input函數） 方法一：正常邏輯處理 a = int(input("Please e

    Python第三周 學習筆記（2）

    學習筆記選擇排序： 時間復雜度O(n**2) 沒有辦法知道當前輪是否已經達到排序要求，但是可以知道極值是否在目標索引位置上 遍歷次數1,...,n-1之和n(n-1)/2 對比冒泡法：減少了交換次數，提高了效率，性能略好 方法三、四實際上降低的是平均時間復雜度 方法一： nums = [1, 2, 6,

    hadoop學習筆記（一）

    存儲 實時 管理層 核心 架構圖 數據服務 pre oop nod 一、hadoop的概念 二、hadoop的發展歷史 三、hadoop1.x的生態系統 HBase：實時分布式數據庫 　　相當於關系型數據庫，數據放在文件中，文件就放在HDFS中。因此HBase是