1. 程式人生 > >大資料實戰下筆記——Hadoop NameNode HA的原理

大資料實戰下筆記——Hadoop NameNode HA的原理

  • NameNode高可用整體(HA)框架
  • NameNode的主備切換
  • NameNode的共享儲存

一.NameNode高可用整體框架

元件:

兩個NameNode,一個在Active上,一個在Standby上。Active為Hadoop提供服務。兩臺NameNode互備,處於Active狀態的NameNode是主,處於standby狀態的NameNode是備,只有主NameNode才能提供對外讀寫服務。

兩個zookeeperFailoverController(ZKFC)是主備切換控制器,作為獨立的程序執行,對Name Node的主備切換進行總體控制,能夠及時檢測Name Node的健康狀況,在主Name Node發生故障時,可以藉助zookeeper叢集實現自動的主備選舉和切換,也支援不依賴zookeeper叢集的手動主備選舉和切換。

一個zookeeper叢集,為主備切換控制器提供自動主備選舉和切換支援

一個共享儲存系統,是實現NameNode高可用性的關鍵,把元資料的資訊儲存在共享儲存系統中。共享儲存系統儲存了NameNode執行過程中所產生的HDFS的元資料,主、備NameNode通過共享儲存實現元資料的同步,在進行主備切換時,新的主NameNode確定元資料完全同步之後才會繼續對外提供服務。

多個DataNode,除了共享系統共享HDFS的元資料資訊之外,主、備NameNode還需要共享HDFS的資料塊和DataNode之間的對映關係,DataNode會同時向主、備NameNode上報資料塊的位置資訊。

二.NameNode的主備切換


NameNode的主備切換流程圖

三 .NameNode的共享儲存


共享叢集框架圖

四.Hadoop 2.0 HA高可用叢集配置

待續......

相關推薦

資料實戰筆記——Hadoop NameNode HA原理

NameNode高可用整體(HA)框架NameNode的主備切換NameNode的共享儲存 一.NameNode高可用整體框架 元件: 兩個NameNode,一個在Active上,一個在St

資料技術學習筆記Hadoop框架基礎5-Hadoop高階特性HA及二次排序思想

一、回顧     -》shuffle流程         -》input:讀取mapreduce輸入的          &nbs

hadoop 資料實戰(2)mongodb安裝

mongodb-win32-x86_64-2008plus-ssl-4.0.3.zip 1、下載地址: https://www.mongodb.com/download-center 2、配置 1.建立路徑,C:\mongodb 2.在C:\mongodb下減壓下載的zip檔案,然後在C

資料入門學習筆記(貳)- 初識Hadoop

文章目錄 Hadoop概述 Hadoop能做什麼 Hadoop核心元件 分散式檔案系統HDFS 分散式檔案系統HDDS 資源排程系統YARN 分散式計算框架MapReduce Had

學習筆記:從0開始學習資料-4.Eclipse配置hadoop開發環境

Eclipse配置hadoop開發環境 1. 下載   hadoop-eclipse-plugin-2.6.0.jar https://github.com/winghc/hadoop2x-eclipse-plugin/tree/v2.6.0 2. 複

資料技術學習筆記Hadoop框架基礎1-Hadoop介紹及偽分散式部署

一、學習建議     -》學習思想         -》設計思想:分散式             -》資料採集

資料技術學習筆記Hadoop框架基礎2-MapReduce程式設計及執行流程

一、回顧     -》hadoop的功能?         -》海量資料儲存和海量計算問題         -》分散式檔案儲存框架hdfs和

資料技術學習筆記Hadoop框架基礎3-網站日誌分析及MapReduce過程詳解

一、回顧     -》Hadoop啟動方式         -》單個程序             sbin/h

資料技術學習筆記Hadoop框架基礎4-MapReduceshuffer過程詳解及zookeeper框架學習

一、MapReduce Shuffle     -》MapReduce執行五個階段         input           

實戰資料(讀書筆記

與線下實體經營輕易對接 1、將電子券傳送到手機上,使用者可以直接拿著手機去消費 2、利用手機上的位置定位功能,公司推出“簽到”服務,可以直接把手機使用者帶到企業活動地點 精準的位置服務 1、移動終端可以隨時隨地為消費者收集、分析資料,讓消費者與身邊的人更好地互

資料實戰)_MapReduce實戰

大綱 演示例項講解 演示編寫MapReduce例項 MapReduce程式碼 建立 linecount Java 專案 程式碼如下: package com.trendwise.java; import java.io.IOExceptio

資料開發利器:Hadoop(11) Hadoop2 HA(High Availability)

本節主要介紹了HDFS HA(High Availability)的原理、主備切換過程以及基於JournalNode的共享儲存系統。 1. 前言 在當初介紹Hadoop2.0時,我們簡單提到了Hadoop框架中MapReduce的不足與改進。(即

Hadoop NameNode HA模式的搭建以及原理

信息 htm 功能 主從 改變 www 接收 通信 lov 搭建HA(高可用)模式的集群參見(http://blog.cheyo.net/92.html) 轉自:http://www.it165.net/admin/html/201407/3465.html 社區hadoo

elasticsearch 資料場景使用scroll實現分頁查詢

es查詢大批量資料的”可能方案” 當使用es來請求大批量資料時,通常有三種辦法,其一:直接查詢獲取全量資料;其二:使用setFrom以及setSize解決;其三:使用es自帶的scroll分頁支援 方案評估 對於上述方案的評估,此處建議大家可以先看看這篇文章

資料學習記錄(hadoop hive flume azkaban sqoop)

大資料學習記錄(hadoop hive flume azkaban sqoop) 1. hadoop對海量資料進行分散式處理 2. 核心元件:HDFS(分散式檔案系統)、YARN(運算資源排程系統)、MAPREDUCE(分散式運算程式設計框架) 3. HIVE:基於大資料技術(檔案系統+運算框架

資料入門學習筆記(叄)- 布式檔案系統HDFS

文章目錄 HDFS概述及設計目標 什麼是HDFS HDFS的設計目標 HDFS架構 HDFS副本機制 副本存放策略![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20181

資料分析學習筆記(Z檢驗,分類器以及Association Rule)

大資料分析學習筆記(Z檢驗,分類器以及Association Rule) Task 1 – Hypothesis Testing To improve student learning performance, a teacher developed two new learning app

資料入門學習筆記(壹) - 資料概述

文章目錄 大資料故事 大資料背景 大資料基本概念 大資料定義 大資料4V特徵 大資料要解決的問題 大資料涉及到的技術 大資料帶來的技術挑戰 在技術架構上的挑戰 其他挑戰

資料】什麼是hadoop

一、hadoop簡介 Hadoop是使用Java編寫,允許分佈在叢集,使用簡單的程式設計模型的計算機大型資料集處理的Apache的開源框架。 二、hadoop架構設計 ⑴hadoopcommon hadoop基礎設施模組 ⑵hdfs 分散式檔案系統 ⑶mapreduc

資料實戰(上)——環境搭建

設定 hostname 為hadoop: $hostname hadoop 設定ip地址與hostname關聯:$vim /etc/hosts     新增  IP地址 hadoop  關閉 iptables: $service iptabl