大資料實戰下筆記——Hadoop NameNode HA的原理
- NameNode高可用整體(HA)框架
- NameNode的主備切換
- NameNode的共享儲存
一.NameNode高可用整體框架
元件:
兩個NameNode,一個在Active上,一個在Standby上。Active為Hadoop提供服務。兩臺NameNode互備,處於Active狀態的NameNode是主,處於standby狀態的NameNode是備,只有主NameNode才能提供對外讀寫服務。
兩個zookeeperFailoverController(ZKFC)是主備切換控制器,作為獨立的程序執行,對Name Node的主備切換進行總體控制,能夠及時檢測Name Node的健康狀況,在主Name Node發生故障時,可以藉助zookeeper叢集實現自動的主備選舉和切換,也支援不依賴zookeeper叢集的手動主備選舉和切換。
一個zookeeper叢集,為主備切換控制器提供自動主備選舉和切換支援
一個共享儲存系統,是實現NameNode高可用性的關鍵,把元資料的資訊儲存在共享儲存系統中。共享儲存系統儲存了NameNode執行過程中所產生的HDFS的元資料,主、備NameNode通過共享儲存實現元資料的同步,在進行主備切換時,新的主NameNode確定元資料完全同步之後才會繼續對外提供服務。
多個DataNode,除了共享系統共享HDFS的元資料資訊之外,主、備NameNode還需要共享HDFS的資料塊和DataNode之間的對映關係,DataNode會同時向主、備NameNode上報資料塊的位置資訊。
二.NameNode的主備切換
NameNode的主備切換流程圖
三 .NameNode的共享儲存
共享叢集框架圖
四.Hadoop 2.0 HA高可用叢集配置待續......
相關推薦
大資料實戰下筆記——Hadoop NameNode HA的原理
NameNode高可用整體(HA)框架NameNode的主備切換NameNode的共享儲存 一.NameNode高可用整體框架 元件: 兩個NameNode,一個在Active上,一個在St
大資料技術學習筆記之Hadoop框架基礎5-Hadoop高階特性HA及二次排序思想
一、回顧 -》shuffle流程 -》input:讀取mapreduce輸入的 &nbs
hadoop 大資料實戰(2)mongodb安裝
mongodb-win32-x86_64-2008plus-ssl-4.0.3.zip 1、下載地址: https://www.mongodb.com/download-center 2、配置 1.建立路徑,C:\mongodb 2.在C:\mongodb下減壓下載的zip檔案,然後在C
大資料入門學習筆記(貳)- 初識Hadoop
文章目錄 Hadoop概述 Hadoop能做什麼 Hadoop核心元件 分散式檔案系統HDFS 分散式檔案系統HDDS 資源排程系統YARN 分散式計算框架MapReduce Had
學習筆記:從0開始學習大資料-4.Eclipse配置hadoop開發環境
Eclipse配置hadoop開發環境 1. 下載 hadoop-eclipse-plugin-2.6.0.jar https://github.com/winghc/hadoop2x-eclipse-plugin/tree/v2.6.0 2. 複
大資料技術學習筆記之Hadoop框架基礎1-Hadoop介紹及偽分散式部署
一、學習建議 -》學習思想 -》設計思想:分散式 -》資料採集
大資料技術學習筆記之Hadoop框架基礎2-MapReduce程式設計及執行流程
一、回顧 -》hadoop的功能? -》海量資料儲存和海量計算問題 -》分散式檔案儲存框架hdfs和
大資料技術學習筆記之Hadoop框架基礎3-網站日誌分析及MapReduce過程詳解
一、回顧 -》Hadoop啟動方式 -》單個程序 sbin/h
大資料技術學習筆記之Hadoop框架基礎4-MapReduceshuffer過程詳解及zookeeper框架學習
一、MapReduce Shuffle -》MapReduce執行五個階段 input  
實戰大資料(讀書筆記)
與線下實體經營輕易對接 1、將電子券傳送到手機上,使用者可以直接拿著手機去消費 2、利用手機上的位置定位功能,公司推出“簽到”服務,可以直接把手機使用者帶到企業活動地點 精準的位置服務 1、移動終端可以隨時隨地為消費者收集、分析資料,讓消費者與身邊的人更好地互
大資料實戰(下)_MapReduce實戰
大綱 演示例項講解 演示編寫MapReduce例項 MapReduce程式碼 建立 linecount Java 專案 程式碼如下: package com.trendwise.java; import java.io.IOExceptio
大資料開發利器:Hadoop(11) Hadoop2 HA(High Availability)
本節主要介紹了HDFS HA(High Availability)的原理、主備切換過程以及基於JournalNode的共享儲存系統。 1. 前言 在當初介紹Hadoop2.0時,我們簡單提到了Hadoop框架中MapReduce的不足與改進。(即
Hadoop NameNode HA模式的搭建以及原理
信息 htm 功能 主從 改變 www 接收 通信 lov 搭建HA(高可用)模式的集群參見(http://blog.cheyo.net/92.html) 轉自:http://www.it165.net/admin/html/201407/3465.html 社區hadoo
elasticsearch 大資料場景下使用scroll實現分頁查詢
es查詢大批量資料的”可能方案” 當使用es來請求大批量資料時,通常有三種辦法,其一:直接查詢獲取全量資料;其二:使用setFrom以及setSize解決;其三:使用es自帶的scroll分頁支援 方案評估 對於上述方案的評估,此處建議大家可以先看看這篇文章
大資料學習記錄(hadoop hive flume azkaban sqoop)
大資料學習記錄(hadoop hive flume azkaban sqoop) 1. hadoop對海量資料進行分散式處理 2. 核心元件:HDFS(分散式檔案系統)、YARN(運算資源排程系統)、MAPREDUCE(分散式運算程式設計框架) 3. HIVE:基於大資料技術(檔案系統+運算框架
大資料入門學習筆記(叄)- 布式檔案系統HDFS
文章目錄 HDFS概述及設計目標 什麼是HDFS HDFS的設計目標 HDFS架構 HDFS副本機制 副本存放策略![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20181
大資料分析學習筆記(Z檢驗,分類器以及Association Rule)
大資料分析學習筆記(Z檢驗,分類器以及Association Rule) Task 1 – Hypothesis Testing To improve student learning performance, a teacher developed two new learning app
大資料入門學習筆記(壹) - 大資料概述
文章目錄 大資料故事 大資料背景 大資料基本概念 大資料定義 大資料4V特徵 大資料要解決的問題 大資料涉及到的技術 大資料帶來的技術挑戰 在技術架構上的挑戰 其他挑戰
【大資料】什麼是hadoop
一、hadoop簡介 Hadoop是使用Java編寫,允許分佈在叢集,使用簡單的程式設計模型的計算機大型資料集處理的Apache的開源框架。 二、hadoop架構設計 ⑴hadoopcommon hadoop基礎設施模組 ⑵hdfs 分散式檔案系統 ⑶mapreduc
大資料實戰(上)——環境搭建
設定 hostname 為hadoop: $hostname hadoop 設定ip地址與hostname關聯:$vim /etc/hosts 新增 IP地址 hadoop 關閉 iptables: $service iptabl