1. 程式人生 > >【圖文跟進 】HADOOP 核心設計——機架存放策略(副本存放策略)

【圖文跟進 】HADOOP 核心設計——機架存放策略(副本存放策略)

機架策略——副本存放策略(帶著問題學習,才高效)

問題1:在hdfs中對於一個block預設的儲存副本個數3個,這3個副本如何存放的?

解析:三個副本儲存在3個不同的節點上,事實上在實際生產的時候,節點在機架上的,在存放副本的時候考慮機架的問題

作用

資料分塊儲存和副本的存放,是保證可靠性和高效能的關鍵 

方法

將每個檔案的資料進行分塊儲存,每一個數據塊又儲存有多個副本,這些資料塊副本分 布在不同的機器節點上 

存放說明

來看一哈,啥是機架呢?見圖

畫個圖片爽一下:

 機房的網路這樣式的,兩個機架通過交換機(路由器)連線,畫個星星代表交換機吧,能理解嗎?不能就滾吧。

這個灰常耗!!!!電!電!!電!!!電!!!

副本存放策略

  1. 第一個副本通常放在客戶端所在節點(客戶端是叢集中的一個節點),如果客戶端不是叢集中的一個節點,則第一個副本上傳到任意一個節點
  2. 第二個副本放在和第一個副本不同機架的任意節點上
  3. 第三個副本放在和第二個副本相同機架的不同節點上  便於寫資料

修改副本數

第一種方式:修改叢集檔案 hdfs-site.xml <property>   <name>dfs.replication</name>   <value>1</value> </property>  第二種方式:命令設定 bin/hadoop fs -setrep -R 1 /