【圖文跟進 】HADOOP 核心設計——機架存放策略(副本存放策略)
阿新 • • 發佈:2018-12-20
機架策略——副本存放策略(帶著問題學習,才高效)
問題1:在hdfs中對於一個block預設的儲存副本個數3個,這3個副本如何存放的?
解析:三個副本儲存在3個不同的節點上,事實上在實際生產的時候,節點在機架上的,在存放副本的時候考慮機架的問題
作用
資料分塊儲存和副本的存放,是保證可靠性和高效能的關鍵
方法
將每個檔案的資料進行分塊儲存,每一個數據塊又儲存有多個副本,這些資料塊副本分 布在不同的機器節點上
存放說明
來看一哈,啥是機架呢?見圖
畫個圖片爽一下:
機房的網路這樣式的,兩個機架通過交換機(路由器)連線,畫個星星代表交換機吧,能理解嗎?不能就滾吧。
這個灰常耗!!!!電!電!!電!!!電!!!
副本存放策略
- 第一個副本通常放在客戶端所在節點(客戶端是叢集中的一個節點),如果客戶端不是叢集中的一個節點,則第一個副本上傳到任意一個節點
- 第二個副本放在和第一個副本不同機架的任意節點上
- 第三個副本放在和第二個副本相同機架的不同節點上 便於寫資料
修改副本數
第一種方式:修改叢集檔案 hdfs-site.xml <property> <name>dfs.replication</name> <value>1</value> </property> 第二種方式:命令設定 bin/hadoop fs -setrep -R 1 /