2. 程式人生 > >HDFS的副本存放策略

HDFS的副本存放策略

阿新 • • 發佈：2019-02-07
      
     上面的流程圖詳細的描述了Hadoop-0.2.0版本中副本的存放位置的選擇策略，當然，這當中還有一些細節問題，如：如何選擇一個本地資料節點，如何選擇一個本地機架資料節點等，所以下面我還將繼續展開討論。

1.選擇一個本地節點
        這裡所說的本地節點是相對於客戶端來說的，也就是說某一個使用者正在用一個客戶端來向HDFS中寫資料，如果該客戶端上有資料節點，那麼就應該最優先考慮把正在寫入的資料的一個副本儲存在這個客戶端的資料節點上，它即被看做是本地節點，但是如果這個客戶端上的資料節點空間不足或者是當前負載過重，則應該從該資料節點所在的機架中選擇一個合適的資料節點作為此時這個資料塊的本地節點。另外，如果客戶端上沒有一個數據節點的話，則從整個叢集中隨機選擇一個合適的資料節點作為
此時這個資料塊的本地節點。那麼，如何判定一個數據節點合不合適呢，它是通過isGoodTarget方法來確定的：
  1. private boolean isGoodTarget(DatanodeDescriptor node, long blockSize, int maxTargetPerLoc, boolean considerLoad, List<DatanodeDescriptor> results) {  
  2.     Log logr = FSNamesystem.LOG;  
  3.     // 節點不可用了   
  4.     if (node.isDecommissionInProgress() || node.isDecommissioned()) {  
  5.       logr.debug("Node "+NodeBase.getPath(node)+ " is not chosen because the node is (being) decommissioned");  
  6.       return false;  
  7.     }  
  8.     long remaining = node.getRemaining() - (node.getBlocksScheduled() * blockSize);  
  9.     // 節點剩餘的容量夠不夠   
  10.     if (blockSize* FSConstants.MIN_BLOCKS_FOR_WRITE>remaining) {  
  11.       logr.debug("Node "+NodeBase.getPath(node)+ " is not chosen because the node does not have enough space");  
  12.       return false;  
  13.     }  
  14.     // 節點當前的負載情況   
  15.     if (considerLoad) {  
  16.       double avgLoad = 0;  
  17.       int size = clusterMap.getNumOfLeaves();  
  18.       if (size != 0) {  
  19.         avgLoad = (double)fs.getTotalLoad()/size;  
  20.       }  
  21.       if (node.getXceiverCount() > (2.0 * avgLoad)) {  
  22.         logr.debug("Node "+NodeBase.getPath(node)+ " is not chosen because the node is too busy");  
  23.         return false;  
  24.       }  
  25.     }  
  26.     // 該節點坐在的機架被選擇存放當前資料塊副本的資料節點過多   
  27.     String rackname = node.getNetworkLocation();  
  28.     int counter=1;  
  29.     for(Iterator<DatanodeDescriptor> iter = results.iterator(); iter.hasNext();) {  
  30.       Node result = iter.next();  
  31.       if (rackname.equals(result.getNetworkLocation())) {  
  32.         counter++;  
  33.       }  
  34.     }  
  35.     if (counter>maxTargetPerLoc) {  
  36.       logr.debug("Node "+NodeBase.getPath(node)+ " is not chosen because the rack has too many chosen nodes");  
  37.       return false;  
  38.     }  
  39.     return true;  
  40.   }  
2.選擇一個本地機架節點
   實際上，選擇本地節假節點和遠端機架節點都需要以一個節點為參考，這樣才是有意義，所以在上面的流程圖中，我用紅色字型標出了參考點。那麼，ReplicationTargetChooser是如何根據一個節點選擇它的一個本地機架節點呢？
這個過程很簡單，如果參考點為空，則從整個叢集中隨機選擇一個合適的資料節點作為此時的本地機架節點；否則就從參考節點所在的機架中隨機選擇一個合適的資料節點作為此時的本地機架節點，若這個叢集中沒有合適的資料節點的話，則從已選擇的資料節點中找出一個作為新的參考點，如果找到了一個新的參考點，則從這個新的參考點在的機架中隨機選擇一個合適的資料節點作為此時的本地機架節點；否則從整個叢集中隨機選擇一個合適的資料節點作為此時的本地機架節點。如果新的參考點所在的機架中仍然沒有合適的資料節點，則只能從整個叢集中隨機選擇一個合適的資料節點作為此時的本地機架節點了。
  1. <font xmlns="http://www.w3.org/1999/xhtml">private DatanodeDescriptor chooseLocalRack(DatanodeDescriptor localMachine, List<Node> excludedNodes, long blocksize, int maxNodesPerRack, List<DatanodeDescriptor> results)throws NotEnoughReplicasException {  
  2.     // 如果參考點為空，則從整個叢集中隨機選擇一個合適的資料節點作為此時的本地機架節點   
  3.     if (localMachine == null) {  
  4.       return chooseRandom(NodeBase.ROOT, excludedNodes, blocksize, maxNodesPerRack, results);  
  5.     }  
  6.     //從參考節點所在的機架中隨機選擇一個合適的資料節點作為此時的本地機架節點   
  7.     try {  
  8.       return chooseRandom(localMachine.getNetworkLocation(), excludedNodes, blocksize, maxNodesPerRack, results);  
  9.     } catch (NotEnoughReplicasException e1) {  
  10.       //若這個叢集中沒有合適的資料節點的話，則從已選擇的資料節點中找出一個作為新的參考點   
  11.       DatanodeDescriptor newLocal=null;  
  12.       for(Iterator<DatanodeDescriptor> iter=results.iterator(); iter.hasNext();) {  
  13.         DatanodeDescriptor nextNode = iter.next();  
  14.         if (nextNode != localMachine) {  
  15.           newLocal = nextNode;  
  16.           break;  
  17.         }  
  18.       }  
  19.       if (newLocal != null) {//找到了一個新的參考點   
  20.         try {  
  21.           //從這個新的參考點在的機架中隨機選擇一個合適的資料節點作為此時的本地機架節點   
  22.           return chooseRandom(newLocal.getNetworkLocation(), excludedNodes, blocksize, maxNodesPerRack, results);  
  23.         } catch(NotEnoughReplicasException e2) {  
  24.           //新的參考點所在的機架中仍然沒有合適的資料節點，從整個叢集中隨機選擇一個合適的資料節點作為此時的本地機架節點   
  25.           return chooseRandom(NodeBase.ROOT, excludedNodes, blocksize, maxNodesPerRack, results);  
  26.         }  
  27.       } else {  
  28.         //從整個叢集中隨機選擇一個合適的資料節點作為此時的本地機架節點   
  29.         return chooseRandom(NodeBase.ROOT, excludedNodes, blocksize, maxNodesPerRack, results);  
  30.       }  
  31.     }  
  32.   }</font>  
3.選擇一個遠端機架節點
   選擇一個遠端機架節點就是隨機的選擇一個合適的不在參考點坐在的機架中的資料節點，如果沒有找到這個合適的資料節點的話，就只能從參考點所在的機架中選擇一個合適的資料節點作為此時的遠端機架節點了。

4.隨機選擇若干資料節點
   這裡的隨機隨機選擇若干個資料節點實際上指的是從某一個範圍內隨機的選擇若干個節點，它的實現需要利用前面提到過的NetworkTopology資料結構。隨機選擇所使用的範圍本質上指的是一個路徑，這個路徑表示的是NetworkTopology所表示的樹狀網路拓撲圖中的一個非葉子節點，隨機選擇針對的就是這個節點的所有葉子子節點，因為所有的資料節點都被表示成了這個樹狀網路拓撲圖中的葉子節點。

5.優化資料傳輸的路徑
   以前說過，HDFS對於Block的副本copy採用的是流水線作業的方式：client把資料Block只傳給一個DataNode，這個DataNode收到Block之後，傳給下一個DataNode，依次類推，...，最後一個DataNode就不需要下傳資料Block了。所以，在為一個數據塊確定了所有的副本存放的位置之後，就需要確定這種資料節點之間流水複製的順序，這種順序應該使得資料傳輸時花費的網路延時最小。ReplicationTargetChooser用了非常簡單的方法來考量的，大家一看便知：
  1. private DatanodeDescriptor[] getPipeline( DatanodeDescriptor writer, DatanodeDescriptor[] nodes) {  
  2.     if (nodes.length==0) return nodes;  
  3.     synchronized(clusterMap) {  
  4.       int index=0;  
  5.       if (writer == null || !clusterMap.contains(writer)) {  
  6.         writer = nodes[0];  
  7.       }  
  8.       for(;index<nodes.length; index++) {  
  9.         DatanodeDescriptor shortestNode = nodes[index];  
  10.         int shortestDistance = clusterMap.getDistance(writer, shortestNode);  
  11.         int shortestIndex = index;  
  12.         for(int i=index+1; i<nodes.length; i++) {  
  13.           DatanodeDescriptor currentNode = nodes[i];  
  14.           int currentDistance = clusterMap.getDistance(writer, currentNode);  
  15.           if (shortestDistance>currentDistance) {  
  16.             shortestDistance = currentDistance;  
  17.             shortestNode = currentNode;  
  18.             shortestIndex = i;  
  19.           }  
  20.         }  
  21.         //switch position index & shortestIndex   
  22.         if (index != shortestIndex) {  
  23.           nodes[shortestIndex] = nodes[index];  
  24.           nodes[index] = shortestNode;  
  25.         }  
  26.         writer = shortestNode;  
  27.       }  
  28.     }  
  29.     return nodes;  
  30.   }  
     可惜的是，HDFS目前並沒有把副本存放策略的實現開放給使用者，也就是使用者無法根據自己的實際需求來指定檔案的資料塊存放的具體位置。例如：我們可以將有關係的兩個檔案放到相同的資料節點上，這樣在進行map-reduce的時候，其工作效率會大大的提高。但是，又考慮到副本存放策略是與叢集負載均衡休慼相關的，所以要是真的把負載存放策略交給使用者來實現的話，對使用者來說是相當負載的，所以我只能說Hadoop目前還不算成熟，尚需大踏步發展。

相關推薦

HDFS 副本存放磁碟選擇策略詳解

在 HDFS 中，DataNode 將資料塊儲存到本地檔案系統目錄中，具體的目錄可以通過配置 hdfs-site.xml 裡面的 dfs.datanode.data.dir 引數。在典型的安裝配置中，一

HDFS的副本存放策略

            上面的流程圖詳細的描述了Hadoop-0.2.0版本中副本的存放位置的選擇策略，當然，這當中還有一些細節問題，如：如何選擇一個本地資料節點，如何選擇一個本地機架資料節點等，所以下面我還將繼續展開討論。1.選擇一個本地節點         這裡所說的本地節點是相對於客戶端來說的，也就是

Hadoop副本存放策略

副本存放策略：      基於機架感知當複製因子為3時，HDFS的放置策略是在編寫器位於datanode上時將一個副本放在本地計算機上，否則放在隨機datanode上，另一個副本放在另一個（遠端）機架上的節點上，最後一個在同一個遠端機架的不同節點上。此策略可

【圖文跟進 】HADOOP 核心設計——機架存放策略（副本存放策略）

機架策略——副本存放策略（帶著問題學習，才高效） 問題1：在hdfs中對於一個block預設的儲存副本個數3個，這3個副本如何存放的？ 解析：三個副本儲存在3個不同的節點上，事實上在實際生產的時候，節點在機架上的，在存放副本的時候考慮機架的問題 作用 資料分塊儲存

hadoop2.0的datanode多目錄資料副本存放策略

在hadoop2.0中，datanode資料副本存放磁碟選擇策略有兩種方式： 第一種是沿用hadoop1.0的磁碟目錄輪詢方式，實現類：RoundRobinVolumeChoosingPolicy.java 第二種是選擇可用空間足夠多的磁碟方式儲存，實現類：Availabl

hadoop2.0的datanode多儲存硬碟設定資料副本存放策略

叢集使用4塊硬碟，目前叢集中部分節點盤disk1使用率已經超90%，後期可能會出現問題。 在hadoop2.0中，datanode資料副本存放磁碟選擇策略有兩種方式： 第一種是沿用hadoop1.0的磁碟目錄輪詢方式，實現類：RoundRobinVolumeChoosing

hdfs的副本放置策略

For the common case, when the replication factor is three, HDFS’s placement policy is to put one replica on the local machine if th

ceph學習筆記之十 副本放置策略

ceph sds 副本放置策略CRUSH 算法的設置目的是使數據能夠根據設備的存儲能力和寬帶資源加權平均地分布，並保持一個相對的概率平衡。副本放置在具有層次結構的存儲設備中，這對數據安全也有重要影響。通過反射系統的物理安裝組織，CRUSH算法可以將系統模塊化，從而定位潛在的設備故障。這些潛在故障的資源

[Hadoop]HDFS機架感知策略

地址 屬性 pipeline repo 傳輸 全部 信息 node節點 得到 HDFS NameNode對文件塊復制相關所有事物負責，它周期性接受來自於DataNode的HeartBeat和BlockReport信息，HDFS文件塊副本的放置對於系統整體的可靠性和性能

Hadoop 副本放置策略的源碼閱讀和設置

order ner 隨機 如果 related pac pro mach pre 本文通過MetaWeblog自動發布，原文及更新鏈接：https://extendswind.top/posts/technical/hadoop_block_placement_policy

Hadoop hdfs副本儲存和糾刪碼(Erasure Coding)儲存優缺點

The advantages and disadvantages of hadoop hdfs replicating storage and erasure coding storage. Hadoop 3.0.0-alpha1 及以上版本提供了糾刪碼(Erasure Coding)儲存資料的支援，使用

HDFS怎樣檢測並刪除多余副本塊

php turn .info first 分布式系統 tro down 查看 com 前言 在HDFS中,每時每刻都在進行著大量block塊的創建和刪除操作,這些龐大的block塊構建起了這套復雜的分布式系統.普通block的讀寫刪除操作一般人都或

Hadoop介紹、儲存模型、副本策略、架構模型（一）

Hadoop簡介 Hadoop 的作者 Doug cutting， Google 在2003年-2004年公開了部分 GFS 和 Mapreduce 思想的細節，以此為基礎 Doug Cutting 等人用了2年業餘時間實現了 DFS 和 Maperduce機制，一個微縮版：Nutc

kafak 到 hdfs 通過flumes elector.type = replicating 副本傳送

#example.conf: A single-node Flume configuration #Name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 a1.source

三十七、機架感知（副本節點選擇）及HDFS讀資料流程

                                       機架感知（副本節點選擇）及HDFS讀資料流程 1、低版本Hadoop副本節點選擇 第一個副本在client所處的節點上。如

Hadoop選舉以及副本策略

17.Hadoop選舉以及副本策略 預設是採用投票數大於半數則勝出的邏輯。   選舉流程簡述   目前有5臺伺服器，每臺伺服器均沒有資料，它們的編號分別是1,2,3,4,5,按編號依次啟動，它們的選擇舉過程如下：   伺服器1啟動，給自己投票

【HDFS】hadoop的機架感知策略是啥？

瞭解hadoop的或多或少都聽說過機架感知策略，無論是balancer還是jobtracker分配作業、資料副本放置策略都會用到機架感知。那什麼叫機架感知？ 首先故名思意機架感知就是感知機架，誰感知？就是hadoop系統嘛，更確切地說是hadoop能在系統內部建立一套伺服器

hdfs檔案3個副本BLK的查詢

開始部署hdfs的時候，檔案冗餘3份。那麼1個檔案分拆成那些BLK，分別儲存在那裡呢？ hadoop fsck <需要找的檔名> -files -blocks -locations 語句幫你忙。 ####################### [[email

HDFS儲存策略

請檢視原文：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html（如果轉發，請標明出處）介紹歸檔儲存（Archival Storage）是將不斷增長的

hadoop預設對3個副本的儲存策略和執行策略：

1，首先要先了解下什麼是rack（機架）叢集，一個叢集有多個機架，一個機架有多個機器，一個機器一個datanode或namenode節點。通常一個機架內的機器之間的網路速度會高於跨機架機器之間的網路速度