2. 程式人生 > 其它 >03_MapReduce框架原理_3.6 Shuffle機制(原始碼)

03_MapReduce框架原理_3.6 Shuffle機制(原始碼)

阿新 • • 發佈：2021-12-22
Hadoop
6. Shuffle 機制 - (流程) 1. 什麼是Shuffle&Shuffle的作用 1. Map方法之後,Reduce方法之前的資料處理過程 稱之為 Shuffle
 2. 流程說明 1. MapTask 通過獲取到的 切片物件和相對於的記錄讀取器 map()方法 處理資料 後的輸出結果(key-value) 會輸出到 記憶體緩衝區 2. 當 記憶體緩衝區 快滿的時候,需要將緩衝區的資料 用一個 臨時檔案的方式 儲存到磁碟 這個過程 叫做 溢寫過程 臨時檔案 叫做 溢寫檔案 3. 當MapTask結束後再對磁碟中 所有的 溢寫檔案做合併,生成最終的輸出檔案 等待reduce task來拉取資料 這個過程 叫做 merge 4. 在溢位過程及合併過程中,都要呼叫Partitioner進行分割槽和針對key排序 5. ReduceTask 根據自己分配到的分割槽號,去各自MapTask機器上拉取相應的結果分割槽資料 6. ReduceTask 會拉取同一個分割槽的資料(來自不同MapTask的結果檔案) ReduceTask 會將這些檔案在進行合併(歸併排序) 7. ReduceTask 合併成大檔案後,Shuffle 過程也就結束了 8. ReduceTask 邏輯運算過程,遍歷相同的key,並對value做reduce操作 3. 注意事項 1. Shuffle 緩衝區的大小會影響 MapReduce程式的執行效率 緩衝區越大,磁碟io的次數越少,執行速度就越快 2. 緩衝區的大小 可以通過引數調整 引數 : mapreduce.task.io.sort.mb 預設 100M 2. map task的輸出結果有效地傳送到reduce端
點選檢視Shuffle流程圖 ![](https://img2020.cnblogs.com/blog/2018294/202112/2018294-20211222163644539-412284594.png) ![](https://img2020.cnblogs.com/blog/2018294/202112/2018294-20211222163705138-138709063.png)

相關推薦

03_MapReduce框架原理_3.6 Shuffle機制(原始碼)

Hadoop body { margin: 0 } #content-info { width: auto; margin: 0 auto; text-align: center } #author-info { white-space: nowrap; text-overflow: ellipsis; overflow: hidden }

03_MapReduce框架原理_3.2 Job提交流程(原始碼)

Hadoop body { margin: 0 } #content-info { width: auto; margin: 0 auto; text-align: center } #author-info { white-space: nowrap; text-overflow: ellipsis; overflow: hidden }

03_MapReduce框架原理_3.9 合併 Combiner(Map端合併)

1. 說明 2. 指定 合併器 // 指定 合併器 public void setCombinerClass(Class<? extends Reducer> cls

03_MapReduce框架原理_3.14. MapReduce 開發總結

1. 輸入資料介面 ：InputFormat 　　1. 預設使用的實現類 ：TextInputFormat 　　一次讀取一行文字,該行的起始偏移量為key,行內容為value

MapReduce框架原理--Shuffle機制

Shuffle機制 Mapreduce確保每個reducer的輸入都是按鍵排序的。系統執行排序的過程（Map方法之後，Reduce方法之前的資料處理過程）稱之為Shuffle。

MapReduce框架原理-MapTask和ReduceTask工作機制

MapTask工作機制 並行度決定機制 1）問題引出 maptask的並行度決定map階段的任務處理併發度，進而影響到整個job的處理速度。那麼，mapTask並行任務是否越多越好呢？

MapReduce04 框架原理Shuffle

目錄2 MapReduce工作流程3 Shuffle機制(重點)3.1 Shuffle機制3.2 Partition分割槽預設Partitioner分割槽自定義Partitioner分割槽自定義Partition分割槽案例需求需求分析案例實現輸出結果總結3.3 WritableComparable

Vuex框架原理與原始碼分析

Vuex是一個專為Vue服務，用於管理頁面資料狀態、提供統一資料操作的生態系統。它集中於MVC模式中的Model層，規定所有的資料操作必須通過 action - mutation - state change 的流程來進行，再結合Vue的資料檢視雙向繫

JavaScript中的this原理及6種常見使用場景詳解

一、this原理 this是JavaScript的一個關鍵字，函式呼叫時才會出現； 因為函式是在一定的環境中執行的，呼叫函式時肯定需要知道是[誰呼叫的]？就用到了this進行指向；

Spring Cloud Stream微服務訊息框架原理及例項解析

隨著近些年微服務在國內的盛行，訊息驅動被提到的越來越多。主要原因是系統被拆分成多個模組後，一個業務往往需要在多個服務間相互呼叫，不管是採用HTTP還是RPC都是同步的，不可避免快等慢的情況發生，系統性能上很容

AbstractQueuedSynchronizer(AQS)抽絲剝繭深入瞭解JUC框架原理

目錄 簡介 Lock簡單實用 主體框架 原理解析 獨佔鎖 AQS資料結構 CLH資料結構 acquire實現步驟

Pytorch框架學習---（6）hook函式和CAM類啟用圖

本節簡單總結Pytorch中hook函式，CAM演算法生成注意力圖【文中思維導圖採用MindMaster軟體】

Hadoop基礎（二十一）：Shuffle機制（二）

4WritableComparable排序 1．排序的分類 2．自定義排序WritableComparable （1）原理分析 bean物件做為key傳輸，需要實現WritableComparable介面重寫compareTo方法，就可以實現排序。

Hadoop基礎（二十二）：Shuffle機制（三）

7 Combiner合併 （6）自定義Combiner實現步驟 （a）自定義一個Combiner繼承Reducer，重寫Reduce方法

10.深入k8s：排程的優先順序及搶佔機制原始碼分析

轉載請宣告出處哦~，本篇文章釋出於luozhiyun的部落格：https://www.luozhiyun.com 原始碼版本是1.19

MapReduce-Shuffle機制執行解析

概述 在MapReduce（分散式計算框架，底層依賴HDFS）中，map階段經過處理輸出的資料怎樣傳遞給reduce並保證reduce的輸入都是按鍵排序好的，在MR中是極為關鍵的一個流程，這個流程叫做Shuffle，也稱之為“洗牌

清晰的CSS 3媒體查詢響應式佈局，bootstrap 框架原理實戰

媒體裝置型別使用詳解： <!DOCTYPE html> <html lang=\"en\"> <head> <meta charset=\"UTF-8\">

SSM框架原理,作用及使用方法

作用： SSM框架是spring MVC ，spring和mybatis框架的整合，是標準的MVC模式，將整個系統劃分為表現層，controller層，service層，DAO層四層

Redis Java Lettuce驅動框架原理解析

Lettuce是一個高效能基於Java編寫的Redis驅動框架，底層集成了Project Reactor提供天然的反應式程式設計，通訊框架集成了Netty使用了非阻塞IO，5.x版本之後融合了JDK1.8的非同步程式設計特性，在保證高效能的同時提供

Python常用GUI框架原理解析彙總

Graphical User Interface，簡稱 GUI，又稱圖形化使用者介面，所謂的GUI程式設計，指的是使用者不需要輸入程式碼指令，只通過圖形介面的互動就可以操作軟體功能。