1. 程式人生 > >【譯】A Deep-Dive into Flink's Network Stack

【譯】A Deep-Dive into Flink's Network Stack

Flink的網路堆疊是組成flink-runtime模組的核心元件之一,是每個Flink工作的核心。 它連線所有TaskManagers的各個工作單元(子任務)。 這是您的流式傳輸資料流經的地方,因此,對於吞吐量和您觀察到的延遲,Flink作業的效能至關重要。 與通過Akka使用RPC的TaskManagers和JobManagers之間的協調通道相比,TaskManagers之間的網路堆疊依賴於使用Netty的低得多的API。

這篇博文是關於網路堆疊的一系列帖子中的第一篇。 在下面的部分中,我們將首先深入瞭解流操作符所呈現的抽象,然後詳細介紹Flink的物理實現和各種優化。 我們將簡要介紹這些優化的結果以及Flink在吞吐量和延遲之間的權衡。 本系列中的未來部落格文章將詳細介紹監控和指標,調整引數和常見的反模式。

邏輯