1. 程式人生 > >阿里二面:什麼是mmap?

阿里二面:什麼是mmap?

平時在面試中你肯定會經常碰見的問題就是:RocketMQ為什麼快?Kafka為什麼快?什麼是mmap?

這一類的問題都逃不過的一個點就是零拷貝,雖然還有一些其他的原因,但是今天我們的話題主要就是零拷貝。

傳統IO

在開始談零拷貝之前,首先要對傳統的IO方式有一個概念。

基於傳統的IO方式,底層實際上通過呼叫read()write()來實現。

通過read()把資料從硬碟讀取到核心緩衝區,再複製到使用者緩衝區;然後再通過write()寫入到socket緩衝區,最後寫入網絡卡裝置。

整個過程發生了4次使用者態和核心態的上下文切換和4次拷貝,具體流程如下:

  1. 使用者程序通過read()方法向作業系統發起呼叫,此時上下文從使用者態轉向核心態
  2. DMA控制器把資料從硬碟中拷貝到讀緩衝區
  3. CPU把讀緩衝區資料拷貝到應用緩衝區,上下文從核心態轉為使用者態,read()返回
  4. 使用者程序通過write()方法發起呼叫,上下文從使用者態轉為核心態
  5. CPU將應用緩衝區中資料拷貝到socket緩衝區
  6. DMA控制器把資料從socket緩衝區拷貝到網絡卡,上下文從核心態切換回使用者態,write()返回

那麼,這裡指的使用者態、核心態指的是什麼?上下文切換又是什麼?

簡單來說,使用者空間指的就是使用者程序的執行空間,核心空間就是核心的執行空間。

如果程序執行在核心空間就是核心態,執行在使用者空間就是使用者態。

為了安全起見,他們之間是互相隔離的,而在使用者態和核心態之間的上下文切換也是比較耗時的。

從上面我們可以看到,一次簡單的IO過程產生了4次上下文切換,這個無疑在高併發場景下會對效能產生較大的影響。

那麼什麼又是DMA拷貝呢?

因為對於一個IO操作而言,都是通過CPU發出對應的指令來完成,但是相比CPU來說,IO的速度太慢了,CPU有大量的時間處於等待IO的狀態。

因此就產生了DMA(Direct Memory Access)直接記憶體訪問技術,本質上來說他就是一塊主機板上獨立的晶片,通過它來進行記憶體和IO裝置的資料傳輸,從而減少CPU的等待時間。

但是無論誰來拷貝,頻繁的拷貝耗時也是對效能的影響。

零拷貝

零拷貝技術是指計算機執行操作時,CPU不需要先將資料從某處記憶體複製到另一個特定區域,這種技術通常用於通過網路傳輸檔案時節省CPU週期和記憶體頻寬。

那麼對於零拷貝而言,並非真的是完全沒有資料拷貝的過程,只不過是減少使用者態和核心態的切換次數以及CPU拷貝的次數。

這裡,僅僅有針對性的來談談幾種常見的零拷貝技術。

mmap+write

mmap+write簡單來說就是使用mmap替換了read+write中的read操作,減少了一次CPU的拷貝。

mmap主要實現方式是將讀緩衝區的地址和使用者緩衝區的地址進行對映,核心緩衝區和應用緩衝區共享,從而減少了從讀緩衝區到使用者緩衝區的一次CPU拷貝。

整個過程發生了4次使用者態和核心態的上下文切換和3次拷貝,具體流程如下:

  1. 使用者程序通過mmap()方法向作業系統發起呼叫,上下文從使用者態轉向核心態
  2. DMA控制器把資料從硬碟中拷貝到讀緩衝區
  3. 上下文從核心態轉為使用者態,mmap呼叫返回
  4. 使用者程序通過write()方法發起呼叫,上下文從使用者態轉為核心態
  5. CPU將讀緩衝區中資料拷貝到socket緩衝區
  6. DMA控制器把資料從socket緩衝區拷貝到網絡卡,上下文從核心態切換回使用者態,write()返回

mmap的方式節省了一次CPU拷貝,同時由於使用者程序中的記憶體是虛擬的,只是對映到核心的讀緩衝區,所以可以節省一半的記憶體空間,比較適合大檔案的傳輸。

sendfile

相比mmap來說,sendfile同樣減少了一次CPU拷貝,而且還減少了2次上下文切換。

sendfile是Linux2.1核心版本後引入的一個系統呼叫函式,通過使用sendfile資料可以直接在核心空間進行傳輸,因此避免了使用者空間和核心空間的拷貝,同時由於使用sendfile替代了read+write從而節省了一次系統呼叫,也就是2次上下文切換。

整個過程發生了2次使用者態和核心態的上下文切換和3次拷貝,具體流程如下:

  1. 使用者程序通過sendfile()方法向作業系統發起呼叫,上下文從使用者態轉向核心態
  2. DMA控制器把資料從硬碟中拷貝到讀緩衝區
  3. CPU將讀緩衝區中資料拷貝到socket緩衝區
  4. DMA控制器把資料從socket緩衝區拷貝到網絡卡,上下文從核心態切換回使用者態,sendfile呼叫返回

sendfile方法IO資料對使用者空間完全不可見,所以只能適用於完全不需要使用者空間處理的情況,比如靜態檔案伺服器。

sendfile+DMA Scatter/Gather

Linux2.4核心版本之後對sendfile做了進一步優化,通過引入新的硬體支援,這個方式叫做DMA Scatter/Gather 分散/收集功能。

它將讀緩衝區中的資料描述資訊--記憶體地址和偏移量記錄到socket緩衝區,由 DMA 根據這些將資料從讀緩衝區拷貝到網絡卡,相比之前版本減少了一次CPU拷貝的過程

整個過程發生了2次使用者態和核心態的上下文切換和2次拷貝,其中更重要的是完全沒有CPU拷貝,具體流程如下:

  1. 使用者程序通過sendfile()方法向作業系統發起呼叫,上下文從使用者態轉向核心態
  2. DMA控制器利用scatter把資料從硬碟中拷貝到讀緩衝區離散儲存
  3. CPU把讀緩衝區中的檔案描述符和資料長度傳送到socket緩衝區
  4. DMA控制器根據檔案描述符和資料長度,使用scatter/gather把資料從核心緩衝區拷貝到網絡卡
  5. sendfile()呼叫返回,上下文從核心態切換回使用者態

DMA gathersendfile一樣資料對使用者空間不可見,而且需要硬體支援,同時輸入檔案描述符只能是檔案,但是過程中完全沒有CPU拷貝過程,極大提升了效能。

應用場景

對於文章開頭說的兩個場景:RocketMQ和Kafka都使用到了零拷貝的技術。

對於MQ而言,無非就是生產者傳送資料到MQ然後持久化到磁碟,之後消費者從MQ讀取資料。

對於RocketMQ來說這兩個步驟使用的是mmap+write,而Kafka則是使用mmap+write持久化資料,傳送資料使用sendfile

總結

由於CPU和IO速度的差異問題,產生了DMA技術,通過DMA搬運來減少CPU的等待時間。

傳統的IOread+write方式會產生2次DMA拷貝+2次CPU拷貝,同時有4次上下文切換。

而通過mmap+write方式則產生2次DMA拷貝+1次CPU拷貝,4次上下文切換,通過記憶體對映減少了一次CPU拷貝,可以減少記憶體使用,適合大檔案的傳輸。

sendfile方式是新增的一個系統呼叫函式,產生2次DMA拷貝+1次CPU拷貝,但是隻有2次上下文切換。因為只有一次呼叫,減少了上下文的切換,但是使用者空間對IO資料不可見,適用於靜態檔案伺服器。

sendfile+DMA gather方式產生2次DMA拷貝,沒有CPU拷貝,而且也只有2次上下文切換。雖然極大地提升了效能,但是需要依賴新的硬體裝置支援。

參考:

https://juejin.cn/post/6844903949359644680#heading-19

https://www.cnblogs.com/xiaolincoding/p/13719610.html

https://time.geekbang.org/column/article/118657

https://www.toutiao.com/i6898240850917114380/