Nio、Bio、Aio 的原理及區別與應用場景
目錄:
問題
在高效能的IO體系設計中,有幾個名詞概念常常會使我們感到迷惑不解。具體如下:
序號 | 問題 |
---|---|
1 | 什麼是同步? |
2 | 什麼是非同步? |
3 | 什麼是阻塞? |
4 | 什麼是非阻塞? |
5 | 什麼是同步阻塞? |
6 | 什麼是同步非阻塞? |
7 | 什麼是非同步阻塞? |
8 | 什麼是非同步非阻塞? |
同步,非同步,阻塞,非阻塞
在弄清楚上面的幾個問題之前,我們首先得明白什麼是同步,非同步,阻塞,非阻塞,只有這幾個單個概念理解清楚了,然後在組合理解起來,就相對比較容易了。
- 同步和非同步是針對應用程式和核心的互動而言的。同步/非同步是在時間上強調處理事情的結果/機會成本的兩種處理策略
同步強調結果意味著對結果的迫不急待,不管結果是正確的還是錯誤的,反正你要立即給我一個結果響應;
非同步強調時間機會成本意味著對等待結果浪費的時間極其難接受,而對結果並不是那麼急切,暫時不管結果(讓處理方處理完主動通知結果/自己空閒的時候主動去獲取結果)轉而去處理其他事情。 - 阻塞和非阻塞是針對於程序在訪問資料的時候,根據IO操作的就緒狀態來採取的不同方式,說白了是一種讀取或者寫入操作函式的實現方式,阻塞方式下讀取或者寫入函式將一直等待,而非阻塞方式下,讀取或者寫入函式會立即返回一個狀態值。
- 同步/非同步是巨集觀上(程序間通訊,通常表現為網路IO的處理上),阻塞/非阻塞是微觀上(程序內資料傳輸,通常表現為對本地IO的處理上);阻塞和非阻塞是同步/非同步的表現形式
由上描述基本可以總結一句簡短的話,同步和非同步是目的,阻塞和非阻塞是實現方式。
編號 | 名詞 | 解釋 | 舉例 |
---|---|---|---|
1 | 同步 | 指的是使用者程序觸發IO操作並等待或者輪詢的去檢視IO操作是否就緒 | 自己上街買衣服,自己親自幹這件事,別的事幹不了。 |
2 | 非同步 | 非同步是指使用者程序觸發IO操作以後便開始做自己的事情,而當IO操作已經完成的時候會得到IO完成的通知(非同步的特點就是通知) | 告訴朋友自己合適衣服的尺寸,大小,顏色,讓朋友委託去賣,然後自己可以去幹別的事。(使用非同步IO時,Java將IO讀寫委託給OS處理,需要將資料緩衝區地址和大小傳給OS) |
3 | 阻塞 | 所謂阻塞方式的意思是指, 當試圖對該檔案描述符進行讀寫時, 如果當時沒有東西可讀,或者暫時不可寫, 程式就進入等待 狀態, 直到有東西可讀或者可寫為止 | 去公交站充值,發現這個時候,充值員不在(可能上廁所去了),然後我們就在這裡等待,一直等到充值員回來為止。(當然現實社會,可不是這樣,但是在計算機裡確實如此。) |
4 | 非阻塞 | 非阻塞狀態下, 如果沒有東西可讀, 或者不可寫, 讀寫函式馬上返回, 而不會等待 | 銀行裡取款辦業務時,領取一張小票,領取完後我們自己可以玩玩手機,或者與別人聊聊天,當輪我們時,銀行的喇叭會通知,這時候我們就可以去了。 |
組合方式的IO型別
同步阻塞IO(JAVA BIO): 同步並阻塞,伺服器實現模式為一個連線一個執行緒,即客戶端有連線請求時伺服器端就需要啟動一個執行緒進行處理,如果這個連線不做任何事情會造成不必要的執行緒開銷,當然可以通過執行緒池機制改善。
同步非阻塞IO(Java NIO) : 同步非阻塞,伺服器實現模式為一個請求一個執行緒,即客戶端傳送的連線請求都會註冊到多路複用器上,多路複用器輪詢到連線有I/O請求時才啟動一個執行緒進行處理。使用者程序也需要時不時的詢問IO操作是否就緒,這就要求使用者程序不停的去詢問。
- 非同步阻塞IO(Java NIO): 此種方式下是指應用發起一個IO操作以後,不等待核心IO操作的完成,等核心完成IO操作以後會通知應用程式,這其實就是同步和非同步最關鍵的區別,同步必須等待或者主動的去詢問IO是否完成,那麼為什麼說是阻塞的呢?因為此時是通過select系統呼叫來完成的,而select函式本身的實現方式是阻塞的,而採用select函式有個好處就是它可以同時監聽多個檔案控制代碼(如果從UNP的角度看,select屬於同步操作。因為select之後,程序還需要讀寫資料),從而提高系統的併發性!??
- 非同步非阻塞IO(Java AIO(NIO.2)): 在此種模式下,使用者程序只需要發起一個IO操作然後立即返回,等IO操作真正的完成以後,應用程式會得到IO操作完成的通知,此時使用者程序只需要對資料進行處理就好了,不需要進行實際的IO讀寫操作,因為真正的IO讀取或者寫入操作已經由核心完成了。
BIO、NIO、AIO適用場景分析
BIO方式適用於連線數目比較小且固定的架構,這種方式對伺服器資源要求比較高,併發侷限於應用中,JDK1.4以前的唯一選擇,但程式直觀簡單易理解。
NIO方式適用於連線數目多且連線比較短(輕操作)的架構,比如聊天伺服器,併發侷限於應用中,程式設計比較複雜,JDK1.4開始支援。
AIO方式使用於連線數目多且連線比較長(重操作)的架構,比如相簿伺服器,充分呼叫OS參與併發操作,程式設計比較複雜,JDK7開始支援。
搞清楚了以上概念以後,我們再回過頭來看看,Reactor模式和Proactor模式。
(其實阻塞與非阻塞都可以理解為同步範疇下才有的概念,對於非同步,就不會再去分阻塞非阻塞。對於使用者程序,接到非同步通知後,就直接操作程序使用者態空間裡的資料好了。)
首先來看看Reactor模式,Reactor模式應用於同步I/O的場景。我們分別以讀操作和寫操作為例來看看Reactor中的具體步驟:
讀取操作:
1. 應用程式註冊讀就緒事件和相關聯的事件處理器
2. 事件分離器等待事件的發生
3. 當發生讀就緒事件的時候,事件分離器呼叫第一步註冊的事件處理器
4. 事件處理器首先執行實際的讀取操作,然後根據讀取到的內容進行進一步的處理
寫入操作類似於讀取操作,只不過第一步註冊的是寫就緒事件。
讀取操作:
1. 應用程式初始化一個非同步讀取操作,然後註冊相應的事件處理器,此時事件處理器不關注讀取就緒事件,而是關注讀取完成事件,這是區別於Reactor的關鍵。
2. 事件分離器等待讀取操作完成事件
3. 在事件分離器等待讀取操作完成的時候,作業系統呼叫核心執行緒完成讀取操作(非同步IO都是作業系統負責將資料讀寫到應用傳遞進來的緩衝區供應用程式操作,作業系統扮演了重要角色),並將讀取的內容放入使用者傳遞過來的快取區中。這也是區別於Reactor的一點,Proactor中,應用程式需要傳遞快取區。
4. 事件分離器捕獲到讀取完成事件後,啟用應用程式註冊的事件處理器,事件處理器直接從快取區讀取資料,而不需要進行實際的讀取操作。
Proactor中寫入操作和讀取操作,只不過感興趣的事件是寫入完成事件。
從上面可以看出,Reactor和Proactor模式的主要區別就是真正的讀取和寫入操作是有誰來完成的,Reactor中需要應用程式自己讀取或者寫入資料,而Proactor模式中,應用程式不需要進行實際的讀寫過程,它只需要從快取區讀取或者寫入即可,作業系統會讀取快取區或者寫入快取區到真正的IO裝置.
綜上所述,同步和非同步是相對於應用和核心的互動方式而言的,同步 需要主動去詢問,而非同步的時候核心在IO事件發生的時候通知應用程式,而阻塞和非阻塞僅僅是系統在呼叫系統呼叫的時候函式的實現方式而已。
如果你想吃一份宮保雞丁蓋飯:
同步阻塞:你到飯館點餐,然後在那等著,還要一邊喊:好了沒啊?
同步非阻塞:在飯館點完餐,就去遛狗了。不過溜一會兒,就回飯館喊一聲:好了沒啊?
非同步阻塞:遛狗的時候,接到飯館電話,說飯做好了,讓您親自去拿。
非同步非阻塞:飯館打電話說,我們知道您的位置,一會給你送過來,安心遛狗就可以了。
IO操作的兩個步驟
一個IO操作其實分成了兩個步驟:發起IO請求和實際的IO操作。
同步IO和非同步IO的區別就在於第二個步驟是否阻塞,如果實際的IO讀寫阻塞請求程序,那麼就是同步IO。
阻塞IO和非阻塞IO的區別在於第一步,發起IO請求是否會被阻塞,如果阻塞直到完成那麼就是傳統的阻塞IO,如果不阻塞,那麼就是非阻塞IO。
同步和非同步是針對應用程式和核心的互動而言的,
同步指的是使用者程序觸發IO操作並等待或者輪詢的去檢視IO操作是否就緒,而非同步是指使用者程序觸發IO操作以後便開始做自己的事情,而當IO操作已經完成的時候會得到IO完成的通知。
而阻塞和非阻塞是針對於程序在訪問資料的時候,根據IO操作的就緒狀態來採取的不同方式,說白了是一種讀取或者寫入操作函式的實現方式,阻塞方式下讀取或者寫入函式將一直等待,而非阻塞方式下,讀取或者寫入函式會立即返回一個狀態值。
所以,IO操作可以分為3類:同步阻塞(即早期的IO操作)、同步非阻塞(NIO)、非同步(AIO)。
同步阻塞:
在此種方式下,使用者程序在發起一個IO操作以後,必須等待IO操作的完成,只有當真正完成了IO操作以後,使用者程序才能執行。JAVA傳統的IO模型屬於此種方式。
同步非阻塞:
在此種方式下,使用者程序發起一個IO操作以後邊可返回做其它事情,但是使用者程序需要時不時的詢問IO操作是否就緒,這就要求使用者程序不停的去詢問,從而引入不必要的CPU資源浪費。其中目前JAVA的NIO就屬於同步非阻塞IO。
關於BIO | NIO | AIO的討論一直存在,有時候也很容易讓人混淆,就我的理解,給出一個解釋:
BIO | NIO | AIO,本身的描述都是在Java語言的基礎上的。而描述IO,我們需要從下面的層面分析:
- 程式語言
- 實現原理
- 底層基礎
從程式語言層面
BIO | NIO | AIO 以Java的角度,理解,linux c裡也有AIO的概念(庫),這些概念不知道什麼原因被炒火起來,這裡只從Java角度入手。
1. BIO,同步阻塞式IO,簡單理解:一個連線一個執行緒
2. NIO,同步非阻塞IO,簡單理解:一個請求一個執行緒
3. AIO,非同步非阻塞IO,簡單理解:一個有效請求一個執行緒
BIO
在JDK1.4之前,用Java編寫網路請求,都是建立一個ServerSocket,然後,客戶端建立Socket時就會詢問是否有執行緒可以處理,如果沒有,要麼等待,要麼被拒絕。即:一個連線,要求Server對應一個處理執行緒。
NIO
在Java裡的由來,在JDK1.4及以後版本中提供了一套API來專門操作非阻塞I/O,我們可以在java.nio包及其子包中找到相關的類和介面。由於這套API是JDK新提供的I/O API,因此,也叫New I/O,這就是包名nio的由來。這套API由三個主要的部分組成:緩衝區(Buffers)、通道(Channels)和非阻塞I/O的核心類組成。在理解NIO的時候,需要區分,說的是New I/O還是非阻塞IO,New I/O是Java的包,NIO是非阻塞IO概念。這裡講的是後面一種。
NIO本身是基於事件驅動思想來完成的,其主要想解決的是BIO的大併發問題: 在使用同步I/O的網路應用中,如果要同時處理多個客戶端請求,或是在客戶端要同時和多個伺服器進行通訊,就必須使用多執行緒來處理。也就是說,將每一個客戶端請求分配給一個執行緒來單獨處理。這樣做雖然可以達到我們的要求,但同時又會帶來另外一個問題。由於每建立一個執行緒,就要為這個執行緒分配一定的記憶體空間(也叫工作儲存器),而且作業系統本身也對執行緒的總數有一定的限制。如果客戶端的請求過多,服務端程式可能會因為不堪重負而拒絕客戶端的請求,甚至伺服器可能會因此而癱瘓。
NIO基於Reactor,當socket有流可讀或可寫入socket時,作業系統會相應的通知引用程式進行處理,應用再將流讀取到緩衝區或寫入作業系統。
也就是說,這個時候,已經不是一個連線就要對應一個處理執行緒了,而是有效的請求,對應一個執行緒,當連線沒有資料時,是沒有工作執行緒來處理的。
AIO
與NIO不同,當進行讀寫操作時,只須直接呼叫API的read或write方法即可。這兩種方法均為非同步的,對於讀操作而言,當有流可讀取時,作業系統會將可讀的流傳入read方法的緩衝區,並通知應用程式;對於寫操作而言,當作業系統將write方法傳遞的流寫入完畢時,作業系統主動通知應用程式。
即可以理解為,read/write方法都是非同步的,完成後會主動呼叫回撥函式。
在JDK1.7中,這部分內容被稱作NIO.2,主要在java.nio.channels包下增加了下面四個非同步通道:
- AsynchronousSocketChannel
- AsynchronousServerSocketChannel
- AsynchronousFileChannel
- AsynchronousDatagramChannel
其中的read/write方法,會返回一個帶回調函式的物件,當執行完讀取/寫入操作後,直接呼叫回撥函式。
實現原理
說到實現原理,還要從作業系統的IO模型上了解
按照《Unix網路程式設計》的劃分,IO模型可以分為:阻塞IO、非阻塞IO、IO複用、訊號驅動IO和非同步IO,按照POSIX標準來劃分只分為兩類:同步IO和非同步IO。如何區分呢?首先一個IO操作其實分成了兩個步驟:發起IO請求和實際的IO操作,同步IO和非同步IO的區別就在於第二個步驟是否阻塞,如果實際的IO讀寫阻塞請求程序,那麼就是同步IO,因此阻塞IO、非阻塞IO、IO複用、訊號驅動IO都是同步IO,如果不阻塞,而是作業系統幫你做完IO操作再將結果返回給你,那麼就是非同步IO。阻塞IO和非阻塞IO的區別在於第一步,發起IO請求是否會被阻塞,如果阻塞直到完成那麼就是傳統的阻塞IO,如果不阻塞,那麼就是非阻塞IO。
收到作業系統的IO模型,又不得不提select/poll/epoll/iocp,關於這四個的理解,不多做解釋,自己還沒理解到位。
可以理解的說明是:在Linux 2.6以後,java NIO的實現,是通過epoll來實現的,這點可以通過jdk的原始碼發現。而AIO,在windows上是通過IOCP實現的,在linux上還是通過epoll來實現的。
這裡強調一點:AIO,這是I/O處理模式,而epoll等都是實現AIO的一種程式設計模型;換句話說,AIO是一種介面標準,各家作業系統可以實現也可以不實現。在不同作業系統上在高併發情況下最好都採用作業系統推薦的方式。Linux上還沒有真正實現網路方式的AIO。
底層基礎
說到底層,要說Linux系統程式設計,這裡自己也不熟悉,有待後來人補充了。
只籠統的說一個:AIO實現
在windows上,AIO的實現是通過IOCP來完成的,看JDK的原始碼,可以發現
WindowsAsynchronousSocketChannelImpl
看實現介面:
implements Iocp.OverlappedChannel
再看實現方法:裡面的read0/write0方法是native方法,呼叫的jvm底層實現,虛擬機器技術不熟悉,不獻醜了。
在linux上,AIO的實現是通過epoll來完成的,看JDK原始碼,可以發現,實現原始碼是:
UnixAsynchronousSocketChannelImpl
看實現介面:
implements Port.PollableChannel
這是與windows最大的區別,poll的實現,在linux2.6後,預設使用epoll。