Java 網絡IO編程總結
1、BIO編程
1.1、傳統的BIO編程
網絡編程的基本模型是C/S模型,即兩個進程間的通信。
服務端提供IP和監聽端口,客戶端通過連接操作想服務端監聽的地址發起連接請求,通過三次握手連接,如果連接成功建立,雙方就可以通過套接字進行通信。
傳統的同步阻塞模型開發中,ServerSocket負責綁定IP地址,啟動監聽端口;Socket負責發起連接操作。連接成功後,雙方通過輸入和輸出流進行同步阻塞式通信。
采用BIO通信模型的服務端,通常由一個獨立的Acceptor線程負責監聽客戶端的連接,它接收到客戶端連接請求之後為每個客戶端創建一個新的線程進行鏈路處理沒處理完成後,通過輸出流返回應答給客戶端,線程銷毀。即典型的一請求一應答通宵模型。
該模型最大的問題就是缺乏彈性伸縮能力,當客戶端並發訪問量增加後,服務端的線程個數和客戶端並發訪問數呈1:1的正比關系,Java中的線程也是比較寶貴的系統資源,線程數量快速膨脹後,系統的性能將急劇下降,隨著訪問量的繼續增大,系統最終就死-掉-了。
1.2、偽異步I/O編程
為了改進這種一連接一線程的模型,我們可以使用線程池來管理這些線程,實現1個或多個線程處理N個客戶端的模型(但是底層還是使用的同步阻塞I/O),通常被稱為“偽異步I/O模型“。
如果使用CachedThreadPool線程池(不限制線程數量,如果不清楚請參考文首提供的文章),其實除了能自動幫我們管理線程(復用),看起來也就像是1:1的客戶端:線程數模型,而使用FixedThreadPool我們就有效的控制了線程的最大數量,保證了系統有限的資源的控制,實現了N:M的偽異步I/O模型。
但是,正因為限制了線程數量,如果發生大量並發請求,超過最大數量的線程就只能等待,直到線程池中的有空閑的線程可以被復用。而對Socket的輸入流就行讀取時,會一直阻塞,直到發生:
- 有數據可讀
- 可用數據以及讀取完畢
- 發生空指針或I/O異常
所以在讀取數據較慢時(比如數據量大、網絡傳輸慢等),大量並發的情況下,其他接入的消息,只能一直等待,這就是最大的弊端。
2、NIO 編程
JDK 1.4中的java.nio.*包中引入新的Java I/O庫,其目的是提高速度。
實際上,“舊”的I/O包已經使用NIO重新實現過,即使我們不顯式的使用NIO編程,也能從中受益。速度的提高在文件I/O和網絡I/O中都可能會發生。
2.1、簡介
NIO我們一般認為是New I/O(也是官方的叫法),因為它是相對於老的I/O類庫新增的(其實在JDK 1.4中就已經被引入了,但這個名詞還會繼續用很久,即使它們在現在看來已經是“舊”的了,所以也提示我們在命名時,需要好好考慮),做了很大的改變。但民間跟多人稱之為Non-block I/O,即非阻塞I/O,因為這樣叫,更能體現它的特點。而下文中的NIO,不是指整個新的I/O庫,而是非阻塞I/O。
NIO提供了與傳統BIO模型中的Socket和ServerSocket相對應的SocketChannel和ServerSocketChannel兩種不同的套接字通道實現。
新增的著兩種通道都支持阻塞和非阻塞兩種模式。
阻塞模式使用就像傳統中的支持一樣,比較簡單,但是性能和可靠性都不好;非阻塞模式正好與之相反。
對於低負載、低並發的應用程序,可以使用同步阻塞I/O來提升開發速率和更好的維護性;對於高負載、高並發的(網絡)應用,應使用NIO的非阻塞模式來開發。
下面會先對基礎知識進行介紹。
2.2、緩沖區 Buffer
Buffer是一個對象,包含一些要寫入或者讀出的數據。
在NIO庫中,所有數據都是用緩沖區處理的。在讀取數據時,它是直接讀到緩沖區中的;在寫入數據時,也是寫入到緩沖區中。任何時候訪問NIO中的數據,都是通過緩沖區進行操作。
緩沖區實際上是一個數組,並提供了對數據結構化訪問以及維護讀寫位置等信息。
具體的緩存區有這些:ByteBuffe、CharBuffer、 ShortBuffer、IntBuffer、LongBuffer、FloatBuffer、DoubleBuffer。他們實現了相同的接口:Buffer。
2.3、通道 Channel
我們對數據的讀取和寫入要通過Channel,它就像水管一樣,是一個通道。通道不同於流的地方就是通道是雙向的,可以用於讀、寫和同時讀寫操作。
底層的操作系統的通道一般都是全雙工的,所以全雙工的Channel比流能更好的映射底層操作系統的API。
Channel主要分兩大類:
- SelectableChannel:用戶網絡讀寫
- FileChannel:用於文件操作
後面代碼會涉及的ServerSocketChannel和SocketChannel都是SelectableChannel的子類。
2.4、多路復用器 Selector
Selector是Java NIO 編程的基礎。
Selector提供選擇已經就緒的任務的能力:Selector會不斷輪詢註冊在其上的Channel,如果某個Channel上面發生讀或者寫事件,這個Channel就處於就緒狀態,會被Selector輪詢出來,然後通過SelectionKey可以獲取就緒Channel的集合,進行後續的I/O操作。
一個Selector可以同時輪詢多個Channel,因為JDK使用了epoll()代替傳統的select實現,所以沒有最大連接句柄1024/2048的限制。所以,只需要一個線程負責Selector的輪詢,就可以接入成千上萬的客戶端。
2.5、NIO服務端
代碼比傳統的Socket編程看起來要復雜不少。
可以看到,創建NIO服務端的主要步驟如下:
- 打開ServerSocketChannel,監聽客戶端連接
- 綁定監聽端口,設置連接為非阻塞模式
- 創建Reactor線程,創建多路復用器並啟動線程
- 將ServerSocketChannel註冊到Reactor線程中的Selector上,監聽ACCEPT事件
- Selector輪詢準備就緒的key
- Selector監聽到新的客戶端接入,處理新的接入請求,完成TCP三次握手,簡歷物理鏈路
- 設置客戶端鏈路為非阻塞模式
- 將新接入的客戶端連接註冊到Reactor線程的Selector上,監聽讀操作,讀取客戶端發送的網絡消息
- 異步讀取客戶端消息到緩沖區
- 對Buffer編解碼,處理半包消息,將解碼成功的消息封裝成Task
- 將應答消息編碼為Buffer,調用SocketChannel的write將消息異步發送給客戶端
3、AIO編程
NIO 2.0引入了新的異步通道的概念,並提供了異步文件通道和異步套接字通道的實現。
異步的套接字通道時真正的異步非阻塞I/O,對應於UNIX網絡編程中的事件驅動I/O(AIO)。他不需要過多的Selector對註冊的通道進行輪詢即可實現異步讀寫,從而簡化了NIO的編程模型。
Java 網絡IO編程總結