Buffer（緩衝器）

1.   基本 概念

IO 是主存和外部裝置 ( 硬碟、終端和網路等 ) 拷貝資料的過程。 IO 是作業系統的底層功能實現，底層通過 I/O 指令進行完成。

所有語言執行時系統提供執行 I/O 較高級別的工具。 (c 的 printf scanf,Java 的面向物件封裝 )

2.    Java 標準 io 回顧

Java 標準 IO 類庫是 io 面向物件的一種抽象。基於本地方法的底層實現，我們無須關注底層實現。 InputStream\OutputStream( 位元組流 )：一次傳送一個位元組。 Reader\Writer( 字元流 ) ：一次一個字元。

3.    nio 簡介

nio 是 Java New IO 的簡稱，在 jdk1.4 裡提供的新 api 。 Sun 官方標榜的特性如下：

–     為所有的原始型別提供 (Buffer) 快取支援。

–     字符集編碼解碼解決方案。

–     Channel ：一個新的原始 I/O 抽象。

–     支援鎖和記憶體對映檔案的檔案訪問介面。

–     提供多路 (non-bloking) 非阻塞式的高伸縮性網路 I/O 。

本文將圍繞這幾個特性進行學習和介紹。

4.   Buffer&Chanel

Channel 和 buffer 是 NIO 是兩個最基本的資料型別抽象。

Buffer:

–        是一塊連續的記憶體塊。

–        是 NIO 資料讀或寫的中轉地。

Channel:

–        資料的源頭或者資料的目的地

–        用於向 buffer 提供資料或者讀取 buffer 資料 ,buffer 物件的唯一介面。

–         非同步 I/O 支援

圖1：channel和buffer關係
 

例子 1:CopyFile.java:

1. package sample;  
2. import java.io.FileInputStream;  
3. import java.io.FileOutputStream;  
4. import java.nio.ByteBuffer;  
5. import java.nio.channels.FileChannel;  
6. public class CopyFile {  
7.     public static void main(String[] args) throws Exception {  
8.         String infile = "C:\\copy.sql";  
9.         String outfile = "C:\\copy.txt";  
10.         // 獲取原始檔和目標檔案的輸入輸出流  
11.         FileInputStream fin = new FileInputStream(infile);  
12.         FileOutputStream fout = new FileOutputStream(outfile);  
13.         // 獲取輸入輸出通道  
14.         FileChannel fcin = fin.getChannel();  
15.         FileChannel fcout = fout.getChannel();  
16.         // 建立緩衝區  
17.         ByteBuffer buffer = ByteBuffer.allocate(1024);  
18.         while (true) {  
19.             // clear方法重設緩衝區，使它可以接受讀入的資料  
20.             buffer.clear();  
21.             // 從輸入通道中將資料讀到緩衝區  
22.             int r = fcin.read(buffer);  
23.             // read方法返回讀取的位元組數，可能為零，如果該通道已到達流的末尾，則返回-1  
24.             if (r == -1) {  
25.                 break;  
26.             }  
27.             // flip方法讓緩衝區可以將新讀入的資料寫入另一個通道  
28.             buffer.flip();  
29.             // 從輸出通道中將資料寫入緩衝區  
30.             fcout.write(buffer);  
31.         }  
32.     }  
33. }  

其中 buffer 內部結構如下 ( 下圖拷貝自資料 ):

圖2：buffer內部結構 

一個 buffer 主要由 position,limit,capacity 三個變數來控制讀寫的過程。此三個變數的含義見如下表格：

Buffer 常見方法：

flip(): 寫模式轉換成讀模式

rewind() ：將 position 重置為 0 ，一般用於重複讀。

clear() ：清空 buffer ，準備再次被寫入 (position 變成 0 ， limit 變成 capacity) 。

compact(): 將未讀取的資料拷貝到 buffer 的頭部位。

mark() 、 reset():mark 可以標記一個位置， reset 可以重置到該位置。

Buffer 常見型別： ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、ShortBuffer 。

channel 常見型別 :FileChannel 、 DatagramChannel(UDP) 、 SocketChannel(TCP) 、 ServerSocketChannel(TCP)

在本機上面做了個簡單的效能測試。我的筆記本效能一般。 ( 具體程式碼可以見附件。見 nio.sample.filecopy 包下面的例子 ) 以下是參考資料：

–        場景 1 ： Copy 一個 370M 的檔案

–        場景 2: 三個執行緒同時拷貝，每個執行緒拷貝一個 370M 檔案

5.    nio.charset

字元編碼解碼 : 位元組碼本身只是一些數字，放到正確的上下文中被正確被解析。向 ByteBuffer 中存放資料時需要考慮字符集的編碼方式，讀取展示 ByteBuffer 資料時涉及對字符集解碼。

Java.nio.charset 提供了編碼解碼一套解決方案。

以我們最常見的 http 請求為例，在請求的時候必須對請求進行正確的編碼。在得到響應時必須對響應進行正確的解碼。

以下程式碼向 baidu 發一次請求，並獲取結果進行顯示。例子演示到了 charset 的使用。

例子 2BaiduReader.java

1. package nio.readpage;  
2. import java.nio.ByteBuffer;  
3. import java.nio.channels.SocketChannel;  
4. import java.nio.charset.Charset;  
5. import java.net.InetSocketAddress;  
6. import java.io.IOException;  
7. public class BaiduReader {  
8.     private Charset charset = Charset.forName("GBK");// 建立GBK字符集  
9.     private SocketChannel channel;  
10.     public void readHTMLContent() {  
11.         try {  
12.             InetSocketAddress socketAddress = new InetSocketAddress(  
13. "www.baidu.com", 80);  
14. //step1:開啟連線  
15.             channel = SocketChannel.open(socketAddress);  
16.         //step2:傳送請求，使用GBK編碼  
17.             channel.write(charset.encode("GET " + "/ HTTP/1.1" + "\r\n\r\n"));  
18.             //step3:讀取資料  
19.             ByteBuffer buffer = ByteBuffer.allocate(1024);// 建立1024位元組的緩衝  
20.             while (channel.read(buffer) != -1) {  
21.                 buffer.flip();// flip方法在讀緩衝區位元組操作之前呼叫。  
22.                 System.out.println(charset.decode(buffer));  
23.                 // 使用Charset.decode方法將位元組轉換為字串  
24.                 buffer.clear();// 清空緩衝  
25.             }  
26.         } catch (IOException e) {  
27.             System.err.println(e.toString());  
28.         } finally {  
29.             if (channel != null) {  
30.                 try {  
31.                     channel.close();  
32.                 } catch (IOException e) {  
33.                 }  
34.             }  
35.         }  
36.     }  
37.     public static void main(String[] args) {  
38.         new BaiduReader().readHTMLContent();  
39.     }  
40. }  

6.      非阻塞 IO

關於非阻塞 IO 將從何為阻塞、何為非阻塞、非阻塞原理和非同步核心 API 幾個方面來理解。

何為阻塞？

一個常見的網路 IO 通訊流程如下 :

圖3：網路通訊基本過程

從該網路通訊過程來理解一下何為阻塞 :

在以上過程中若連線還沒到來，那麼 accept 會阻塞 , 程式執行到這裡不得不掛起， CPU 轉而執行其他執行緒。

在以上過程中若資料還沒準備好， read 會一樣也會阻塞。

阻塞式網路 IO 的特點：多執行緒處理多個連線。每個執行緒擁有自己的棧空間並且佔用一些 CPU 時間。每個執行緒遇到外部為準備好的時候，都會阻塞掉。阻塞的結果就是會帶來大量的程序上下文切換。且大部分程序上下文切換可能是無意義的。比如假設一個執行緒監聽一個埠，一天只會有幾次請求進來，但是該 cpu 不得不為該執行緒不斷做上下文切換嘗試，大部分的切換以阻塞告終。

何為非阻塞？

下面有個隱喻：

一輛從 A 開往 B 的公共汽車上，路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車，對於需要下車的人，如何處理更好？

1. 司機過程中定時詢問每個乘客是否到達目的地，若有人說到了，那麼司機停車，乘客下車。 ( 類似阻塞式 )

2. 每個人告訴售票員自己的目的地，然後睡覺，司機只和售票員互動，到了某個點由售票員通知乘客下車。 ( 類似非阻塞 )

很顯然，每個人要到達某個目的地可以認為是一個執行緒，司機可以認為是 CPU 。在阻塞式裡面，每個執行緒需要不斷的輪詢，上下文切換，以達到找到目的地的結果。而在非阻塞方式裡，每個乘客 ( 執行緒 ) 都在睡覺 ( 休眠 ) ，只在真正外部環境準備好了才喚醒，這樣的喚醒肯定不會阻塞。

  非阻塞的原理

把整個過程切換成小的任務，通過任務間協作完成。

由一個專門的執行緒來處理所有的 IO 事件，並負責分發。

事件驅動機制：事件到的時候觸發，而不是同步的去監視事件。

執行緒通訊：執行緒之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的程序切換。

以下是非同步 IO 的結構：

圖4：非阻塞基本原理

Reactor 就是上面隱喻的售票員角色。每個執行緒的處理流程大概都是讀取資料、解碼、計算處理、編碼、傳送響應。

非同步 IO 核心 API

Selector

非同步 IO 的核心類，它能檢測一個或多個通道 (channel) 上的事件，並將事件分發出去。

使用一個 select 執行緒就能監聽多個通道上的事件，並基於事件驅動觸發相應的響應。而不需要為每個 channel 去分配一個執行緒。

SelectionKey

包含了事件的狀態資訊和時間對應的通道的繫結。

例子 1 單執行緒實現監聽兩個埠。 ( 見 nio.asyn 包下面的例子。 )

例子 2 NIO 執行緒協作實現資源合理利用。 (wait,notify) 。 ( 見 nio.asyn.multithread 下的例子 )