Java IO 程式設計(BIO、NIO、AIO完整例項程式碼)
本文會從傳統的BIO到NIO再到AIO自淺至深介紹,並附上程式碼講解。
原始碼地址: https://github.com/kkman2008/java-IO.git
下面程式碼中會使用這樣一個例子:客戶端傳送一段算式的字串到伺服器,伺服器計算後返回結果到客戶端。
程式碼的所有說明,都直接作為註釋,嵌入到程式碼中,看程式碼時就能更容易理解,程式碼中會用到一個計算結果的工具類,見文章程式碼部分。
相關的基礎知識文章推薦:
1、BIO程式設計
1.1、傳統的BIO程式設計
網路程式設計的基本模型是C/S模型,即兩個程序間的通訊。
服務端提供IP和監聽埠,客戶端通過連線操作想服務端監聽的地址發起連線請求,通過三次握手連線,如果連線成功建立,雙方就可以通過套接字進行通訊。
傳統的同步阻塞模型開發中,ServerSocket負責繫結IP地址,啟動監聽埠;Socket負責發起連線操作。連線成功後,雙方通過輸入和輸出流進行同步阻塞式通訊。
簡單的描述一下BIO的服務端通訊模型:採用BIO通訊模型的服務端,通常由一個獨立的Acceptor執行緒負責監聽客戶端的連線,它接收到客戶端連線請求之後為每個客戶端建立一個新的執行緒進行鏈路處理沒處理完成後,通過輸出流返回應答給客戶端,執行緒銷燬。即典型的一請求一應答通宵模型。
傳統BIO通訊模型圖:
該模型最大的問題就是缺乏彈性伸縮能力,當客戶端併發訪問量增加後,服務端的執行緒個數和客戶端併發訪問數呈1:1的正比關係,Java中的執行緒也是比較寶貴的系統資源,執行緒數量快速膨脹後,系統的效能將急劇下降,隨著訪問量的繼續增大,系統最終就死-掉-了
同步阻塞式I/O建立的Server原始碼:
- package com.anxpp.calculator.bio;
- import java.io.IOException;
- import java.net.ServerSocket;
- import java.net.Socket;
- import java.util.concurrent.ExecutorService;
- import java.util.concurrent.Executors;
- /**
- * BIO服務端原始碼
- * @author yangtao__anxpp.com
- * @version 1.0
- */
- public final class Server {
- //預設的埠號
- private static int DEFAULT_PORT = 12345;
- //單例的ServerSocket
- private static ServerSocket server;
- //根據傳入引數設定監聽埠,如果沒有引數呼叫以下方法並使用預設值
- public static void start() throws IOException{
- //使用預設值
- start(DEFAULT_PORT);
- }
- //這個方法不會被大量併發訪問,不太需要考慮效率,直接進行方法同步就行了
- public synchronized static void start(int port) throws IOException{
- if(server != null) return;
- try{
- //通過建構函式建立ServerSocket
- //如果埠合法且空閒,服務端就監聽成功
- server = new ServerSocket(port);
- System.out.println("伺服器已啟動,埠號:" + port);
- Socket socket;
- //通過無線迴圈監聽客戶端連線
- //如果沒有客戶端接入,將阻塞在accept操作上。
- while(true){
- socket = server.accept();
- //當有新的客戶端接入時,會執行下面的程式碼
- //然後建立一個新的執行緒處理這條Socket鏈路
- new Thread(new ServerHandler(socket)).start();
- }
- }finally{
- //一些必要的清理工作
- if(server != null){
- System.out.println("伺服器已關閉。");
- server.close();
- server = null;
- }
- }
- }
- }
客戶端訊息處理執行緒ServerHandler原始碼:
- package com.anxpp.calculator.bio;
- import java.io.BufferedReader;
- import java.io.IOException;
- import java.io.InputStreamReader;
- import java.io.PrintWriter;
- import java.net.Socket;
- import com.anxpp.utils.Calculator;
- /**
- * 客戶端執行緒
- * @author yangtao__anxpp.com
- * 用於處理一個客戶端的Socket鏈路
- */
- public class ServerHandler implements Runnable{
- private Socket socket;
- public ServerHandler(Socket socket) {
- this.socket = socket;
- }
- @Override
- public void run() {
- BufferedReader in = null;
- PrintWriter out = null;
- try{
- in = new BufferedReader(new InputStreamReader(socket.getInputStream()));
- out = new PrintWriter(socket.getOutputStream(),true);
- String expression;
- String result;
- while(true){
- //通過BufferedReader讀取一行
- //如果已經讀到輸入流尾部,返回null,退出迴圈
- //如果得到非空值,就嘗試計算結果並返回
- if((expression = in.readLine())==null) break;
- System.out.println("伺服器收到訊息:" + expression);
- try{
- result = Calculator.cal(expression).toString();
- }catch(Exception e){
- result = "計算錯誤:" + e.getMessage();
- }
- out.println(result);
- }
- }catch(Exception e){
- e.printStackTrace();
- }finally{
- //一些必要的清理工作
- if(in != null){
- try {
- in.close();
- } catch (IOException e) {
- e.printStackTrace();
- }
- in = null;
- }
- if(out != null){
- out.close();
- out = null;
- }
- if(socket != null){
- try {
- socket.close();
- } catch (IOException e) {
- e.printStackTrace();
- }
- socket = null;
- }
- }
- }
- }
同步阻塞式I/O建立的Client原始碼:
- package com.anxpp.calculator.bio;
- import java.io.BufferedReader;
- import java.io.IOException;
- import java.io.InputStreamReader;
- import java.io.PrintWriter;
- import java.net.Socket;
- /**
- * 阻塞式I/O建立的客戶端
- * @author yangtao__anxpp.com
- * @version 1.0
- */
- public class Client {
- //預設的埠號
- private static int DEFAULT_SERVER_PORT = 12345;
- private static String DEFAULT_SERVER_IP = "127.0.0.1";
- public static void send(String expression){
- send(DEFAULT_SERVER_PORT,expression);
- }
- public static void send(int port,String expression){
- System.out.println("算術表示式為:" + expression);
- Socket socket = null;
- BufferedReader in = null;
- PrintWriter out = null;
- try{
- socket = new Socket(DEFAULT_SERVER_IP,port);
- in = new BufferedReader(new InputStreamReader(socket.getInputStream()));
- out = new PrintWriter(socket.getOutputStream(),true);
- out.println(expression);
- System.out.println("___結果為:" + in.readLine());
- }catch(Exception e){
- e.printStackTrace();
- }finally{
- //一下必要的清理工作
- if(in != null){
- try {
- in.close();
- } catch (IOException e) {
- e.printStackTrace();
- }
- in = null;
- }
- if(out != null){
- out.close();
- out = null;
- }
- if(socket != null){
- try {
- socket.close();
- } catch (IOException e) {
- e.printStackTrace();
- }
- socket = null;
- }
- }
- }
- }
測試程式碼,為了方便在控制檯看輸出結果,放到同一個程式(jvm)中執行:
- package com.anxpp.calculator.bio;
- import java.io.IOException;
- import java.util.Random;
- /**
- * 測試方法
- * @author yangtao__anxpp.com
- * @version 1.0
- */
- public class Test {
- //測試主方法
- public static void main(String[] args) throws InterruptedException {
- //執行伺服器
- new Thread(new Runnable() {
- @Override
- public void run() {
- try {
- Server.start();
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- }).start();
- //避免客戶端先於伺服器啟動前執行程式碼
- Thread.sleep(100);
- //執行客戶端
- char operators[] = {'+','-','*','/'};
- Random random = new Random(System.currentTimeMillis());
- new Thread(new Runnable() {
- @SuppressWarnings("static-access")
- @Override
- public void run() {
- while(true){
- //隨機產生算術表示式
- String expression = random.nextInt(10)+""+operators[random.nextInt(4)]+(random.nextInt(10)+1);
- Client.send(expression);
- try {
- Thread.currentThread().sleep(random.nextInt(1000));
- } catch (InterruptedException e) {
- e.printStackTrace();
- }
- }
- }
- }).start();
- }
- }
其中一次的執行結果:
- 伺服器已啟動,埠號:12345
- 算術表示式為:4-2
- 伺服器收到訊息:4-2
- ___結果為:2
- 算術表示式為:5-10
- 伺服器收到訊息:5-10
- ___結果為:-5
- 算術表示式為:0-9
- 伺服器收到訊息:0-9
- ___結果為:-9
- 算術表示式為:0+6
- 伺服器收到訊息:0+6
- ___結果為:6
- 算術表示式為:1/6
- 伺服器收到訊息:1/6
- ___結果為:0.16666666666666666
- ...
從以上程式碼,很容易看出,BIO主要的問題在於每當有一個新的客戶端請求接入時,服務端必須建立一個新的執行緒來處理這條鏈路,在需要滿足高效能、高併發的場景是沒法應用的(大量建立新的執行緒會嚴重影響伺服器效能,甚至罷工)。
1.2、偽非同步I/O程式設計
為了改進這種一連線一執行緒的模型,我們可以使用執行緒池來管理這些執行緒(需要了解更多請參考前面提供的文章),實現1個或多個執行緒處理N個客戶端的模型(但是底層還是使用的同步阻塞I/O),通常被稱為“偽非同步I/O模型“。
偽非同步I/O模型圖:
實現很簡單,我們只需要將新建執行緒的地方,交給執行緒池管理即可,只需要改動剛剛的Server程式碼即可:
- package com.anxpp.calculator.bio;
- import java.io.IOException;
- import java.net.ServerSocket;
- import java.net.Socket;
- import java.util.concurrent.ExecutorService;
- import java.util.concurrent.Executors;
- /**
- * BIO服務端原始碼__偽非同步I/O
- * @author yangtao__anxpp.com
- * @version 1.0
- */
- public final class ServerBetter {
- //預設的埠號
- private static int DEFAULT_PORT = 12345;
- //單例的ServerSocket
- private static ServerSocket server;
- //執行緒池 懶漢式的單例
- private static ExecutorService executorService = Executors.newFixedThreadPool(60);
- //根據傳入引數設定監聽埠,如果沒有引數呼叫以下方法並使用預設值
- public static void start() throws IOException{
- //使用預設值
- start(DEFAULT_PORT);
- }
- //這個方法不會被大量併發訪問,不太需要考慮效率,直接進行方法同步就行了
- public synchronized static void start(int port) throws IOException{
- if(server != null) return;
- try{
- //通過建構函式建立ServerSocket
- //如果埠合法且空閒,服務端就監聽成功
- server = new ServerSocket(port);
- System.out.println("伺服器已啟動,埠號:" + port);
- Socket socket;
- //通過無線迴圈監聽客戶端連線
- //如果沒有客戶端接入,將阻塞在accept操作上。
- while(true){
- socket = server.accept();
- //當有新的客戶端接入時,會執行下面的程式碼
- //然後建立一個新的任務處理這條Socket鏈路,並把任務交給執行緒池管理
- executorService.execute(new ServerHandler(socket));
- }
- }finally{
- //一些必要的清理工作
- if(server != null){
- System.out.println("伺服器已關閉。");
- server.close();
- server = null;
- }
- }
- }
- }
測試執行結果是一樣的。
我們知道,如果使用CachedThreadPool執行緒池(不限制執行緒數量,如果不清楚請參考文首提供的文章),其實除了能自動幫我們管理執行緒(複用),看起來也就像是1:1的客戶端:執行緒數模型,而使用FixedThreadPool我們就有效的控制了執行緒的最大數量,保證了系統有限的資源的控制,實現了N:M的偽非同步I/O模型。
但是,正因為限制了執行緒數量,如果發生大量併發請求,超過最大數量的執行緒就只能等待,直到執行緒池中的有空閒的執行緒可以被複用。而對Socket的輸入流就行讀取時,會一直阻塞,直到發生:
- 有資料可讀
- 可用資料以及讀取完畢
- 發生空指標或I/O異常
所以在讀取資料較慢時(比如資料量大、網路傳輸慢等),大量併發的情況下,其他接入的訊息,只能一直等待,這就是最大的弊端。
而後面即將介紹的NIO,就能解決這個難題。
2、NIO 程式設計
JDK 1.4中的java.nio.*包中引入新的Java I/O庫,其目的是提高速度。實際上,“舊”的I/O包已經使用NIO重新實現過,即使我們不顯式的使用NIO程式設計,也能從中受益。速度的提高在檔案I/O和網路I/O中都可能會發生,但本文只討論後者。
2.1、簡介
NIO我們一般認為是New I/O(也是官方的叫法),因為它是相對於老的I/O類庫新增的(其實在JDK 1.4中就已經被引入了,但這個名詞還會繼續用很久,即使它們在現在看來已經是“舊”的了,所以也提示我們在命名時,需要好好考慮),做了很大的改變。但民間跟多人稱之為Non-block I/O,即非阻塞I/O,因為這樣叫,更能體現它的特點。而下文中的NIO,不是指整個新的I/O庫,而是非阻塞I/O。
NIO提供了與傳統BIO模型中的Socket和ServerSocket相對應的SocketChannel和ServerSocketChannel兩種不同的套接字通道實現。
新增的著兩種通道都支援阻塞和非阻塞兩種模式。
阻塞模式使用就像傳統中的支援一樣,比較簡單,但是效能和可靠性都不好;非阻塞模式正好與之相反。
對於低負載、低併發的應用程式,可以使用同步阻塞I/O來提升開發速率和更好的維護性;對於高負載、高併發的(網路)應用,應使用NIO的非阻塞模式來開發。
下面會先對基礎知識進行介紹。
2.2、緩衝區 Buffer
Buffer是一個物件,包含一些要寫入或者讀出的資料。
在NIO庫中,所有資料都是用緩衝區處理的。在讀取資料時,它是直接讀到緩衝區中的;在寫入資料時,也是寫入到緩衝區中。任何時候訪問NIO中的資料,都是通過緩衝區進行操作。
緩衝區實際上是一個數組,並提供了對資料結構化訪問以及維護讀寫位置等資訊。
具體的快取區有這些:ByteBuffe、CharBuffer、 ShortBuffer、IntBuffer、LongBuffer、FloatBuffer、DoubleBuffer。他們實現了相同的介面:Buffer。
2.3、通道 Channel
我們對資料的讀取和寫入要通過Channel,它就像水管一樣,是一個通道。通道不同於流的地方就是通道是雙向的,可以用於讀、寫和同時讀寫操作。
底層的作業系統的通道一般都是全雙工的,所以全雙工的Channel比流能更好的對映底層作業系統的API。
Channel主要分兩大類:
- SelectableChannel:使用者網路讀寫
- FileChannel:用於檔案操作
後面程式碼會涉及的ServerSocketChannel和SocketChannel都是SelectableChannel的子類。
2.4、多路複用器 Selector
Selector是Java NIO 程式設計的基礎。
Selector提供選擇已經就緒的任務的能力:Selector會不斷輪詢註冊在其上的Channel,如果某個Channel上面發生讀或者寫事件,這個Channel就處於就緒狀態,會被Selector輪詢出來,然後通過SelectionKey可以獲取就緒Channel的集合,進行後續的I/O操作。
一個Selector可以同時輪詢多個Channel,因為JDK使用了epoll()代替傳統的select實現,所以沒有最大連線控制代碼1024/2048的限制。所以,只需要一個執行緒負責Selector的輪詢,就可以接入成千上萬的客戶端。
2.5、NIO服務端
程式碼比傳統的Socket程式設計看起來要複雜不少。
直接貼程式碼吧,以註釋的形式給出程式碼說明。
NIO建立的Server原始碼:
- package com.anxpp.calculator.nio;
- public class Server {
- private static int DEFAULT_PORT = 12345;
- private static ServerHandle serverHandle;
- public static void start(){
- start(DEFAULT_PORT);
- }
- public static synchronized void start(int port){
- if(serverHandle!=null)
- serverHandle.stop();
- serverHandle = new ServerHandle(port);
- new Thread(serverHandle,"Server").start();
- }
- public static void main(String[] args){
- start();
- }
- }
ServerHandle:
- package com.anxpp.calculator.nio;
- import java.io.IOException;
- import java.net.InetSocketAddress;
- import java.nio.ByteBuffer;
- import java.nio.channels.SelectionKey;
- import java.nio.channels.Selector;
- import java.nio.channels.ServerSocketChannel;
- import java.nio.channels.SocketChannel;
- import java.util.Iterator;
- import java.util.Set;
- import com.anxpp.utils.Calculator;
- /**
- * NIO服務端
- * @author yangtao__anxpp.com
- * @version 1.0
- */
- public class ServerHandle implements Runnable{
- private Selector selector;
- private ServerSocketChannel serverChannel;
- private volatile boolean started;
- /**
- * 構造方法
- * @param port 指定要監聽的埠號
- */
- public ServerHandle(int port) {
- try{
- //建立選擇器
- selector = Selector.open();
- //開啟監聽通道
- serverChannel = ServerSocketChannel.open();
- //如果為 true,則此通道將被置於阻塞模式;如果為 false,則此通道將被置於非阻塞模式
- serverChannel.configureBlocking(false);//開啟非阻塞模式
- //繫結埠 backlog設為1024
- serverChannel.socket().bind(new InetSocketAddress(port),1024);
- //監聽客戶端連線請求
- serverChannel.register(selector, SelectionKey.OP_ACCEPT);
- //標記伺服器已開啟
- started = true;
- System.out.println("伺服器已啟動,埠號:" + port);
- }catch(IOException e){
- e.printStackTrace();
- System.exit(1);
- }
- }
- public void stop(){
- started = false;
- }
- @Override
- public void run() {
- //迴圈遍歷selector
- while(started){
- try{
- //無論是否有讀寫事件發生,selector每隔1s被喚醒一次
- selector.select(1000);
- //阻塞,只有當至少一個註冊的事件發生的時候才會繼續.
- // selector.select();
- Set<SelectionKey> keys = selector.selectedKeys();
- Iterator<SelectionKey> it = keys.iterator();
- SelectionKey key = null;
- while(it.hasNext()){
- key = it.next();
- it.remove();
- try{
- handleInput(key);
- }catch(Exception e){
- if(key != null){
- key.cancel();
- if(key.channel() != null){
- key.channel().close();
- }
- }
- }
- }
- }catch(Throwable t){
- t.printStackTrace();
- }
- }
- //selector關閉後會自動釋放裡面管理的資源
- if(selector != null)
- try{
- selector.close();
- }catch (Exception e) {
- e.printStackTrace();
- }
- }
- private void handleInput(SelectionKey key) throws IOException{
- if(key.isValid()){
- //處理新接入的請求訊息
- if(key.isAcceptable()){
- ServerSocketChannel ssc = (ServerSocketChannel) key.channel();
- //通過ServerSocketChannel的accept建立SocketChannel例項
- //完成該操作意味著完成TCP三次握手,TCP物理鏈路正式建立
- SocketChannel sc = ssc.accept();
- //設定為非阻塞的
- sc.configureBlocking(false);
- //註冊為讀
- sc.register(selector, SelectionKey.OP_READ);
- }
- //讀訊息
- if(key.isReadable()){
- SocketChannel sc = (SocketChannel) key.channel();
- //建立ByteBuffer,並開闢一個1M的緩衝區
- ByteBuffer buffer = ByteBuffer.allocate(1024);
- //讀取請求碼流,返回讀取到的位元組數
- int readBytes = sc.read(buffer);
- //讀取到位元組,對位元組進行編解碼
- if(readBytes>0){
- //將緩衝區當前的limit設定為position=0,用於後續對緩衝區的讀取操作
- buffer.flip();
- //根據緩衝區可讀位元組數建立位元組陣列
- byte[] bytes = new byte[buffer.remaining()];
- //將緩衝區可讀位元組陣列複製到新建的陣列中
- buffer.get(bytes);
- String expression = new String(bytes,"UTF-8");
- System.out.println("伺服器收到訊息:" + expression);
- //處理資料
- String result = null;
- try{
- result = Calculator.cal(expression).toString();
- }catch(Exception e){
- result = "計算錯誤:" + e.getMessage();
- }
- //傳送應答訊息
- doWrite(sc,result);
- }
- //沒有讀取到位元組 忽略
- // else if(readBytes==0);
- //鏈路已經關閉,釋放資源
- else if(readBytes<0){
- key.cancel();
- sc.close();
- }
- }
- }
- }
- //非同步傳送應答訊息
- private void doWrite(SocketChannel channel,String response) throws IOException{
- //將訊息編碼為位元組陣列
- byte[] bytes = response.getBytes();
- //根據陣列容量建立ByteBuffer
- ByteBuffer writeBuffer = ByteBuffer.allocate(bytes.length);
- //將位元組陣列複製到緩衝區
- writeBuffer.put(bytes);
- //flip操作
- writeBuffer.flip();
- //傳送緩衝區的位元組陣列
- channel.write(writeBuffer);
- //****此處不含處理“寫半包”的程式碼
- }
- }
可以看到,建立NIO服務端的主要步驟如下:
- 開啟ServerSocketChannel,監聽客戶端連線
- 繫結監聽埠,設定連線為非阻塞模式
- 建立Reactor執行緒,建立多路複用器並啟動執行緒
- 將ServerSocketChannel註冊到Reactor執行緒中的Selector上,監聽ACCEPT事件
- Selector輪詢準備就緒的key
- Selector監聽到新的客戶端接入,處理新的接入請求,完成TCP三次握手,簡歷物理鏈路
- 設定客戶端鏈路為非阻塞模式
- 將新接入的客戶端連線註冊到Reactor執行緒的Selector上,監聽讀操作,讀取客戶端傳送的網路訊息
- 非同步讀取客戶端訊息到緩衝區
- 對Buffer編解碼,處理半包訊息,將解碼成功的訊息封裝成Task
- 將應答訊息編碼為Buffer,呼叫SocketChannel的write將訊息非同步傳送給客戶端
因為應答訊息的傳送,SocketChannel也是非同步非阻塞的,所以不能保證一次能吧需要傳送的資料傳送完,此時就會出現寫半包的問題。我們需要註冊寫操作,不斷輪詢Selector將沒有傳送完的訊息傳送完畢,然後通過Buffer的hasRemain()方法判斷訊息是否傳送完成。
2.6、NIO客戶端
還是直接上程式碼吧,過程也不需要太多解釋了,跟服務端程式碼有點類似:
- package com.anxpp.calculator.nio;
- public class Client {
- private static String DEFAULT_HOST = "127.0.0.1";
- private static int DEFAULT_PORT = 12345;
- private static ClientHandle clientHandle;
- public static void start(){
- start(DEFAULT_HOST,DEFAULT_PORT);
- }
- public static synchronized void start(String ip,int port){
- if(clientHandle!=null)
- clientHandle.stop();
- clientHandle = new ClientHandle(ip,port);
- new Thread(clientHandle,"Server").start();
- }
- //向伺服器傳送訊息
- public static boolean sendMsg(String msg) throws Exception{
- if(msg.equals("q")) return false;
- clientHandle.sendMsg(msg);
- return true;
- }
- public static void main(String[] args){
- start();
- }
- }
ClientHandle:
- package com.anxpp.calculator.nio;
- import java.io.IOException;
- import java.net.InetSocketAddress;
- import java.nio.ByteBuffer;
- import java.nio.channels.SelectionKey;
- import java.nio.channels.Selector;
- import java.nio.channels.SocketChannel;
- import java.util.Iterator;
- import java.util.Set;
- /**
- * NIO客戶端
- * @author yangtao__anxpp.com
- * @version 1.0
- */
- public class ClientHandle implements Runnable{
- private String host;
- private int port;
- private Selector selector;
- private SocketChannel socketChannel;
- private volatile boolean started;
- public ClientHandle(String ip,int port) {
- this.host = ip;
- this.port = port;
- try{
- //建立選擇器
- selector = Selector.open();
- //開啟監聽通道
- socketChannel = SocketChannel.open();
- //如果為 true,則此通道將被置於阻塞模式;如果為 false,則此通道將被置於非阻塞模式
- socketChannel.configureBlocking(false);//開啟非阻塞模式
- started = true;
- }catch(IOException e){
- e.printStackTrace();
- System.exit(1);
- }
- }
- @Override
- public void run() {
- try{
- doConnect();
- }catch(IOException e){
- e.printStackTrace();
- System.exit(1);
- }
- //迴圈遍歷selector
- while(started){
- try{
- //無論是否有讀寫事件發生,selector每隔1s被喚醒一次
- selector.select(1000);
- //阻塞,只有當至少一個註冊的事件發生的時候才會繼續.
- // selector.select();
- Set<SelectionKey> keys = selector.selectedKeys();
- Iterator<SelectionKey> it = keys.iterator();
- SelectionKey key = null;
- while(it.hasNext()){
- key = it.next();
- it.remove();
- try{
- handleInput(key);
- }catch(Exception e){
- if(key != null){
- key.cancel();
- if(key.channel() != null){
- key.channel().close();
- }
- }
- }
- }
- }catch(Exception e){
- e.printStackTrace();
- System.exit(1);
- }
- }
- //selector關閉後會自動釋放裡面管理的資源
- if(selector != null)
- try{
- selector.close();
- }catch (Exception e) {
- e.printStackTrace();
- }
- }
- private void handleInput(SelectionKey key) throws IOException{
- if(key.isValid()){
- SocketChannel sc = (SocketChannel) key.channel();
- if(key.isConnectable()){
- if(sc.finishConnect());
- else System.exit(1);
- }
- //讀訊息
- if(key.isReadable()){
- //建立ByteBuffer,並開闢一個1M的緩衝區
- ByteBuffer buffer = ByteBuffer.allocate(1024);
- //讀取請求碼流,返回讀取到的位元組數
- int readBytes = sc.read(buffer);
- //讀取到位元組,對位元組進行編解碼
- if(readBytes>0){
- //將緩衝區當前的limit設定為position=0,用於後續對緩衝區的讀取操作
- buffer.flip();
- //根據緩衝區可讀位元組數建立位元組陣列
- byte[] bytes = new byte[buffer.remaining()];
- //將緩衝區可讀位元組陣列複製到新建的陣列中
- buffer.get(bytes);
- String result = new String(bytes,"UTF-8");
- System.out.println("客戶端收到訊息:" + result);
- }
- //沒有讀取到位元組 忽略
- // else if(readBytes==0);
- //鏈路已經關閉,釋放資源
- else if(readBytes<0){
- key.cancel();
- sc.close();
- }
- }
- }
- }
- //非同步傳送訊息
- private void doWrite(SocketChannel channel,String request) throws IOException{
- //將訊息編碼為位元組陣列
- byte[] bytes = request.getBytes();
- //根據陣列容量建立ByteBuffer
- ByteBuffer writeBuffer = ByteBuffer.allocate(bytes.length);
- //將位元組陣列複製到緩衝區
- writeBuffer.put(bytes);
- //flip操作
- writeBuffer.flip();
- //傳送緩衝區的位元組陣列
- channel.write(writeBuffer);
- //****此處不含處理“寫半包”的程式碼
- }
- private void doConnect() throws IOException{
- if(socketChannel.connect(new InetSocketAddress(host,port)));
- else socketChannel.register(selector, SelectionKey.OP_CONNECT);
- }
- public void sendMsg(String msg) throws Exception{
- socketChannel.register(selector, SelectionKey.OP_READ);
- doWrite(socketChannel, msg);
- }
- }
2.7、演示結果
首先執行伺服器,順便也執行一個客戶端:
- /**
- * 測試方法
- * @author yangtao__anxpp.com
- * @version 1.0
- */
- public class Test {
- //測試主方法
- @SuppressWarnings("resource")
- public static void main(String[] args) throws Exception{
- //執行伺服器
- Server.start();
- //避免客戶端先於伺服器啟動前執行程式碼
- Thread.sleep(100);
- //執行客戶端
- Client.start();
- while(Client.sendMsg(new Scanner(System.in).nextLine()));
- }
- }
我們也可以單獨執行客戶端,效果都是一樣的。
一次測試的結果:
- 伺服器已啟動,埠號:12345
- 1+2+3+4+5+6
- 伺服器收到訊息:1+2+3+4+5+6
- 客戶端收到訊息:21
- 1*2/3-4+5*6/7-8
- 伺服器收到訊息:1*2/3-4+5*6/7-8
- 客戶端收到訊息:-7.0476190476190474
執行多個客戶端,都是沒有問題的。
3、AIO程式設計
NIO 2.0引入了新的非同步通道的概念,並提供了非同步檔案通道和非同步套接字通道的實現。
非同步的套接字通道時真正的非同步非阻塞I/O,對應於UNIX網路程式設計中的事件驅動I/O(AIO)。他不需要過多的Selector對註冊的通道進行輪詢即可實現非同步讀寫,從而簡化了NIO的程式設計模型。
直接上程式碼吧。
3.1、Server端程式碼
Server:
- package com.anxpp.io.calculator.aio.server;
- /**
- * AIO服務端
- * @author yangtao__anxpp.com
- * @version 1.0
- */
- public class Server {
- private static int DEFAULT_PORT = 12345;
- private static AsyncServerHandler serverHandle;
- public volatile static long clientCount = 0;
- public static void start(){
- start(DEFAULT_PORT);
- }
- public static synchronized void start(int port){
- if(serverHandle!=null)
- return;
- serverHandle = new AsyncServerHandler(port);
- new Thread(serverHandle,"Server").start();
- }
- public static void main(String[] args){
- Server.start();
- }
- }
AsyncServerHandler:
- package com.anxpp.io.calculator.aio.server;
- import java.io.IOException;
- import java.net.InetSocketAddress;
- import java.nio.channels.AsynchronousServerSocketChannel;
- import java.util.concurrent.CountDownLatch;
- public class AsyncServerHandler implements Runnable {
- public CountDownLatch latch;
- public AsynchronousServerSocketChannel channel;
- public AsyncServerHandler(int port) {
- try {
- //建立服務端通道
- channel = AsynchronousServerSocketChannel.open();
- //繫結埠
- channel.bind(new InetSocketAddress(port));
- System.out.println("伺服器已啟動,埠號:" + port);
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- @Override
- public void run() {
- //CountDownLatch初始化
- //它的作用:在完成一組正在執行的操作之前,允許當前的現場一直阻塞
- //此處,讓現場在此阻塞,防止服務端執行完成後退出
- //也可以使用while(true)+sleep
- //生成環境就不需要擔心這個問題,以為服務端是不會退出的
- latch = new CountDownLatch(1);
- //用於接收客戶端的連線
- channel.accept(this,new AcceptHandler());
- try {
- latch.await();
- } catch (InterruptedException e) {
- e.printStackTrace();
- }
- }
- }
AcceptHandler:
- package com.anxpp.io.calculator.aio.server;
- import java.nio.ByteBuffer;
- import java.nio.channels.AsynchronousSocketChannel;
- import java.nio.channels.CompletionHandler;
- //作為handler接收客戶端連線
- public class AcceptHandler implements CompletionHandler<AsynchronousSocketChannel, AsyncServerHandler> {
- @Override
- public void completed(AsynchronousSocketChannel channel,AsyncServerHandler serverHandler) {
- //繼續接受其他客戶端的請求
- Server.clientCount++;
- System.out.println("連線的客戶端數:" + Server.clientCount);
- serverHandler.channel.accept(serverHandler, this);
- //建立新的Buffer
- ByteBuffer buffer = ByteBuffer.allocate(1024);
- //非同步讀 第三個引數為接收訊息回撥的業務Handler
- channel.read(buffer, buffer, new ReadHandler(channel));
- }
- @Override
- public void failed(Throwable exc, AsyncServerHandler serverHandler) {
- exc.printStackTrace();
- serverHandler.latch.countDown();
- }
- }
ReadHandler:
- package com.anxpp.io.calculator.aio.server;
- import java.io.IOException;
- import java.io.UnsupportedEncodingException;
- import java.nio.ByteBuffer;
- import java.nio.channels.AsynchronousSocketChannel;
- import java.nio.channels.CompletionHandler;
- import com.anxpp.io.utils.Calculator;
- public class ReadHandler implements CompletionHandler<Integer, ByteBuffer> {
- //用於讀取半包訊息和傳送應答
- private AsynchronousSocketChannel channel;
- public ReadHandler(AsynchronousSocketChannel channel) {
- this.channel = channel;
- }
- //讀取到訊息後的處理
- @Override
- public void completed(Integer result, ByteBuffer attachment) {
- //flip操作
- attachment.flip();
- //根據
- byte[] message = new byte[attachment.remaining()];
- attachment.get(message);
- try {
- String expression = new String(message, "UTF-8");
- System.out.println("伺服器收到訊息: " + expression);
- String calrResult = null;
- try{
- calrResult = Calculator.cal(expression).toString();
- }catch(Exception e){
- calrResult = "計算錯誤:" + e.getMessage();
- }
- //向客戶端傳送訊息
- doWrite(calrResult);
- } catch (UnsupportedEncodingException e) {
- e.printStackTrace();
- }
- }
- //傳送訊息
- private void doWrite(String result) {
- byte[] bytes = result.getBytes();
- ByteBuffer writeBuffer = ByteBuffer.allocate(bytes.length);
- writeBuffer.put(bytes);
- writeBuffer.flip();
- //非同步寫資料 引數與前面的read一樣
- channel.write(writeBuffer, writeBuffer,new CompletionHandler<Integer, ByteBuffer>() {
- @Override
- public void completed(Integer result, ByteBuffer buffer) {
- //如果沒有傳送完,就繼續傳送直到完成
- if (buffer.hasRemaining())
- channel.write(buffer, buffer, this);
- else{
- //建立新的Buffer
- ByteBuffer readBuffer = ByteBuffer.allocate(1024);
- //非同步讀 第三個引數為接收訊息回撥的業務Handler
- channel.read(readBuffer, readBuffer, new ReadHandler(channel));
- }
- }
- @Override
- public void failed(Throwable exc, ByteBuffer attachment) {
- try {
- channel.close();
- } catch (IOException e) {
- }
- }
- });
- }
- @Override
- public void failed(Throwable exc, ByteBuffer attachment) {
- try {
- this.channel.close();
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- }
OK,這樣就已經完成了,其實說起來也簡單,我感覺API比NIO的使用起來真的簡單多了,主要就是監聽、讀、寫等各種CompletionHandler。此處本應有一個WriteHandler的,確實,我們在ReadHandler中,以一個匿名內部類實現了它。
下面看客戶端程式碼。
3.2、Client端程式碼
Client:
- package com.anxpp.io.calculator.aio.client;
- import java.util.Scanner;
- public class Client {
- private static String DEFAULT_HOST = "127.0.0.1";
- private static int DEFAULT_PORT = 12345;
- private static AsyncClientHandler clientHandle;
- public static void start(){
- start(DEFAULT_HOST,DEFAULT_PORT);
- }
- public static synchronized void start(String ip,int port){
- if(clientHandle!=null)
- return;
- clientHandle = new AsyncClientHandler(ip,port);
- new Thread(clientHandle,"Client").start();
- }
- //向伺服器傳送訊息
- public static boolean sendMsg(String msg) throws Exception{
- if(msg.equals("q")) return false;
- clientHandle.sendMsg(msg);
- return true;
- }
- @SuppressWarnings("resource")
- public static void main(String[] args) throws Exception{
- Client.start();
- System.out.println("請輸入請求訊息:");
- Scanner scanner = new Scanner(System.in);
- while(Client.sendMsg(scanner.nextLine()));
- }
- }
AsyncClientHandler:
- package com.anxpp.io.calculator.aio.client;
- import java.io.IOException;
- import java.net.InetSocketAddress;
- import java.nio.ByteBuffer;
- import java.nio.channels.AsynchronousSocketChannel;
- import java.nio.channels.CompletionHandler;
- import java.util.concurrent.CountDownLatch;
- public class AsyncClientHandler implements CompletionHandler<Void, AsyncClientHandler>, Runnable {
- private AsynchronousSocketChannel clientChannel;
- private String host;
- private int port;
- private CountDownLatch latch;
- public AsyncClientHandler(String host, int port) {
- this.host = host;
- this.port = port;
- try {
- //建立非同步的客戶端通道
- clientChannel = AsynchronousSocketChannel.open();
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- @Override
- public void run() {
- //建立CountDownLatch等待
- latch = new CountDownLatch(1);
- //發起非同步連線操作,回撥引數就是這個類本身,如果連線成功會回撥completed方法
- clientChannel.connect(new InetSocketAddress(host, port), this, this);
- try {
- latch.await();
- } catch (InterruptedException e1) {
- e1.printStackTrace();
- }
- try {
- clientChannel.close();
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- //連線伺服器成功
- //意味著TCP三次握手完成
- @Override
- public void completed(Void result, AsyncClientHandler attachment) {
- System.out.println("客戶端成功連線到伺服器...");
- }
- //連線伺服器失敗
- @Override
- public void failed(Throwable exc, AsyncClientHandler attachment) {
- System.err.println("連線伺服器失敗...");
- exc.printStackTrace();
- try {
- clientChannel.close();
- latch.countDown();
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- //向伺服器傳送訊息
- public void sendMsg(String msg){
- byte[] req = msg.getBytes();
- ByteBuffer writeBuffer = ByteBuffer.allocate(req.length);
- writeBuffer.put(req);
- writeBuffer.flip();
- //非同步寫
- clientChannel.write(writeBuffer, writeBuffer,new WriteHandler(clientChannel, latch));
- }
- }
WriteHandler:
- package com.anxpp.io.calculator.aio.client;
- import java.io.IOException;
- import java.nio.ByteBuffer;
- import java.nio.channels.AsynchronousSocketChannel;
- import java.nio.channels.CompletionHandler;
- import java.util.concurrent.CountDownLatch;
- public class WriteHandler implements CompletionHandler<Integer, ByteBuffer> {
- private AsynchronousSocketChannel clientChannel;
- private CountDownLatch latch;
- public WriteHandler(AsynchronousSocketChannel clientChannel,CountDownLatch latch) {
- this.clientChannel = clientChannel;
- this.latch = latch;
- }
- @Override
- public void completed(Integer result, ByteBuffer buffer) {
- //完成全部資料的寫入
- if (buffer.hasRemaining()) {
- clientChannel.write(buffer, buffer, this);
- }
- else {
- //讀取資料
- ByteBuffer readBuffer = ByteBuffer.allocate(1024);
- clientChannel.read(readBuffer,readBuffer,new ReadHandler(clientChannel, latch));
- }
- }
- @Override
- public void failed(Throwable exc, ByteBuffer attachment) {
- System.err.println("資料傳送失敗...");
- try {
- clientChannel.close();
- latch.countDown();
- } catch (IOException e) {
- }
- }
- }
ReadHandler:
- package com.anxpp.io.calculator.aio.client;
- import java.io.IOException;
- import java.io.UnsupportedEncodingException;
- import java.nio.ByteBuffer;
- import java.nio.channels.AsynchronousSocketChannel;
- import java.nio.channels.CompletionHandler;
- import java.util.concurrent.CountDownLatch;
- public class ReadHandler implements CompletionHandler<Integer, ByteBuffer> {
- private AsynchronousSocketChannel clientChannel;
- private CountDownLatch latch;
- public ReadHandler(AsynchronousSocketChannel clientChannel,CountDownLatch latch) {
- this.clientChannel = clientChannel;
- this.latch = latch;
- }
- @Override
- public void completed(Integer result,ByteBuffer buffer) {
- buffer.flip();
- byte[] bytes = new byte[buffer.remaining()];
- buffer.get(bytes);
- String body;
- try {
- body = new String(bytes,"UTF-8");
- System.out.println("客戶端收到結果:"+ body);
- } catch (UnsupportedEncodingException e) {
- e.printStackTrace();
- }
- }
- @Override
- public void failed(Throwable exc,ByteBuffer attachment) {
- System.err.println("資料讀取失敗...");
- try {
- clientChannel.close();
- latch.countDown();
- } catch (IOException e) {
- }
- }
- }
這個API使用起來真的是很順手。
3.3、測試
Test:
- package com.anxpp.io.calculator.aio;
- import java.util.Scanner;
- import com.anxpp.io.calculator.aio.client.Client;
- import com.anxpp.io.calculator.aio.server.Server;
- /**
- * 測試方法
- * @author yangtao__anxpp.com
- * @version 1.0
- */
- public class Test {
- //測試主方法
- @SuppressWarnings("resource")
- public static void main(String[] args) throws Exception{
- //執行伺服器
- Server.start();
- //避免客戶端先於伺服器啟動前執行程式碼
- Thread.sleep(100);
- //執行客戶端
- Client.start();
- System.out.println("請輸入請求訊息:");
- Scanner scanner = new Scanner(System.in);
- while(Client.sendMsg(scanner.nextLine()));
- }
- }
我們可以在控制檯輸入我們需要計算的算數字符串,伺服器就會返回結果,當然,我們也可以執行大量的客戶端,都是沒有問題的,以為此處設計為單例客戶端,所以也就沒有演示大量客戶端併發。
讀者可以自己修改Client類,然後開闢大量執行緒,並使用構造方法建立很多的客戶端測試。
下面是其中一次引數的輸出:
- 伺服器已啟動,埠號:12345
- 請輸入請求訊息:
- 客戶端成功連線到伺服器...
- 連線的客戶端數:1
- 123456+789+456
- 伺服器收到訊息: 123456+789+456
- 客戶端收到結果:124701
- 9526*56
- 伺服器收到訊息: 9526*56
- 客戶端收到結果:533456
- ...
AIO是真正的非同步非阻塞的,所以,在面對超級大量的客戶端,更能得心應手。
下面就比較一下,幾種I/O程式設計的優缺點。
4、各種I/O的對比
先以一張表來直觀的對比一下:
具體選擇什麼樣的模型或者NIO框架,完全基於業務的實際應用場景和效能需求,如果客戶端很少,伺服器負荷不重,就沒有必要選擇開發起來相對不那麼簡單的NIO做服務端;相反,就應考慮使用NIO或者相關的框架了。
5、附錄
上文中服務端使用到的用於計算的工具類:
- package com.anxpp.utils;
- import javax.script.ScriptEngine;
- import javax.script.ScriptEngineManager;
- import javax.script.ScriptException;
- public final class Calculator {
- private final static ScriptEngine jse = new ScriptEngineManager().getEngineByName("JavaScript");
- public static Object cal(String expression) throws ScriptException{
- return jse.eval(expression);
- }
- }