Java NIO原理圖文分析及程式碼實現
Java IO
在Client/Server模型中,Server往往需要同時處理大量來自Client的訪問請求,因此Server端需採用支援高併發訪問的架構。一種簡單而又直接的解決方案是“one-thread-per-connection”。這是一種基於阻塞式I/O的多執行緒模型。在該模型中,Server為每個Client連線建立一個處理執行緒,每個處理執行緒阻塞式等待可能達到的資料,一旦資料到達,則立即處理請求、返回處理結果並再次進入等待狀態。由於每個Client連線有一個單獨的處理執行緒為其服務,因此可保證良好的響應時間。但當系統負載增大(併發請求增多)時,Server端需要的執行緒數會增加,這將成為系統擴充套件的瓶頸所在。(
<IMG style="DISPLAY: block; MARGIN-LEFT: auto; MARGIN-RIGHT: auto" title=舊I/O模型,多個執行緒阻塞等待客戶端請求 alt=舊I/O模型,多個執行緒阻塞等待客戶端請求 src="http://www.flyoung.me/assets/images/javaio.jpg">
Java NIO
Java NIO不但引入了全新的高效的I/O機制,同時引入了基於Reactor設計模式的多路複用非同步模式。NIO包中主要包含以下幾種抽象資料型別。
* Channel(通道):NIO把它支援的I/O物件抽象為Channel。它模擬了通訊連線,類似於原I/O中的流(Stream),使用者可以通過它讀取和寫入資料。目前已知的例項類有SocketChannel、ServerSocketChannel、DatagramChannel、 FileChannel等。
* Selector(選擇器):Selector類提供了監控一個和多個通道當前狀態的機制。只要Channel向Selector註冊了某種特定的事件,Selector就會監聽這些事件是否會發生,一旦發生某個事件,便會通知對應的Channel。使用選擇器,藉助單一執行緒,就可對數量龐大的活動 I/O通道實施監控和維護。
<IMG style="DISPLAY: block; MARGIN-LEFT: auto; MARGIN-RIGHT: auto" title=新I/O模型,單個執行緒阻塞等待客戶端請求 alt=新I/O模型,單個執行緒阻塞等待客戶端請求 src="http://www.flyoung.me/assets/images/javanio.jpg">
Java NIO的服務端只需啟動一個專門的執行緒來處理所有的IO事件,這種通訊模型是怎麼實現的呢?Java NIO採用了雙向通道(channel)進行資料傳輸,而不是單向的流(stream),在通道上可以註冊我們感興趣的事件。一共有以下四種事件:
事件名 對應值
服務端接收客戶端連線事件 SelectionKey.OP_ACCEPT(16)
客戶端連線服務端事件 SelectionKey.OP_CONNECT(8)
讀事件 SelectionKey.OP_READ(1)
寫事件 SelectionKey.OP_WRITE(4)
服務端和客戶端各自維護一個管理通道的物件,我們稱之為selector,該物件能檢測一個或多個通道 (channel) 上的事件。我們以服務端為例,如果服務端的selector上註冊了讀事件,某時刻客戶端給服務端傳送了一些資料,阻塞I/O這時會呼叫read()方法阻塞地讀取資料,而NIO的服務端會在selector中新增一個讀事件。服務端的處理執行緒會輪詢地訪問selector,如果訪問selector時發現有感興趣的事件到達,則處理這些事件,如果沒有感興趣的事件到達,則處理執行緒會一直阻塞直到感興趣的事件到達為止。下面是Java NIO的通訊模型示意圖:
從下圖中可以看出,當有讀或寫等任何註冊的事件發生時,可以從Selector中獲得相應的SelectionKey,同時從 SelectionKey中可以找到發生的事件和該事件所發生的具體的SelectableChannel,以獲得客戶端傳送過來的資料。 使用NIO中非阻塞I/O編寫伺服器處理程式,大體上可以分為下面三個步驟:
1. 向Selector物件註冊感興趣的事件
2. 從Selector中獲取感興趣的事件
3. 根據不同的事件進行相應的處理
參考
Java NIO原理圖文分析及程式碼實現
Java NIO系列教程(十二)Java NIO與IO
Java NIO原理圖文分析及程式碼實現
前言:
最近在分析hadoop的RPC(Remote Procedure Call Protocol ,遠端過程呼叫協議,它是一種通過網路從遠端計算機程式上請求服務,而不需要了解底層網路技術的協議。可以參考:http://baike.baidu.com/view/32726.htm )機制時,發現hadoop的RPC機制的實現主要用到了兩個技術:動態代理(動態代理可以參考部落格:http://weixiaolu.iteye.com/blog/1477774 )和java NIO。為了能夠正確地分析hadoop的RPC原始碼,我覺得很有必要先研究一下java NIO的原理和具體實現。
這篇部落格我主要從兩個方向來分析java NIO
目錄:
一.java NIO 和阻塞I/O的區別
1. 阻塞I/O通訊模型
2. java NIO原理及通訊模型
二.java NIO服務端和客戶端程式碼實現
具體分析:
一.java NIO 和阻塞I/O的區別
1. 阻塞I/O通訊模型
假如現在你對阻塞I/O已有了一定了解,我們知道阻塞I/O在呼叫InputStream.read()方法時是阻塞的,它會一直等到資料到來時(或超時)才會返回;同樣,在呼叫ServerSocket.accept()方法時,也會一直阻塞到有客戶端連線才會返回,每個客戶端連線過來後,服務端都會啟動一個執行緒去處理該客戶端的請求。阻塞I/O的通訊模型示意圖如下:
如果你細細分析,一定會發現阻塞I/O存在一些缺點。根據阻塞I/O通訊模型,我總結了它的兩點缺點:
1. 當客戶端多時,會建立大量的處理執行緒。且每個執行緒都要佔用棧空間和一些CPU時間
2. 阻塞可能帶來頻繁的上下文切換,且大部分上下文切換可能是無意義的。
在這種情況下非阻塞式I/O就有了它的應用前景。
2. java NIO原理及通訊模型
Java NIO是在jdk1.4開始使用的,它既可以說成“新I/O”,也可以說成非阻塞式I/O。下面是java NIO的工作原理:
1. 由一個專門的執行緒來處理所有的 IO 事件,並負責分發。
2. 事件驅動機制:事件到的時候觸發,而不是同步的去監視事件。
3. 執行緒通訊:執行緒之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的執行緒切換。
閱讀過一些資料之後,下面貼出我理解的java NIO的工作原理圖:
(注:每個執行緒的處理流程大概都是讀取資料、解碼、計算處理、編碼、傳送響應。)
Java NIO的服務端只需啟動一個專門的執行緒來處理所有的 IO 事件,這種通訊模型是怎麼實現的呢?呵呵,我們一起來探究它的奧祕吧。java NIO採用了雙向通道(channel)進行資料傳輸,而不是單向的流(stream),在通道上可以註冊我們感興趣的事件。一共有以下四種事件:
事件名 | 對應值 |
服務端接收客戶端連線事件 | SelectionKey.OP_ACCEPT(16) |
客戶端連線服務端事件 | SelectionKey.OP_CONNECT(8) |
讀事件 | SelectionKey.OP_READ(1) |
寫事件 | SelectionKey.OP_WRITE(4) |
服務端和客戶端各自維護一個管理通道的物件,我們稱之為selector,該物件能檢測一個或多個通道 (channel) 上的事件。我們以服務端為例,如果服務端的selector上註冊了讀事件,某時刻客戶端給服務端傳送了一些資料,阻塞I/O這時會呼叫read()方法阻塞地讀取資料,而NIO的服務端會在selector中新增一個讀事件。服務端的處理執行緒會輪詢地訪問selector,如果訪問selector時發現有感興趣的事件到達,則處理這些事件,如果沒有感興趣的事件到達,則處理執行緒會一直阻塞直到感興趣的事件到達為止。下面是我理解的java NIO的通訊模型示意圖:
二.java NIO服務端和客戶端程式碼實現
為了更好地理解java NIO,下面貼出服務端和客戶端的簡單程式碼實現。
服務端:
package cn.nio;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
/**
* NIO服務端
* @author 小路
*/
public class NIOServer {
//通道管理器
private Selector selector;
/**
* 獲得一個ServerSocket通道,並對該通道做一些初始化的工作
* @param port 繫結的埠號
* @throws IOException
*/
public void initServer(int port) throws IOException {
// 獲得一個ServerSocket通道
ServerSocketChannel serverChannel = ServerSocketChannel.open();
// 設定通道為非阻塞
serverChannel.configureBlocking(false);
// 將該通道對應的ServerSocket繫結到port埠
serverChannel.socket().bind(new InetSocketAddress(port));
// 獲得一個通道管理器
this.selector = Selector.open();
//將通道管理器和該通道繫結,併為該通道註冊SelectionKey.OP_ACCEPT事件,註冊該事件後,
//當該事件到達時,selector.select()會返回,如果該事件沒到達selector.select()會一直阻塞。
serverChannel.register(selector, SelectionKey.OP_ACCEPT);
}
/**
* 採用輪詢的方式監聽selector上是否有需要處理的事件,如果有,則進行處理
* @throws IOException
*/
@SuppressWarnings("unchecked")
public void listen() throws IOException {
System.out.println("服務端啟動成功!");
// 輪詢訪問selector
while (true) {
//當註冊的事件到達時,方法返回;否則,該方法會一直阻塞
selector.select();
// 獲得selector中選中的項的迭代器,選中的項為註冊的事件
Iterator ite = this.selector.selectedKeys().iterator();
while (ite.hasNext()) {
SelectionKey key = (SelectionKey) ite.next();
// 刪除已選的key,以防重複處理
ite.remove();
// 客戶端請求連線事件
if (key.isAcceptable()) {
ServerSocketChannel server = (ServerSocketChannel) key
.channel();
// 獲得和客戶端連線的通道
SocketChannel channel = server.accept();
// 設定成非阻塞
channel.configureBlocking(false);
//在這裡可以給客戶端傳送資訊哦
channel.write(ByteBuffer.wrap(new String("向客戶端傳送了一條資訊").getBytes()));
//在和客戶端連線成功之後,為了可以接收到客戶端的資訊,需要給通道設定讀的許可權。
channel.register(this.selector, SelectionKey.OP_READ);
// 獲得了可讀的事件
} else if (key.isReadable()) {
read(key);
}
}
}
}
/**
* 處理讀取客戶端發來的資訊 的事件
* @param key
* @throws IOException
*/
public void read(SelectionKey key) throws IOException{
// 伺服器可讀取訊息:得到事件發生的Socket通道
SocketChannel channel = (SocketChannel) key.channel();
// 建立讀取的緩衝區
ByteBuffer buffer = ByteBuffer.allocate(10);
channel.read(buffer);
byte[] data = buffer.array();
String msg = new String(data).trim();
System.out.println("服務端收到資訊:"+msg);
ByteBuffer outBuffer = ByteBuffer.wrap(msg.getBytes());
channel.write(outBuffer);// 將訊息回送給客戶端
}
/**
* 啟動服務端測試
* @throws IOException
*/
public static void main(String[] args) throws IOException {
NIOServer server = new NIOServer();
server.initServer(8000);
server.listen();
}
}
客戶端:
package cn.nio;
import java.io.IOException;
import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.SelectionKey;
import java.nio.channels.Selector;
import java.nio.channels.SocketChannel;
import java.util.Iterator;
/**
* NIO客戶端
* @author 小路
*/
public class NIOClient {
//通道管理器
private Selector selector;
/**
* 獲得一個Socket通道,並對該通道做一些初始化的工作
* @param ip 連線的伺服器的ip
* @param port 連線的伺服器的埠號
* @throws IOException
*/
public void initClient(String ip,int port) throws IOException {
// 獲得一個Socket通道
SocketChannel channel = SocketChannel.open();
// 設定通道為非阻塞
channel.configureBlocking(false);
// 獲得一個通道管理器
this.selector = Selector.open();
// 客戶端連線伺服器,其實方法執行並沒有實現連線,需要在listen()方法中調
//用channel.finishConnect();才能完成連線
channel.connect(new InetSocketAddress(ip,port));
//將通道管理器和該通道繫結,併為該通道註冊SelectionKey.OP_CONNECT事件。
channel.register(selector, SelectionKey.OP_CONNECT);
}
/**
* 採用輪詢的方式監聽selector上是否有需要處理的事件,如果有,則進行處理
* @throws IOException
*/
@SuppressWarnings("unchecked")
public void listen() throws IOException {
// 輪詢訪問selector
while (true) {
selector.select();
// 獲得selector中選中的項的迭代器
Iterator ite = this.selector.selectedKeys().iterator();
while (ite.hasNext()) {
SelectionKey key = (SelectionKey) ite.next();
// 刪除已選的key,以防重複處理
ite.remove();
// 連線事件發生
if (key.isConnectable()) {
SocketChannel channel = (SocketChannel) key
.channel();
// 如果正在連線,則完成連線
if(channel.isConnectionPending()){
channel.finishConnect();
}
// 設定成非阻塞
channel.configureBlocking(false);
//在這裡可以給服務端傳送資訊哦
channel.write(ByteBuffer.wrap(new String("向服務端傳送了一條資訊").getBytes()));
//在和服務端連線成功之後,為了可以接收到服務端的資訊,需要給通道設定讀的許可權。
channel.register(this.selector, SelectionKey.OP_READ);
// 獲得了可讀的事件
} else if (key.isReadable()) {
read(key);
}
}
}
}
/**
* 處理讀取服務端發來的資訊 的事件
* @param key
* @throws IOException
*/
public void read(SelectionKey key) throws IOException{
//和服務端的read方法一樣
}
/**
* 啟動客戶端測試
* @throws IOException
*/
public static void main(String[] args) throws IOException {
NIOClient client = new NIOClient();
client.initClient("localhost",8000);
client.listen();
}
}
小結:
終於把動態代理和java NIO分析完了,呵呵,下面就要分析hadoop的RPC機制原始碼了,部落格地址:http://weixiaolu.iteye.com/blog/1504898 。不過如果對java NIO的理解存在異議的,歡迎一起討論。
如需轉載,請註明出處:http://weixiaolu.iteye.com/blog/1479656
轉載於:https://my.oschina.net/kepler/blog/202321