7. 彤哥說netty系列之Java NIO核心元件之Selector
——日拱一卒,不期而至!
你好,我是彤哥,本篇是netty系列的第七篇。
簡介
上一章我們一起學習了Java NIO的核心元件Buffer,它通常跟Channel一起使用,但是它們在網路IO中又該如何使用呢,今天我們將一起學習另一個NIO核心元件——Selector,沒有它可以說就幹不起來網路IO。
概念
我們先來看兩段Selector的註釋,見類java.nio.channels.Selector
。
註釋I
A multiplexor of {@link SelectableChannel} objects.
它是SelectableChannel
物件的多路複用器,從這裡我們也可以知道Java NIO實際上是多路複用IO。
SelectableChannel
有幾個子類,你會非常熟悉:
- DatagramChannel,UDP協議連線
- SocketChannel,TCP協議連線
- ServerSocketChannel,專門處理TCP協議Accept事件
我們有必要複習一下多路複用IO的流程:
第一階段通過select去輪詢檢查有沒有連線準備好資料,第二階段把資料從核心空間拷貝到使用者空間。
在Java中,就是通過Selector
這個多路複用器來實現第一階段的。
註釋II
A selector may be created by invoking the {@link #open open} method of this class, which will use the system's default {@link java.nio.channels.spi.SelectorProvider selector provider} to create a new selector. A selector may also be created by invoking the {@link java.nio.channels.spi.SelectorProvider#openSelector openSelector} method of a custom selector provider. A selector remains open until it is closed via its {@link #close close} method.
Selector
可以通過它自己的open()
方法建立,它將通過預設的java.nio.channels.spi.SelectorProvider
類建立一個新的Selector。也可以通過實現java.nio.channels.spi.SelectorProvider
類的抽象方法openSelector()
來自定義實現一個Selector。Selector一旦建立將會一直處於open狀態直到呼叫了close()
方法為止。
那麼,預設使用的Selector究竟是哪個呢?
通過跟蹤原始碼:
> java.nio.channels.Selector#open() 1> java.nio.channels.spi.SelectorProvider#provider() 1.1> sun.nio.ch.DefaultSelectorProvider#create() // 返回WindowsSelectorProvider 2> sun.nio.ch.WindowsSelectorProvider#openSelector() // 返回WindowsSelectorImpl
可以看到,在Windows平臺下,預設實現的Provider是WindowsSelectorProvider
,它的openSelector()
方法返回的是WindowsSelectorImpl
,它就是Windows平臺預設的Selector實現。
為什麼要提到在Windows平臺呢,難道在Linux下面實現不一樣?
是滴,因為網路IO是跟作業系統息息相關的,不同的作業系統的實現可能都不一樣,Linux下面JDK的實現完全不一樣,那麼我們為什麼沒有感知到呢?我的程式碼在Windows下面寫的,拿到Linux下面不是一樣執行?那是Java虛擬機器(或者說Java執行時環境)幫我們把這個事幹了,它遮蔽了跟作業系統相關的細節,這也是Java程式碼可以“Write Once, Run Anywhere”的精髓所在。
Selector與Channel的關係
上面我們說了selector是多路複用器,它是在網路IO的第一階段用來輪詢檢查有沒有連線準備好資料的,那麼它和Channel是什麼關係呢?
Selector通過不斷輪詢的方式同時監聽多個Channel的事件,注意,這裡是同時監聽
,一旦有Channel準備好了,它就會返回這些準備好了的Channel,交給處理執行緒去處理。
所以,在NIO程式設計中,通過Selector我們就實現了一個執行緒同時處理多個連線請求的目標,也可以一定程式降低伺服器資源的消耗。
基本用法
建立Selector
通過呼叫Selector.open()
方法是我們常用的方式:
Selector selector = Selector.open();
當然,也可以通過實現java.nio.channels.spi.SelectorProvider.openSelector()
抽象方法自定義一個Selector。
將Channel註冊到Selector上
為了將Channel跟Selector繫結在一起,需要將Channel註冊到Selector上,呼叫Channel的register()
方法即可:
channel.configureBlocking(false);
SelectionKey key = channel.register(selector, SelectionKey.OP_READ);
Channel必須是非阻塞模式才能註冊到Selector上,所以,無法將一個FileChannel註冊到Selector,因為FileChannel沒有所謂的阻塞還是非阻塞模式,本文來源於工從號彤哥讀原始碼。
註冊的時候第二個引數傳入的是監聽的事件,一共有四種事件:
- Connect
- Accept
- Read
- Write
當Channel觸發了某個事件,通常也叫作那個事件就緒了。比如,資料準備好可以讀取了就叫作讀就緒了,同樣地,還有寫就緒、連線就緒、接受就緒,當然後面兩個不常聽到。
在Java中,這四種監聽事件是定義在SelectionKey
中的:
- SelectionKey.OP_READ,值為 1 << 0 = 0000 0001
- SelectionKey.OP_WRITE,值 為 1 << 2 = 0000 0100
- SelectionKey.OP_CONNECT,值為 1 << 3 = 0000 1000
- SelectionKey.OP_ACCEPT,值為 1 << 4 = 0001 0000
所以,也可以通過位或
命令監聽多個感興趣的事件:
int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE;
SelectionKey
正如上面所看到的,Channel註冊到Selector後返回的是一個SelectionKey
,所以SelectionKey
又可以看作是Channel和Selector之間的一座橋樑,把兩者繫結在了一起。
SelectionKey
具有以下幾個重要屬性:
- interest set,感興趣的事件集
- ready set,就緒的事件集
- 儲存著的Channel
- 儲存著的Selector
- attached object,附件
interest set
裡面儲存了註冊Channel到Selector時傳入的第二個引數,即感興趣的事件集。
int interestSet = selectionKey.interestOps();
boolean isInterestedInAccept = interestSet & SelectionKey.OP_ACCEPT;
boolean isInterestedInConnect = interestSet & SelectionKey.OP_CONNECT;
boolean isInterestedInRead = interestSet & SelectionKey.OP_READ;
boolean isInterestedInWrite = interestSet & SelectionKey.OP_WRITE;
可以通過位與
運算檢視是否註冊了相應的事件。
ready set
裡面儲存了就緒了的事件集。
int readySet = selectionKey.readyOps();
selectionKey.isAcceptable();
selectionKey.isConnectable();
selectionKey.isReadable();
selectionKey.isWritable();
可以通過readyOps()
方法獲取所有就緒了的事件,也可以通過isXxxable()
方法檢查某個事件是否就緒。
儲存的Channel和Selector
Channel channel = selectionKey.channel();
Selector selector = selectionKey.selector();
通過channel()
和selector()
方法可以獲取繫結的Channel和Selector。
attachment
可以呼叫attach(obj)
方法繫結一個物件到SelectionKey
上,並在後面需要用到的時候通過attachment()
方法取出繫結的物件,也可以翻譯為附件
,它可以看作是資料傳遞的一種媒介,跟ThreadLocal有點類似,在前面繫結資料,在後面使用。
selectionKey.attach(theObject);
Object attachedObj = selectionKey.attachment();
當然,也可以在註冊Channel到Selector的時候就繫結附件:
SelectionKey key = channel.register(selector, SelectionKey.OP_READ, theObject);
Selector.select()
一旦將一個或多個Channel註冊到Selector上了,我們就可以呼叫它的select()
方法了,它會返回註冊時感興趣的事件中就緒的事件,本文來源於工從號彤哥讀原始碼。
select()方法有三種變體:
- select(),無引數,阻塞直到某個Channel有就緒的事件了才返回(當然是我們註冊的感興趣的事件)
- select(timeout),帶超時,阻塞直到某個Channel有就緒的事件了,或者超時了才返回
- selectNow(),立即返回,不會阻塞,不管有沒有就緒的Channel都立即返回
select()的返回值為int型別,表示兩次select()之間就緒的Channel,即使上一次呼叫select()時返回的就緒Channel沒有被處理,下一次呼叫select()也不會再返回上一次就緒的Channel。比如,第一次呼叫select()返回了一個就緒的Channel,但是沒有處理它,第二次呼叫select()時又有一個Channel就緒了,那也只會返回1,而不是2。
Selector.selectedKeys()
一旦呼叫select()方法返回了有就緒的Channel,我們就可以使用selectedKeys()
方法來獲取就緒的Channel了。
Set<SelectionKey> selectedKeys = selector.selectedKeys();
然後,就可以遍歷這些SelectionKey來檢視感興趣的事件是否就緒了:
Set<SelectionKey> selectedKeys = selector.selectedKeys();
Iterator<SelectionKey> keyIterator = selectedKeys.iterator();
while(keyIterator.hasNext()) {
SelectionKey key = keyIterator.next();
if(key.isAcceptable()) {
// a connection was accepted by a ServerSocketChannel.
} else if (key.isConnectable()) {
// a connection was established with a remote server.
} else if (key.isReadable()) {
// a channel is ready for reading
} else if (key.isWritable()) {
// a channel is ready for writing
}
keyIterator.remove();
}
最後,一定要記得呼叫keyIterator.remove();
移除已經處理的SelectionKey。
Selector.wakeup()
前面我們說了呼叫select()方法時,呼叫者執行緒會進入阻塞狀態,直到有就緒的Channel才會返回。其實也不一定,wakeup()就是用來破壞規則的,可以在另外一個執行緒呼叫wakeup()方法強行喚醒這個阻塞的執行緒,這樣select()方法也會立即返回。
如果呼叫wakeup()時並沒有執行緒阻塞在select()上,那麼,下一次呼叫select()將立即返回,不會進入阻塞狀態。這跟LockSupport.unpark()方法是比較類似的。
Selector.close()
呼叫close()方法將會關閉Selector,同時也會將關聯的SelectionKey失效,但不會關閉Channel。
舉個栗子
public class EchoServer {
public static void main(String[] args) throws IOException {
// 建立一個Selector
Selector selector = Selector.open();
// 建立ServerSocketChannel
ServerSocketChannel serverSocketChannel = ServerSocketChannel.open();
// 繫結8080埠
serverSocketChannel.bind(new InetSocketAddress(8080));
// 設定為非阻塞模式,本文來源於工從號彤哥讀原始碼
serverSocketChannel.configureBlocking(false);
// 將Channel註冊到selector上,並註冊Accept事件
serverSocketChannel.register(selector, SelectionKey.OP_ACCEPT);
while (true) {
// 阻塞在select上
selector.select();
// 如果使用的是select(timeout)或selectNow()需要判斷返回值是否大於0
// 有就緒的Channel
Set<SelectionKey> selectionKeys = selector.selectedKeys();
// 遍歷selectKeys
Iterator<SelectionKey> iterator = selectionKeys.iterator();
while (iterator.hasNext()) {
SelectionKey selectionKey = iterator.next();
// 如果是accept事件
if (selectionKey.isAcceptable()) {
// 強制轉換為ServerSocketChannel
ServerSocketChannel ssc = (ServerSocketChannel) selectionKey.channel();
SocketChannel socketChannel = ssc.accept();
System.out.println("accept new conn: " + socketChannel.getRemoteAddress());
socketChannel.configureBlocking(false);
// 將SocketChannel註冊到Selector上,並註冊讀事件
socketChannel.register(selector, SelectionKey.OP_READ);
} else if (selectionKey.isReadable()) {
// 如果是讀取事件
// 強制轉換為SocketChannel
SocketChannel socketChannel = (SocketChannel) selectionKey.channel();
// 建立Buffer用於讀取資料
ByteBuffer buffer = ByteBuffer.allocate(1024);
// 將資料讀入到buffer中
int length = socketChannel.read(buffer);
if (length > 0) {
buffer.flip();
byte[] bytes = new byte[buffer.remaining()];
// 將資料讀入到byte陣列中
buffer.get(bytes);
// 換行符會跟著訊息一起傳過來
String content = new String(bytes, "UTF-8").replace("\r\n", "");
if (content.equalsIgnoreCase("quit")) {
selectionKey.cancel();
socketChannel.close();
} else {
System.out.println("receive msg: " + content);
}
}
}
iterator.remove();
}
}
}
}
總結
今天我們學習了Java NIO核心元件Selector,到這裡,NIO的三個最重要的核心元件我們就學習完畢了,說實話,NIO這塊最重要的還是思維的問題,時刻記著在NIO中一個執行緒是可以處理多個連線的。
看著Java原生NIO實現網路程式設計似乎也沒什麼困難的嗎?那麼為什麼還要有Netty呢?下一章我們將正式進入Netty的學習之中,我們將在其中尋找答案。
最後,也歡迎來我的工從號彤哥讀原始碼系統地學習原始碼&架構的知識。
相關推薦
7. 彤哥說netty系列之Java NIO核心元件之Selector
——日拱一卒,不期而至! 你好,我是彤哥,本篇是netty系列的第七篇。 簡介 上一章我們一起學習了Java NIO的核心元件Buffer,它通常跟Channel一起使用,但是它們在網路IO中又該如何使用呢,今天我們將一起學習另一個NIO核心元件——Selector,沒有它可以說就幹不起來網路IO。 概念
5. 彤哥說netty系列之Java NIO核心元件之Channel
你好,我是彤哥,本篇是netty系列的第五篇。 簡介 上一章我們一起學習瞭如何使用Java原生NIO實現群聊系統,這章我們一起來看看Java NIO的核心元件之一——Channel。 思維轉變 首先,我想說的最重要的一個點是,學習NIO思維一定要從BIO那種一個連線一個執行緒的模式轉變成多個連線(Chan
6. 彤哥說netty系列之Java NIO核心元件之Buffer
——日拱一卒,不期而至! 你好,我是彤哥,本篇是netty系列的第六篇。 簡介 上一章我們一起學習了Java NIO的核心元件Channel,它可以看作是實體與實體之間的連線,而且需要與Buffer互動,這一章我們就來學習一下Buffer的特性。 概念 Buffer用於與Channel互動時使用,通過上一
Java NIO 三大元件之 Buffer
NIO大三元件 之Buffer 一、什麼是Buffer Buffer是用於特定原始型別的資料的容器。 它的實質就是一組陣列,用於儲存不同型別的資料。 二、緩衝區的型別 緩衝區型別除了Boolean值型別外,其餘基本型別都含有。 NIO中定義的抽象緩衝區物件如下(均繼承至Buffer抽象類): ByteBuf
一文理解:Java NIO 核心元件
背景知識 同步、非同步、阻塞、非阻塞 首先,這幾個概念非常容易搞混淆,但NIO中又有涉及,所以總結一下。 同步:API呼叫返回時呼叫者就知道操作的結果如何了(實際讀取/寫入了多少位元組)。 非同步:相對於同步,API呼叫返回時呼叫者不知道操作的結果,後面才
一文讓你徹底理解 Java NIO 核心元件
背景知識 同步、非同步、阻塞、非阻塞 首先,這幾個概念非常容易搞混淆,但NIO中又有涉及,所以總結一下[1]。 同步:API呼叫返回時呼叫者就知道操作的結果如何了(實際讀取/寫入了多少位元組)。 非同步:相對於同步,API呼叫返回時呼叫者不知道操作的結果,後面才會回撥通知結果
Java NIO 核心元件學習筆記
背景知識 同步、非同步、阻塞、非阻塞 首先,這幾個概念非常容易搞混淆,但NIO中又有涉及,所以總結一下。 同步:API呼叫返回時呼叫者就知道操作的結果如何了(實際讀取/寫入了多少位元組)。 非同步:相對於同步,API呼叫返回時呼叫者不知道操作的結果,後面才會回撥通
4. 彤哥說netty系列之Java NIO實現群聊(自己跟自己聊上癮了)
你好,我是彤哥,本篇是netty系列的第四篇。 歡迎來我的公從號彤哥讀原始碼系統地學習原始碼&架構的知識。 簡介 上一章我們一起學習了Java中的BIO/NIO/AIO的故事,本章將帶著大家一起使用純純的NIO實現一個越聊越上癮的“群聊系統”。 業務邏輯分析 首先,我們先來分析一下群聊的功能點:
JDK1.7 之java.nio.file.Files 讀取檔案只要一行
JDK1.7中引入了新的檔案操作類java.nio.file這個包,其中有個Files類它包含了很多有用的方法來操作檔案,比如檢查檔案是否為隱藏檔案,或者是檢查檔案是否為只讀檔案。開發者還可以使用Fi
java NIO 快取區之核心空間、使用者空間和虛擬地址
IO是基於快取區來做的,所謂的輸入和輸出就是從快取區中移入和移出資料。以IO輸入為例,首先是使用者空間程序向核心請求某個磁碟空間資料,然後核心將磁碟資料讀取到核心空間的buffer中,然後使用者空間的程序再將核心空間buffer中的資料讀取到自身的buffer中,然後程序就可
Java NIO程式設計例項之三Selector
Java NIO主要包含三個概念,即緩衝區(Buffer)、通道(Channel)和選擇器(Selector)。前面的文章已經介紹了緩衝區和通道,本文則講述最複雜的選擇器Selector。 本文是本系列的第三篇文章,關於緩衝區Buffer可以看第一篇: ht
Java io學習之java.nio.file的Path類和Files類
1.Path 類 將一個路徑封裝成物件,該路徑可以是相對路徑也可以是絕對路徑。 //定義一個Path物件 Path path= Paths.get("E:\\ja
Java NIO框架Netty教程(六)-Java NIO Selector模式
看到標題,您可能覺得,這跟Netty有什麼關係呢?確實,如果你完全是使用Netty的,那麼可能你可以完全不需要了解Selector。但是,不得不提的是,Netty底層關於NIO的實現也是基於Java的Selector的,是對Selector的封裝。所以,我個人認為理解
Java NIO之 Java NIO Overview(譯)
看到一個國外的作者寫的關於java的文章還不錯,於是便翻譯過來了,再加上自己的一些理解 Java NIO主要由下面三個核心元件構成: Channels(通道) Buffers(緩衝) Selectors(選擇器) 除了上面三個,java n
Java NIO通俗程式設計之選擇器Selector(四)
最後一步就是根據不同的事件,編寫相應的處理程式碼:/* * 根據不同的事件做處理 * */ protected void process(SelectionKey key) throws IOException{ // 接收請求 if (key.isAcceptable()) {
Java NIO核心概念總結篇
最近學習Java NIO的相關知識,為了以後方便複習記錄下主要知識點。 參考來源:某視訊中的講解以及一些博文,見文章結尾。 一、Java NIO基本介紹 Java NIO(New IO,也有人叫:Non Blocking IO)是從Java1.4版本開始引入的一個新的
Urule開源版系列4——Core包核心介面之規則解析過程
> Urule執行規則檔案,是如何進行的,通過一個請求doTest來探一下 com.bstek.urule.console.servlet.respackage.PackageServletHandler.doTest()方法執行測試規則,接受3個引數: data-測試資料;files- 規則檔名稱及
Hadoop基礎 - Hadoop核心元件之HDFS工作原理
HDFS 1.HDFS是Hadoop的儲存元件是一個檔案系統,用於儲存和管理檔案,通過統一的名稱空間(類似於本地檔案系統的目錄樹)。是分散式的,伺服器叢集中各個節點都有自己的角色和職責。HDFS為高吞吐量做了優化,尤其在讀寫大檔案(GB級別或更大)時執行最佳。為了維持高吞吐量,HDFS利用超大資
Hadoop核心元件之HDFS
HDFS:分散式檔案系統 一句話總結 一個檔案先被拆分為多個Block塊(會有Block-ID:方便讀取資料),以及每個Block是有幾個副本的形式儲存 1個檔案會被拆分成多個Block blocksize:128M(Hadoop2.0以後預設的塊大小,可以
Hadoop核心元件之MapReduce
MapReduce概述 Google MapReduce的克隆版本 優點:海量資料的離線處理,易開發,易執行 缺點:實時流式計算 Hadoop MapReduce是一個軟體框架,用於輕鬆編寫應用程式,以可靠,容錯的方式在大型叢集(數千個節點)的商用硬體上並行處理大量資料(多TB資料集) MapReduce