Java NIO 基礎簡介

阿新 • • 發佈：2019-01-02

1. 基本概念

IO 是主存和外部裝置 ( 硬碟、終端和網路等 ) 拷貝資料的過程。 IO 是作業系統的底層功能實現，底層通過 I/O 指令進行完成。

所有語言執行時系統提供執行 I/O 較高級別的工具。 (c 的 printf scanf,java 的面向物件封裝 )

2. Java 標準 io 回顧

Java 標準 IO 類庫是 io 面向物件的一種抽象。基於本地方法的底層實現，我們無須關注底層實現。 InputStream/OutputStream( 位元組流 ) ：一次傳送一個位元組。 Reader/Writer( 字元流 ) ：一次一個字元。

3. nio 簡介

nio 是 java New IO 的簡稱，在 jdk1.4 裡提供的新 api 。 Sun 官方標榜的特性如下：

– 為所有的原始型別提供 (Buffer) 快取支援。

– 字符集編碼解碼解決方案。

– Channel ：一個新的原始 I/O 抽象。

– 支援鎖和記憶體對映檔案的檔案訪問介面。

– 提供多路 (non-bloking) 非阻塞式的高伸縮性網路 I/O 。

本文將圍繞這幾個特性進行學習和介紹。

4. Buffer&Chanel

Channel 和 buffer 是 NIO 是兩個最基本的資料型別抽象。

Buffer:

– 是一塊連續的記憶體塊。

– 是 NIO 資料讀或寫的中轉地。

Channel:

– 資料的源頭或者資料的目的地

– 用於向 buffer 提供資料或者讀取 buffer 資料 ,buffer 物件的唯一介面。

– 非同步 I/O 支援

圖1：channel和buffer關係

例子 1:CopyFile.java:

Java程式碼

package sample;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;
publicclass CopyFile {
publicstaticvoid main(String[] args) throws Exception {
String infile = "C://copy.sql";
String outfile = "C://copy.txt";
// 獲取原始檔和目標檔案的輸入輸出流
FileInputStream fin = new FileInputStream(infile);
FileOutputStream fout = new FileOutputStream(outfile);
// 獲取輸入輸出通道
FileChannel fcin = fin.getChannel();
FileChannel fcout = fout.getChannel();
// 建立緩衝區
ByteBuffer buffer = ByteBuffer.allocate(1024);
while (true) {
// clear方法重設緩衝區，使它可以接受讀入的資料
buffer.clear();
// 從輸入通道中將資料讀到緩衝區
int r = fcin.read(buffer);
// read方法返回讀取的位元組數，可能為零，如果該通道已到達流的末尾，則返回-1
if (r == -1) {
break;
}
// flip方法讓緩衝區可以將新讀入的資料寫入另一個通道
buffer.flip();
// 從輸出通道中將資料寫入緩衝區
fcout.write(buffer);
}
}
}

package sample;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.nio.ByteBuffer;
import java.nio.channels.FileChannel;

public class CopyFile {
	public static void main(String[] args) throws Exception {
		String infile = "C://copy.sql";
		String outfile = "C://copy.txt";
		// 獲取原始檔和目標檔案的輸入輸出流
		FileInputStream fin = new FileInputStream(infile);
		FileOutputStream fout = new FileOutputStream(outfile);
		// 獲取輸入輸出通道
		FileChannel fcin = fin.getChannel();
		FileChannel fcout = fout.getChannel();
		// 建立緩衝區
		ByteBuffer buffer = ByteBuffer.allocate(1024);
		while (true) {
			// clear方法重設緩衝區，使它可以接受讀入的資料
			buffer.clear();
			// 從輸入通道中將資料讀到緩衝區
			int r = fcin.read(buffer);
			// read方法返回讀取的位元組數，可能為零，如果該通道已到達流的末尾，則返回-1
			if (r == -1) {
				break;
			}
			// flip方法讓緩衝區可以將新讀入的資料寫入另一個通道
			buffer.flip();
			// 從輸出通道中將資料寫入緩衝區
			fcout.write(buffer);
		}
	}
}

其中 buffer 內部結構如下 ( 下圖拷貝自資料 ):

圖2：buffer內部結構

一個 buffer 主要由 position,limit,capacity 三個變數來控制讀寫的過程。此三個變數的含義見如下表格：

引數	寫模式	讀模式
position	當前寫入的單位資料數量。	當前讀取的單位資料位置。
limit	代表最多能寫多少單位資料和容量是一樣的。	代表最多能讀多少單位資料，和之前寫入的單位資料量一致。
capacity	buffer 容量	buffer 容量

Buffer 常見方法：

flip(): 寫模式轉換成讀模式

rewind() ：將 position 重置為 0 ，一般用於重複讀。

clear() ：清空 buffer ，準備再次被寫入 (position 變成 0 ， limit 變成 capacity) 。

compact(): 將未讀取的資料拷貝到 buffer 的頭部位。

mark() 、 reset():mark 可以標記一個位置， reset 可以重置到該位置。

Buffer 常見型別： ByteBuffer 、 MappedByteBuffer 、 CharBuffer 、 DoubleBuffer 、 FloatBuffer 、 IntBuffer 、 LongBuffer 、 ShortBuffer 。

channel 常見型別 :FileChannel 、 DatagramChannel(UDP) 、 SocketChannel(TCP) 、 ServerSocketChannel(TCP)

在本機上面做了個簡單的效能測試。我的筆記本效能一般。 ( 具體程式碼可以見附件。見 nio.sample.filecopy 包下面的例子 ) 以下是參考資料：

– 場景 1 ： Copy 一個 370M 的檔案

– 場景 2: 三個執行緒同時拷貝，每個執行緒拷貝一個 370M 檔案

場景

FileInputStream+

FileOutputStream

FileInputStream+

BufferedInputStream+

FileOutputStream

ByteBuffer+

FileChannel

MappedByteBuffer

+FileChannel

場景一時間 ( 毫秒 )

25155

17500

19000

16500

場景二時間 ( 毫秒 )

69000

67031

74031

71016

5. nio.charset

字元編碼解碼 : 位元組碼本身只是一些數字，放到正確的上下文中被正確被解析。向 ByteBuffer 中存放資料時需要考慮字符集的編碼方式，讀取展示 ByteBuffer 資料時涉及對字符集解碼。

Java.nio.charset 提供了編碼解碼一套解決方案。

以我們最常見的 http 請求為例，在請求的時候必須對請求進行正確的編碼。在得到響應時必須對響應進行正確的解碼。

以下程式碼向 baidu 發一次請求，並獲取結果進行顯示。例子演示到了 charset 的使用。

例子 2BaiduReader.java

Java程式碼

package nio.readpage;
import java.nio.ByteBuffer;
import java.nio.channels.SocketChannel;
import java.nio.charset.Charset;
import java.net.InetSocketAddress;
import java.io.IOException;
publicclass BaiduReader {
private Charset charset = Charset.forName("GBK");// 建立GBK字符集
private SocketChannel channel;
publicvoid readHTMLContent() {
try {
InetSocketAddress socketAddress = new InetSocketAddress(
"www.baidu.com", 80);
//step1:開啟連線
channel = SocketChannel.open(socketAddress);
//step2:傳送請求，使用GBK編碼
channel.write(charset.encode("GET " + "/ HTTP/1.1" + "/r/n/r/n"));
//step3:讀取資料
ByteBuffer buffer = ByteBuffer.allocate(1024);// 建立1024位元組的緩衝
while (channel.read(buffer) != -1) {
buffer.flip();// flip方法在讀緩衝區位元組操作之前呼叫。
System.out.println(charset.decode(buffer));
// 使用Charset.decode方法將位元組轉換為字串
buffer.clear();// 清空緩衝
}
} catch (IOException e) {
System.err.println(e.toString());
} finally {
if (channel != null) {
try {
channel.close();
} catch (IOException e) {
}
}
}
}
publicstaticvoid main(String[] args) {
new BaiduReader().readHTMLContent();
}
}

package nio.readpage;

import java.nio.ByteBuffer;
import java.nio.channels.SocketChannel;
import java.nio.charset.Charset;
import java.net.InetSocketAddress;
import java.io.IOException;
public class BaiduReader {
	private Charset charset = Charset.forName("GBK");// 建立GBK字符集
	private SocketChannel channel;
	public void readHTMLContent() {
		try {
			InetSocketAddress socketAddress = new InetSocketAddress(
"www.baidu.com", 80);
//step1:開啟連線
			channel = SocketChannel.open(socketAddress);
		//step2:傳送請求，使用GBK編碼
			channel.write(charset.encode("GET " + "/ HTTP/1.1" + "/r/n/r/n"));
			//step3:讀取資料
			ByteBuffer buffer = ByteBuffer.allocate(1024);// 建立1024位元組的緩衝
			while (channel.read(buffer) != -1) {
				buffer.flip();// flip方法在讀緩衝區位元組操作之前呼叫。
				System.out.println(charset.decode(buffer));
				// 使用Charset.decode方法將位元組轉換為字串
				buffer.clear();// 清空緩衝
			}
		} catch (IOException e) {
			System.err.println(e.toString());
		} finally {
			if (channel != null) {
				try {
					channel.close();
				} catch (IOException e) {
				}
			}
		}
	}
	public static void main(String[] args) {
		new BaiduReader().readHTMLContent();
	}
}

6. 非阻塞 IO

關於非阻塞 IO 將從何為阻塞、何為非阻塞、非阻塞原理和非同步核心 API 幾個方面來理解。

何為阻塞？

一個常見的網路 IO 通訊流程如下 :

圖3：網路通訊基本過程

從該網路通訊過程來理解一下何為阻塞 :

在以上過程中若連線還沒到來，那麼 accept 會阻塞 , 程式執行到這裡不得不掛起， CPU 轉而執行其他執行緒。

在以上過程中若資料還沒準備好， read 會一樣也會阻塞。

阻塞式網路 IO 的特點：多執行緒處理多個連線。每個執行緒擁有自己的棧空間並且佔用一些 CPU 時間。每個執行緒遇到外部為準備好的時候，都會阻塞掉。阻塞的結果就是會帶來大量的程序上下文切換。且大部分程序上下文切換可能是無意義的。比如假設一個執行緒監聽一個埠，一天只會有幾次請求進來，但是該 cpu 不得不為該執行緒不斷做上下文切換嘗試，大部分的切換以阻塞告終。

何為非阻塞？

下面有個隱喻：

一輛從 A 開往 B 的公共汽車上，路上有很多點可能會有人下車。司機不知道哪些點會有哪些人會下車，對於需要下車的人，如何處理更好？

1. 司機過程中定時詢問每個乘客是否到達目的地，若有人說到了，那麼司機停車，乘客下車。 ( 類似阻塞式 )

2. 每個人告訴售票員自己的目的地，然後睡覺，司機只和售票員互動，到了某個點由售票員通知乘客下車。 ( 類似非阻塞 )

很顯然，每個人要到達某個目的地可以認為是一個執行緒，司機可以認為是 CPU 。在阻塞式裡面，每個執行緒需要不斷的輪詢，上下文切換，以達到找到目的地的結果。而在非阻塞方式裡，每個乘客 ( 執行緒 ) 都在睡覺 ( 休眠 ) ，只在真正外部環境準備好了才喚醒，這樣的喚醒肯定不會阻塞。

非阻塞的原理

把整個過程切換成小的任務，通過任務間協作完成。

由一個專門的執行緒來處理所有的 IO 事件，並負責分發。

事件驅動機制：事件到的時候觸發，而不是同步的去監視事件。

執行緒通訊：執行緒之間通過 wait,notify 等方式通訊。保證每次上下文切換都是有意義的。減少無謂的程序切換。

以下是非同步 IO 的結構：

圖4：非阻塞基本原理

Reactor 就是上面隱喻的售票員角色。每個執行緒的處理流程大概都是讀取資料、解碼、計算處理、編碼、傳送響應。

非同步 IO 核心 API

Selector

非同步 IO 的核心類，它能檢測一個或多個通道 (channel) 上的事件，並將事件分發出去。

使用一個 select 執行緒就能監聽多個通道上的事件，並基於事件驅動觸發相應的響應。而不需要為每個 channel 去分配一個執行緒。

SelectionKey

包含了事件的狀態資訊和時間對應的通道的繫結。

例子 1 單執行緒實現監聽兩個埠。 ( 見 nio.asyn 包下面的例子。 )

例子 2 NIO 執行緒協作實現資源合理利用。 (wait,notify) 。 ( 見 nio.asyn.multithread 下的例子 )

Java NIO 基礎簡介

Java NIO 基礎簡介

JAVA NIO基礎

Java NIO基礎視訊教程、MINA視訊教程、Netty快速入門視訊 [有原始碼]

java nio 基礎之Select 用法

java nio基礎教程

Java NIO (一)--簡介

JAVA NIO之簡介

深入分析NIO原理及思想（二）——Java NIO Buffer簡介

JAVA高階基礎（44）---NIO簡介及緩衝區介紹

Java 入門基礎知識，簡介

java的基礎資料結構簡介

Java NIO 簡明教程系列之 NIO 簡介

JAVA NIO學習一：NIO簡介、NIO&IO的主要區別

Java傳統IO / NIO基礎知識

JAVA高階基礎（46）---NIO之Buffer常用方法

Java NIO簡介及應用

更多免費初級中級高階大資料java視訊教程下載加(微***信((號keepper,請備註java或掃下面2二3維4碼Java語言基礎教程-Java NIO流篇

Java NIO簡介

Java NIO系列教程（一）java NIO簡介

Java NIO簡介和使用

Java NIO 基礎簡介

相關推薦