從Go程式設計看IO多路複用Select
IO多路複用通過某種機制使程序監聽某些檔案描述符,當檔案描述符中有讀或寫就緒時,程序能夠收到系統核心傳送的相應通知從而進行相應的IO操作;IO多路複用有:select、poll、epoll等模式,這裡主要介紹select;select本質上也是同步IO,呼叫時阻塞自己,IO事件就緒後被喚醒返回負責讀寫操作;
在Go中其函式定義如下:
func Select(nfd int, r *FdSet, w *FdSet, e *FdSet, timeout
*Timeval) (n int, err error)
FdSet定義:
type FdSet struct { Bits [16]int64 }
select函式實現IO多路複用,通過其引數通知核心:
1、關注的檔案描述符
2、關心的檔案描述符的哪種狀態:可讀、可寫還是異常
3、等待時間,無限等待阻塞或是固定超時時間
函式引數
通過上面的介紹可以知道我們需要有這麼幾種引數傳遞給select函式,所關注的描述符,所關注的狀態、等待時間;
函式引數具體含義:
nfd(maxfd): 檔案描述符集合中要監聽的檔案描述符個數,0-(maxfd-1)為需要檢測的檔案描述符;
r(readfds): 讀監控檔案描述符集,監控檔案描述符集的讀變化,如檔案描述符集中有檔案可讀即通過該引數回傳有變化的描述符,清空無變化的描述符;
w(writefds):
e(exceptfds): 異常監控檔案描述符集,監控檔案描述符集的異常,如檔案描述符集中有檔案異常即通過該引數回傳有變化的描述符,清空無變化的描述符;
timeout引數: 傳入nil時函式無限阻塞等待,整數值為超時時間;
上面三個檔案描述符集合如無需關注某一類狀態可傳入nil,則select將不監控檔案描述符的讀、寫或異常;
tcp連線中可只需關注是否可讀即可;
函式返回:
通過函式返回可知這麼兩類資訊:
1、準備好的檔案描述符個數
2、具體哪些檔案描述符處於就緒可讀、可寫或異常狀態
函式值:
-1 發生錯誤
0 函式超時,當設定了超時時間,該時間內未有狀態變化時
大於0 有滿足讀、寫、異常的檔案描述符,需檢查檔案描述符集
特別關注
每次函式返回時都會將檔案描述符集FdSet中未發生任何事件的fd清空,每次呼叫select時都需將所關注的fd重新加入FdSet中;
可監控檔案描述符個數取決於 FdSet中Bits的位長度,每個bit代表一個檔案描述符,預設情況下Go中的定義為:Bits [16]int64,也就是一個8位元組整數陣列,陣列長度為16,第一個陣列元素可儲存的檔案描述符為:0-63,第二個為:64-127依次類推;此時最多可以監聽的檔案描述符數為1024個;
Select的相關問題:
1、核心將訊息傳遞到使用者空間需要執行系統拷貝,如監聽了大量fd會導致效能下降
2、每次呼叫select都需要從使用者態拷貝fd集合到核心態
3、每次呼叫select核心態都需要遍歷傳進來的所有fd集合
4、預設select支援的fd集合過小,只有1024;
5、輪詢效率低,每次呼叫select、核心通知都需要輪詢整個fd集合
Go中的程式碼實現:
func SelectIO(fd int) {
//讀檔案描述符集
fdReadSet := &syscall.FdSet{}
connect = &Connect{maxFd: fd, childsMap: map[string]int{}}
for {
FD_ZERO(fdReadSet)
FD_SET(fd, fdReadSet) //socket檔案描述符
for _, child := range connect.childsMap {
FD_SET(child, fdReadSet) //連線監聽
if child > connect.maxFd {
connect.maxFd = child
} else {
}
}
n, err := syscall.Select(connect.maxFd+1, fdReadSet, nil, nil, nil)
if err != nil {
log.Println(err)
if err == syscall.EAGAIN { //非阻塞模型下資源限制或不滿足條件返回eagain 異常 Resource temporarily unavailable
continue
}
}
log.Printf("n:%v,fdReadSet:%v", n, FD_ISSET(fd, fdReadSet))
//-1 出錯 >0就緒的檔案描述符數 0 超時
if n > 0 && FD_ISSET(fd, fdReadSet) {
//接受連線
nfd, naddr, err := syscall.Accept(fd) //阻塞模式下在此方法會阻塞
if err != nil {
log.Printf("接受連接出錯:%v,%v", fd, err)
continue
}
//設定非阻塞
if err := syscall.SetNonblock(nfd, true); err != nil {
log.Fatal(err)
}
var addr = naddr.(*syscall.SockaddrInet4)
var ip = fmt.Sprintf("%d.%d.%d.%d:%d", addr.Addr[0], addr.Addr[1],
addr.Addr[2], addr.Addr[3], addr.Port)
log.Printf("新連線:%v", ip)
processConn(nfd, ip)
} else {
readMsg(fdReadSet)
}
}
}