1. 程式人生 > 其它 >從Go程式設計看IO多路複用Select

從Go程式設計看IO多路複用Select

  IO多路複用通過某種機制使程序監聽某些檔案描述符,當檔案描述符中有讀或寫就緒時,程序能夠收到系統核心傳送的相應通知從而進行相應的IO操作;IO多路複用有:select、poll、epoll等模式,這裡主要介紹select;select本質上也是同步IO,呼叫時阻塞自己,IO事件就緒後被喚醒返回負責讀寫操作;

在Go中其函式定義如下:

func Select(nfd int, r *FdSet, w *FdSet, e *FdSet, timeout 
*Timeval) (n int, err error)

FdSet定義:

type FdSet struct {
  Bits [16]int64
}

select函式實現IO多路複用,通過其引數通知核心:

   1、關注的檔案描述符
   2、關心的檔案描述符的哪種狀態:可讀、可寫還是異常
   3、等待時間,無限等待阻塞或是固定超時時間

函式引數

  通過上面的介紹可以知道我們需要有這麼幾種引數傳遞給select函式,所關注的描述符,所關注的狀態、等待時間;

函式引數具體含義:

  nfd(maxfd): 檔案描述符集合中要監聽的檔案描述符個數,0-(maxfd-1)為需要檢測的檔案描述符;
  r(readfds): 讀監控檔案描述符集,監控檔案描述符集的讀變化,如檔案描述符集中有檔案可讀即通過該引數回傳有變化的描述符,清空無變化的描述符;
  w(writefds):

寫監控檔案描述符集,監控檔案描述符集的寫變化,如檔案描述符集中有檔案可寫即通過該引數回傳有變化的描述符,清空無變化的描述符;
  e(exceptfds): 異常監控檔案描述符集,監控檔案描述符集的異常,如檔案描述符集中有檔案異常即通過該引數回傳有變化的描述符,清空無變化的描述符;
  timeout引數: 傳入nil時函式無限阻塞等待,整數值為超時時間;

  上面三個檔案描述符集合如無需關注某一類狀態可傳入nil,則select將不監控檔案描述符的讀、寫或異常;
  tcp連線中可只需關注是否可讀即可;

函式返回:

  通過函式返回可知這麼兩類資訊:
  1、準備好的檔案描述符個數
  2、具體哪些檔案描述符處於就緒可讀、可寫或異常狀態

函式值:

  -1 發生錯誤
  0 函式超時,當設定了超時時間,該時間內未有狀態變化時
  大於0 有滿足讀、寫、異常的檔案描述符,需檢查檔案描述符集

特別關注

  每次函式返回時都會將檔案描述符集FdSet中未發生任何事件的fd清空,每次呼叫select時都需將所關注的fd重新加入FdSet中;
  可監控檔案描述符個數取決於 FdSet中Bits的位長度,每個bit代表一個檔案描述符,預設情況下Go中的定義為:Bits [16]int64,也就是一個8位元組整數陣列,陣列長度為16,第一個陣列元素可儲存的檔案描述符為:0-63,第二個為:64-127依次類推;此時最多可以監聽的檔案描述符數為1024個;

Select的相關問題:

  1、核心將訊息傳遞到使用者空間需要執行系統拷貝,如監聽了大量fd會導致效能下降
  2、每次呼叫select都需要從使用者態拷貝fd集合到核心態
  3、每次呼叫select核心態都需要遍歷傳進來的所有fd集合
  4、預設select支援的fd集合過小,只有1024;
  5、輪詢效率低,每次呼叫select、核心通知都需要輪詢整個fd集合

Go中的程式碼實現:

func SelectIO(fd int) {
//讀檔案描述符集
fdReadSet := &syscall.FdSet{}
connect = &Connect{maxFd: fd, childsMap: map[string]int{}}
for {
	FD_ZERO(fdReadSet)
	FD_SET(fd, fdReadSet) //socket檔案描述符
	for _, child := range connect.childsMap {
		FD_SET(child, fdReadSet) //連線監聽
		if child > connect.maxFd {
			connect.maxFd = child
		} else {

		}
	}
	n, err := syscall.Select(connect.maxFd+1, fdReadSet, nil, nil, nil)
	if err != nil {
		log.Println(err)
		if err == syscall.EAGAIN { //非阻塞模型下資源限制或不滿足條件返回eagain 異常 Resource temporarily unavailable
			continue
		}
	}
	log.Printf("n:%v,fdReadSet:%v", n, FD_ISSET(fd, fdReadSet))
	//-1 出錯  >0就緒的檔案描述符數  0 超時
	if n > 0 && FD_ISSET(fd, fdReadSet) {
		//接受連線
		nfd, naddr, err := syscall.Accept(fd) //阻塞模式下在此方法會阻塞
		if err != nil {
			log.Printf("接受連接出錯:%v,%v", fd, err)
			continue
		}
		//設定非阻塞
		if err := syscall.SetNonblock(nfd, true); err != nil {
			log.Fatal(err)
		}
		var addr = naddr.(*syscall.SockaddrInet4)
		var ip = fmt.Sprintf("%d.%d.%d.%d:%d", addr.Addr[0], addr.Addr[1],
			addr.Addr[2], addr.Addr[3], addr.Port)
		log.Printf("新連線:%v", ip)
		processConn(nfd, ip)
	} else {
		readMsg(fdReadSet)
		}
	}
}

文章首發地址:https://mp.weixin.qq.com/s/1co33_BaJEwqrSX4GxkYEA