1. 程式人生 > >IO操作與IO模型

IO操作與IO模型

目錄

  • 一 、IO操作本質
  • 二、 IO模型
    • BIO – 阻塞模式I/O
    • NIO – 非阻塞模式I/O
    • IO Multiplexing - I/O多路複用模型
    • AIO – 非同步I/O模型
  • 三、同步I/O與非同步I/O
  • 四、 IO設計模式
    • Reactor模式
      • Proactor模式
      • 對比分析

一 、IO操作本質

資料複製的過程中不會消耗CPU

# 1 記憶體分為核心緩衝區和使用者緩衝區
# 2 使用者的應用程式不能直接操作核心緩衝區,需要將資料從核心拷貝到使用者才能使用
# 3 而IO操作、網路請求載入到記憶體的資料一開始是放在核心緩衝區的

二、 IO模型

  1. BIO – 阻塞模式I/O

使用者程序從發起請求,到最終拿到資料前,一直掛起等待; 資料會由使用者程序完成拷貝

'''
舉個例子:一個人去 商店買一把菜刀,
他到商店問老闆有沒有菜刀(發起系統呼叫)
如果有(表示在核心緩衝區有需要的資料)
老闆直接把菜刀給買家(從核心緩衝區拷貝到使用者緩衝區)
這個過程買家一直在等待

如果沒有,商店老闆會向工廠下訂單(IO操作,等待資料準備好)
工廠把菜刀運給老闆(進入到核心緩衝區)
老闆把菜刀給買家(從核心緩衝區拷貝到使用者緩衝區)
這個過程買家一直在等待
是同步io
'''
  1. NIO – 非阻塞模式I/O

使用者程序發起請求,如果資料沒有準備好,那麼立刻告知使用者程序未準備好;此時使用者程序可選擇繼續發起請求、或者先去做其他事情,稍後再回來繼續發請求,直到被告知資料準備完畢,可以開始接收為止; 資料會由使用者程序完成拷貝

'''
舉個例子:一個人去 商店買一把菜刀,
他到商店問老闆有沒有菜刀(發起系統呼叫)
老闆說沒有,在向工廠進貨(返回狀態)
買家去別地方玩了會,又回來問,菜刀到了麼(發起系統呼叫)
老闆說還沒有(返回狀態)
買家又去玩了會(不斷輪詢)
最後一次再問,菜刀有了(資料準備好了)
老闆把菜刀遞給買家(從核心緩衝區拷貝到使用者緩衝區)

整個過程輪詢+等待:輪詢時沒有等待,可以做其他事,從核心緩衝區拷貝到使用者緩衝區需要等待
是同步io
'''
  1. IO Multiplexing - I/O多路複用模型

類似BIO,只不過找了一個代理,來掛起等待,並能同時監聽多個請求; 資料會由使用者程序完成拷貝

'''
舉個例子:多個人去 一個商店買菜刀,
多個人給老闆打電話,說我要買菜刀(發起系統呼叫)
老闆把每個人都記錄下來(放到select中)
老闆去工廠進貨(IO操作)
有貨了,再挨個通知買到的人,來取刀(通知/返回可讀條件)
買家來到商店等待,老闆把到給買家(從核心緩衝區拷貝到使用者緩衝區)

多路複用:老闆可以同時接受很多請求(select模型最大1024個,epoll模型),
但是老闆把到給買家這個過程,還需要等待,
是同步io
'''
  1. AIO – 非同步I/O模型

發起請求立刻得到回覆,不用掛起等待; 資料會由核心程序主動完成拷貝

'''
舉個例子:還是買菜刀
現在是網上下單到商店(系統呼叫)
商店確認(返回)
商店去進貨(io操作)
商店收到貨把貨發個賣家(從核心緩衝區拷貝到使用者緩衝區)
買家收到貨(指定訊號)

整個過程無等待
非同步io
'''

三、同步I/O與非同步I/O

  • 同步I/O
    • 概念:導致請求程序阻塞的I/O操作,直到I/O操作任務完成
    • 型別:BIO、NIO、IO Multiplexing
  • 非同步I/O
    • 概念:不導致程序阻塞的I/O操作
    • 型別:AIO

注意:

  • 同步I/O與非同步I/O判斷依據是,是否會導致使用者程序阻塞
  • BIO中socket直接阻塞等待(使用者程序主動等待,並在拷貝時也等待)
  • NIO中將資料從核心空間拷貝到使用者空間時阻塞(使用者程序主動詢問,並在拷貝時等待)
  • IO Multiplexing中select等函式為阻塞、拷貝資料時也阻塞(使用者程序主動等待,並在拷貝時也等待)
  • AIO中從始至終使用者程序都沒有阻塞(使用者程序是被動的)

四、 IO設計模式

 Reactor模式,基於同步I/O實現
- Proactor模式,基於非同步I/O實現

Reactor模式通常採用IO多路複用機制進行具體實現

- kqueue、epoll、poll、select等機制

Proactor模式通常採用OS Asynchronous IO(AIO)的非同步機制進行實現

- 前提是對應作業系統支援AIO,比如支援非同步IO的linux(不太成熟)、具備IOCP的windows server(非常成熟)

Reactor模式和Proactor模式都是事件驅動,主要實現步驟:

  1. 事件註冊:將事件與事件處理器進行分離。將事件註冊到事件迴圈中,將事件處理器單獨管理起來,記錄其與事件的對應關係。
  2. 事件監聽:啟動事件迴圈,一旦事件已經就緒/完成,就立刻通知事件處理器
  3. 事件分發:當收到事件就緒/完成的訊號,便立刻啟用與之對應的事件處理器
  4. 事件處理:在程序/執行緒/協程中執行事件處理器

使用過程中,使用者通常只負責定義事件和事件處理器並將其註冊以及一開始的事件迴圈的啟動,這個過程就會是以非同步的形式執行任務。

Reactor模式

Proactor模式

對比分析

Reactor模型處理耗時長的操作會造成事件分發的阻塞,影響到後續事件的處理;

Proactor模型實現邏輯複雜;依賴作業系統對非同步的支援,目前實現了純非同步操作的作業系統少,實現優秀的如windows IOCP,但由於其windows系統用於伺服器的侷限性,目前應用範圍較小;而Unix/Linux系統對純非同步的支援有限,因而應用事件驅動的主流還是基於select/epoll等實現的reactor模式

Python中:如asyncio、gevent、tornado、twisted等非同步模組都是依據事件驅動模型設計,更多的都是使用reactor模型,其中部分也支援proactor模式,當然需要根據當前執行的作業系統環境來進行手動配