1. 程式人生 > 實用技巧 >(一)多程序之程序理論

(一)多程序之程序理論

一、什麼是程序


1,程序:

正在進行的一個過程或者說一個任務,而負責執行任務的則是 cpu。

2,舉例(單核 + 多道,實現多個程序的併發執行):

1)子系在一段時間內有很多工要做:學 Python,聽音樂,寫筆記,PUBG上分。

2)但是子系同一時刻只能做一個任務(cpu 同一時間只能幹一個活),如何才能做到多個任務一起執行的效果?

3)子系學了會兒 Python,然後邊聽音樂邊寫筆記,又打了會吃雞,保證了每個任務都在進行中。

二、程序與程式的區別


程式僅僅只是一堆程式碼而已,而程序指的是程式的執行過程。

舉例:

想象有一個廚藝很好的電腦科學家子系正在為他的小兒瓜皮四做蛋糕。

他有做生日蛋糕的食譜,廚房中有所需的原料:麵粉,雞蛋,韭菜,蒜泥等。

在這個例子中:

1)做蛋糕的食譜就是程式(即用適當形式描述的演算法)

2)電腦科學家就是處理器(CPU)

3)而做蛋糕的各種原料就是輸入資料

4)程序就是廚師閱讀食譜,取來各種原料以及烘製蛋糕等一系列動作的總和

現在假設電腦科學家子系的二兒瓜皮孟哭著跑了進來,說:******

子系想了想,處理二兒瓜皮孟扎傷的任務要比給小兒瓜皮四做蛋糕更重要,於是子系就記錄下他照著食譜做到哪兒了(儲存程序的當前狀態),然後拿出一本急救手冊,按照其中的指示處理扎傷。這裡,我們看到處理機從一個程序(做蛋糕)切換到另一個高優先順序的程序(實施醫療救治),每個程序擁有各自的程式(食譜和急救手冊)。當扎傷處理完之後,子系又回來做蛋糕,從他


離開時的那一步繼續做下去。

需要強調的是:同一個程式執行兩次,那也是兩個程序,比如開啟暴風影音,雖然都是同一個軟體,但是一個可以播放海賊王,一個可以播放火影忍者。

三、併發與並行


無論是併發還是並行,在使用者看來都是同時執行的,不管是程序還是執行緒,都只是一個任務而已,真正幹活的是cpu,cpu來做這些任務,而一個cpu同一時刻只能執行一個任務。

1,併發:是偽並行,即看起來是同時執行。單個 cpu + 多道技術 就可以實現併發,(並行也屬於併發)

"""
你是一個cpu,你同時談了三個女朋友,每一個都可以是一個戀愛任務,你被這三個任務共享
要玩出併發戀愛的效果,
應該是你先跟女友1去看電影,看了一會說:不好,我要拉肚子,然後跑去跟第二個女友吃飯,吃了一會說:那啥,我
去趟洗手間,然後跑去跟女友3做愛做的事情。
"""
單cpu,多程序,併發舉例一

"""
某一天,老大,老二,老三,老四約好一起去幹壞事,但只有一個人,CPU 只有一個,
但是卻要"同時"做四個任務(嫖出併發的效果),那就必須是,幹一會老大,再幹一會老二,
再幹一會老三,再幹一會老四,
老大:花了500
老二:花了100,可能不太行
老三:花了200,因為活好...
老四:沒花錢,因為是他女友,嘎嘎
"""
單cpu,多程序,併發舉例二

2,並行:同時執行,只有具備多個cpu才能實現並行

單核下,可以利用多道技術,多個核,每個核也都可以利用多道技術(多道技術是針對單核而言的

有四個核,六個任務,這樣同一時間有四個任務被執行,假設分別被分配給了cpu1,cpu2,cpu3,cpu4,

一旦任務1遇到I/O就被迫中斷執行,此時任務5就拿到cpu1的時間片去執行,這就是單核下的多道技術,

而一旦任務1的I/O結束了,作業系統會重新呼叫它(需知程序的排程、分配給哪個cpu執行,由作業系統說了算),可能被分配給四個cpu中的任意一個去執行。

所有現代計算機經常會在同一時間做很多件事,一個使用者的PC(無論是單cpu還是多cpu),都可以同時執行多個任務(一個任務可以理解為一個程序)。

    啟動一個程序來防毒(360軟體)

    啟動一個程序來看電影(暴風影音)

    啟動一個程序來聊天(騰訊QQ)

所有的這些程序都需被管理,於是一個支援多程序的多道程式系統是至關重要的

多道技術概念回顧:記憶體中同時存入多道(多個)程式,cpu從一個程序快速切換到另外一個,使每個程序各自執行幾十或幾百毫秒,這樣,雖然在某一個瞬間,一個cpu只能執行一個任務,但在1秒內,cpu卻可以執行多個程序,這就給人產生了並行的錯覺,即偽併發,以此來區分多處理器作業系統的真正硬體並行(多個cpu共享同一個實體記憶體)

四、同步/非同步and阻塞/非阻塞(重點)


1,同步:

# 所謂同步,就是在發出一個功能呼叫時,在沒有得到結果之前,該呼叫就不會返回。按照這個定義,其實絕大多數函式都是同步呼叫。但是一般而言,我們在說同步、非同步的時候,特指那些需要其他部件協作或者需要一定時間完成的任務。
# 舉例:
# 1. multiprocessing.Pool下的apply #發起同步呼叫後,就在原地等著任務結束,根本不考慮任務是在計算還是在io阻塞,總之就是一股腦地等任務結束
# 2. concurrent.futures.ProcessPoolExecutor().submit(func,).result()
# 3. concurrent.futures.ThreadPoolExecutor().submit(func,).result()

2,非同步:

# 非同步的概念和同步相對。當一個非同步功能呼叫發出後,呼叫者不能立刻得到結果。當該非同步功能完成後,通過狀態、通知或回撥來通知呼叫者。如果非同步功能用狀態來通知,那麼呼叫者就需要每隔一定時間檢查一次,效率就很低(有些初學多執行緒程式設計的人,總喜歡用一個迴圈去檢查某個變數的值,這其實是一 種很嚴重的錯誤)。如果是使用通知的方式,效率則很高,因為非同步功能幾乎不需要做額外的操作。至於回撥函式,其實和通知沒太多區別。
# 舉例:
# 1. multiprocessing.Pool().apply_async() #發起非同步呼叫後,並不會等待任務結束才返回,相反,會立即獲取一個臨時結果(並不是最終的結果,可能是封裝好的一個物件)。
# 2. concurrent.futures.ProcessPoolExecutor(3).submit(func,)
# 3. concurrent.futures.ThreadPoolExecutor(3).submit(func,)

3,阻塞:

# 阻塞呼叫是指呼叫結果返回之前,當前執行緒會被掛起(如遇到io操作)。函式只有在得到結果之後才會將阻塞的執行緒啟用。有人也許會把阻塞呼叫和同步呼叫等同起來,實際上他是不同的。對於同步呼叫來說,很多時候當前執行緒還是啟用的,只是從邏輯上當前函式沒有返回而已。
# 舉例:
# 1. 同步呼叫:apply一個累計1億次的任務,該呼叫會一直等待,直到任務返回結果為止,但並未阻塞住(即便是被搶走cpu的執行許可權,那也是處於就緒態);
# 2. 阻塞呼叫:當socket工作在阻塞模式的時候,如果沒有資料的情況下呼叫recv函式,則當前執行緒就會被掛起,直到有資料為止。

4,非阻塞:

# 非阻塞和阻塞的概念相對應,指在不能立刻得到結果之前也會立刻返回,同時該函式不會阻塞當前執行緒。

5,小結:

# 1. 同步與非同步針對的是函式/任務的呼叫方式:同步就是當一個程序發起一個函式(任務)呼叫的時候,一直等到函式(任務)完成,而程序繼續處於啟用狀態。而非同步情況下是當一個程序發起一個函式(任務)呼叫的時候,不會等函式返回,而是繼續往下執行當,函式返回的時候通過狀態、通知、事件等方式通知程序任務完成。
 
# 2. 阻塞與非阻塞針對的是程序或執行緒:阻塞是當請求不能滿足的時候就將程序掛起,而非阻塞則不會阻塞當前程序

五、程序的建立(瞭解即可)


但凡是硬體,都需要有作業系統去管理,只要有作業系統,就有程序的概念,就需要有建立程序的方式,一些作業系統只為一個應用程式設計,比如微波爐中的控制器,一旦啟動微波爐,所有的程序都已經存在。

而對於通用系統(跑很多應用程式),需要有系統執行過程中建立或撤銷程序的能力,主要分為4種形式建立新的程序:

1)系統初始化(檢視程序linux中用ps命令,windows中用工作管理員,前臺程序負責與使用者的互動,後臺執行的程序與使用者無關,執行在後臺並且只在需要時才喚醒的程序,稱為守護程序,如電子郵件,web頁面,新聞,列印)

2)一個程序在執行過程中開啟了子程序(如nginx開啟多程序,os.fork,subprocess.Popen等)

3)使用者的互動式請求,而建立一個新程序(如使用者雙擊暴風影音)

4)一個批處理作業的初始化(只在大型機的批處理系統中應用)

無論哪一種,新程序的建立都是由一個已經存在的程序執行了一個用於建立程序的系統呼叫而建立的:

1)在UNIX中該系統呼叫是:fork,fork會建立一個與父程序一模一樣的副本,二者有相同的儲存映像、同樣的環境字串和同樣的開啟檔案(在shell直譯器程序中,執行一個命令就會建立一個子程序)

2)在windows中該系統呼叫是:CreateProcess,CreateProcess既處理程序的建立,也負責把正確的程式裝入新程序。

關於建立的子程序,UNIX和windows

1)相同的是:程序建立後,父程序和子程序有各自不同的地址空間(多道技術要求物理層面實現程序之間記憶體的隔離),任何一個程序的在其地址空間中的修改都不會影響到另外一個程序。

2)不同的是:在UNIX中,子程序的初始地址空間是父程序的一個副本,提示:子程序和父程序是可以有隻讀的共享記憶體區的。但是對於windows系統來說,從一開始父程序與子程序的地址空間就是不同的。

六、程序的終止(瞭解即可)


1,正常退出:

自願,如使用者點選互動式頁面的叉號,或程式執行完畢呼叫發起系統呼叫正常退出,在linux中用exit,在windows中用ExitProcess

2,出錯退出:

自願,python a.py中a.py不存在

3,嚴重錯誤:

非自願,執行非法指令,如引用不存在的記憶體,1/0等,可以捕捉異常,try...except...

4,被其他程序殺死:

非自願,如kill -9

七、程序的層次結構


無論UNIX還是windows,程序只有一個父程序,不同的是:

1)在UNIX中所有的程序,都是以init程序為根,組成樹形結構。父子程序共同組成一個程序組,這樣,當從鍵盤發出一個訊號時,該訊號被送給當前與鍵盤相關的程序組中的所有成員。

2)在windows中,沒有程序層次的概念,所有的程序都是地位相同的,唯一類似於程序層次的暗示,是在建立程序時,父程序得到一個特別的令牌(稱為控制代碼),該控制代碼可以用來控制子程序,但是父程序有權把該控制代碼傳給其他子程序,這樣就沒有層次了。

八、程序的狀態


tail -f access.log |grep '404'

執行程式tail,開啟一個子程序,執行程式grep,開啟另外一個子程序,兩個程序之間基於管道'|'通訊,將tail的結果作為grep的輸入。

程序grep在等待輸入(即I/O)時的狀態稱為阻塞,此時grep命令都無法執行

其實在兩種情況下會導致一個程序在邏輯上不能執行,

1)程序掛起是自身原因,遇到I/O阻塞,便要讓出CPU讓其他程序去執行,這樣保證CPU一直在工作

2)與程序無關,是作業系統層面,可能會因為一個程序佔用時間過多,或者優先順序等原因,而呼叫其他的程序去使用CPU。

因而一個程序有三種狀態:

九、程序併發的實現(瞭解即可)


程序併發的實現在於,硬體中斷一個正在執行的程序,把此時程序執行的所有狀態儲存下來,為此,作業系統維護一張表格,即程序表(process table),每個程序佔用一個程序表項(這些表項也稱為程序控制塊)

該表存放了程序狀態的重要資訊:程式計數器、堆疊指標、記憶體分配狀況、所有開啟檔案的狀態、帳號和排程資訊,以及其他在程序由執行態轉為就緒態或阻塞態時,必須儲存的資訊,從而保證該程序在再次啟動時,就像從未被中斷過一樣。