1. 程式人生 > >Python之路(十五):網路程式設計(上)

Python之路(十五):網路程式設計(上)

python基礎之網路程式設計(上篇)

 

socket程式設計

  本篇介紹socket是基於什麼來的,為什麼要知道網際網路底層實現通訊的原理

一、客戶端/服務端架構

即C/S架構,包括

1.硬體C/S架構(印表機)

2.軟體C/S架構(web服務)

美好的願望:

最常用的軟體伺服器是 Web 伺服器。一臺機器裡放一些網頁或 Web 應用程式,然後啟動 服務。這樣的伺服器的任務就是接受客戶的請求,把網頁發給客戶(如使用者計算機上的瀏覽器),然 後等待下一個客戶請求。這些服務啟動後的目標就是“永遠執行下去”。雖然它們不可能實現這樣的 目標,但只要沒有關機或硬體出錯等外力干擾,它們就能執行非常長的一段時間。 

 

生活中的C/S架構:

老男孩是S端,所有的學員是C端

飯店是S端,所有的食客是C端

網際網路中處處是C/S架構(黃色網站是服務端,你的瀏覽器是客戶端;騰訊作為服務端為你提供視訊,你得下個騰訊視訊客戶端才能看狗日的視訊)

 

C/S架構與socket的關係:

我們學習socket就是為了完成C/S架構的開發

二、osi七層

引子:

須知一個完整的計算機系統是由硬體、作業系統、應用軟體三者組成,具備了這三個條件,一臺計算機系統就可以自己跟自己玩了(打個單機遊戲,玩個掃雷啥的)

 

如果你要跟別人一起玩,那你就需要上網了(訪問個黃色網站,發個黃色微博啥的),網際網路的核心就是由一堆協議組成,協議就是標準,全世界人通訊的標準是英語,如果把計算機比作人,網際網路協議就是計算機界的英語。所有的計算機都學會了網際網路協議,那所有的計算機都就可以按照統一的標準去收發資訊從而完成通訊了。人們按照分工不同把網際網路協議從邏輯上劃分了層級,詳見引自導師的一篇部落格

 

網路通訊原理:http://www.cnblogs.com/linhaifeng/articles/5937962.html

 

為何學習socket一定要先學習網際網路協議:

 

1.首先:本節課程的目標就是教會你如何基於socket程式設計,來開發一款自己的C/S架構軟體

 

2.其次:C/S架構的軟體(軟體屬於應用層)是基於網路進行通訊的

 

3.然後:網路的核心即一堆協議,協議即標準,你想開發一款基於網路通訊的軟體,就必須遵循這些標準。

 

4.最後:就讓我們從這些標準開始研究,開啟我們的socket程式設計之旅

 

                                         

三、socket層

在上圖中,我們沒有看到Socket的影子,那麼它到底在哪裡呢?還是用圖來說話,一目瞭然。

                                    

 

四、socket的定義

Socket是應用層與TCP/IP協議族通訊的中間軟體抽象層,它是一組介面。在設計模式中,Socket其實就是一個門面模式,它把複雜的TCP/IP協議族隱藏在Socket介面後面,對使用者來說,一組簡單的介面就是全部,讓Socket去組織資料,以符合指定的協議。

所以,我們無需深入理解tcp/udp協議,socket已經為我們封裝好了,我們只需要遵循socket的規定去程式設計,寫出的程式自然就是遵循tcp/udp標準的。

也有人將socket說成ip+port,ip是用來標識網際網路中的一臺主機的位置,而port是用來標識這臺機器上的一個應用程式,ip地址是配置到網絡卡上的,而port是應用程式開啟的,ip與port的繫結就標識了網際網路中獨一無二的一個應用程式

而程式的pid是是同一臺機器上不同程序或者執行緒的標識

五、套接字的發展史以及分類

套接字起源於 20 世紀 70 年代加利福尼亞大學伯克利分校版本的 Unix,即人們所說的 BSD Unix。 因此,有時人們也把套接字稱為“伯克利套接字”或“BSD 套接字”。一開始,套接字被設計用在同 一臺主機上多個應用程式之間的通訊。這也被稱程序間通訊,或 IPC。套接字有兩種(或者稱為有兩個種族),分別是基於檔案型的和基於網路型的。 

基於檔案型別的套接字家族

套接字家族的名字:AF_UNIX

unix一切皆檔案,基於檔案的套接字呼叫的就是底層的檔案系統來取資料,兩個套接字程序執行在同一機器,可以通過訪問同一個檔案系統間接完成通訊

基於網路型別的套接字家族

套接字家族的名字:AF_INET

(還有AF_INET6被用於ipv6,還有一些其他的地址家族,不過,他們要麼是隻用於某個平臺,要麼就是已經被廢棄,或者是很少被使用,或者是根本沒有實現,所有地址家族中,AF_INET是使用最廣泛的一個,python支援很多種地址家族,但是由於我們只關心網路程式設計,所以大部分時候我們只使用AF_INET)

六、套接字的工作流程

一個生活中的場景。你要打電話給一個朋友,先撥號,朋友聽到電話鈴聲後提起電話,這時你和你的朋友就建立起了連線,就可以講話了。等交流結束,結束通話電話結束此次交談。    生活中的場景就解釋了這工作原理,也許TCP/IP協議族就是誕生於生活中,這也不一定。

                                                     

先從伺服器端說起。伺服器端先初始化Socket,然後與埠繫結(bind),對埠進行監聽(listen),呼叫accept阻塞,等待客戶端連線。在這時如果有個客戶端初始化一個Socket,然後連線伺服器(connect),如果連線成功,這時客戶端與伺服器端的連線就建立了。客戶端傳送資料請求,伺服器端接收請求並處理請求,然後把迴應資料傳送給客戶端,客戶端讀取資料,最後關閉連線,一次互動結束

七、socket收發訊息的原理

詳情看圖

                 

 

闡釋:傳送端可以是一K一K地傳送資料,而接收端的應用程式可以兩K兩K地提走資料,當然也有可能一次提走3K或6K資料,或者一次只提走幾個位元組的資料,也就是說,應用程式所看到的資料是一個整體,或說是一個流(stream),一條訊息有多少位元組對應用程式是不可見的,因此TCP協議是面向流的協議,這也是容易出現粘包問題的原因。而UDP是面向訊息的協議,每個UDP段都是一條訊息,應用程式必須以訊息為單位提取資料,不能一次提取任意位元組的資料,這一點和TCP是很不同的。怎樣定義訊息呢?可以認為對方一次性write/send的資料為一個訊息,需要明白的是當對方send一條資訊的時候,無論底層怎樣分段分片,TCP協議層會把構成整條訊息的資料段排序完成後才呈現在核心緩衝區。

八、小結

上述七點對socket進行了一些簡單的闡釋,對socket有了一些初步的認識,下篇會介紹socket如何運用。

socket程式設計

  本篇介紹socket是基於什麼來的,為什麼要知道網際網路底層實現通訊的原理

一、客戶端/服務端架構

即C/S架構,包括

1.硬體C/S架構(印表機)

2.軟體C/S架構(web服務)

美好的願望:

最常用的軟體伺服器是 Web 伺服器。一臺機器裡放一些網頁或 Web 應用程式,然後啟動 服務。這樣的伺服器的任務就是接受客戶的請求,把網頁發給客戶(如使用者計算機上的瀏覽器),然 後等待下一個客戶請求。這些服務啟動後的目標就是“永遠執行下去”。雖然它們不可能實現這樣的 目標,但只要沒有關機或硬體出錯等外力干擾,它們就能執行非常長的一段時間。 

 

生活中的C/S架構:

老男孩是S端,所有的學員是C端

飯店是S端,所有的食客是C端

網際網路中處處是C/S架構(黃色網站是服務端,你的瀏覽器是客戶端;騰訊作為服務端為你提供視訊,你得下個騰訊視訊客戶端才能看狗日的視訊)

 

C/S架構與socket的關係:

我們學習socket就是為了完成C/S架構的開發

二、osi七層

引子:

須知一個完整的計算機系統是由硬體、作業系統、應用軟體三者組成,具備了這三個條件,一臺計算機系統就可以自己跟自己玩了(打個單機遊戲,玩個掃雷啥的)

 

如果你要跟別人一起玩,那你就需要上網了(訪問個黃色網站,發個黃色微博啥的),網際網路的核心就是由一堆協議組成,協議就是標準,全世界人通訊的標準是英語,如果把計算機比作人,網際網路協議就是計算機界的英語。所有的計算機都學會了網際網路協議,那所有的計算機都就可以按照統一的標準去收發資訊從而完成通訊了。人們按照分工不同把網際網路協議從邏輯上劃分了層級,詳見引自導師的一篇部落格

 

網路通訊原理:http://www.cnblogs.com/linhaifeng/articles/5937962.html

 

為何學習socket一定要先學習網際網路協議:

 

1.首先:本節課程的目標就是教會你如何基於socket程式設計,來開發一款自己的C/S架構軟體

 

2.其次:C/S架構的軟體(軟體屬於應用層)是基於網路進行通訊的

 

3.然後:網路的核心即一堆協議,協議即標準,你想開發一款基於網路通訊的軟體,就必須遵循這些標準。

 

4.最後:就讓我們從這些標準開始研究,開啟我們的socket程式設計之旅

 

                                         

三、socket層

在上圖中,我們沒有看到Socket的影子,那麼它到底在哪裡呢?還是用圖來說話,一目瞭然。

                                    

 

四、socket的定義

Socket是應用層與TCP/IP協議族通訊的中間軟體抽象層,它是一組介面。在設計模式中,Socket其實就是一個門面模式,它把複雜的TCP/IP協議族隱藏在Socket介面後面,對使用者來說,一組簡單的介面就是全部,讓Socket去組織資料,以符合指定的協議。

所以,我們無需深入理解tcp/udp協議,socket已經為我們封裝好了,我們只需要遵循socket的規定去程式設計,寫出的程式自然就是遵循tcp/udp標準的。

也有人將socket說成ip+port,ip是用來標識網際網路中的一臺主機的位置,而port是用來標識這臺機器上的一個應用程式,ip地址是配置到網絡卡上的,而port是應用程式開啟的,ip與port的繫結就標識了網際網路中獨一無二的一個應用程式

而程式的pid是是同一臺機器上不同程序或者執行緒的標識

五、套接字的發展史以及分類

套接字起源於 20 世紀 70 年代加利福尼亞大學伯克利分校版本的 Unix,即人們所說的 BSD Unix。 因此,有時人們也把套接字稱為“伯克利套接字”或“BSD 套接字”。一開始,套接字被設計用在同 一臺主機上多個應用程式之間的通訊。這也被稱程序間通訊,或 IPC。套接字有兩種(或者稱為有兩個種族),分別是基於檔案型的和基於網路型的。 

基於檔案型別的套接字家族

套接字家族的名字:AF_UNIX

unix一切皆檔案,基於檔案的套接字呼叫的就是底層的檔案系統來取資料,兩個套接字程序執行在同一機器,可以通過訪問同一個檔案系統間接完成通訊

基於網路型別的套接字家族

套接字家族的名字:AF_INET

(還有AF_INET6被用於ipv6,還有一些其他的地址家族,不過,他們要麼是隻用於某個平臺,要麼就是已經被廢棄,或者是很少被使用,或者是根本沒有實現,所有地址家族中,AF_INET是使用最廣泛的一個,python支援很多種地址家族,但是由於我們只關心網路程式設計,所以大部分時候我們只使用AF_INET)

六、套接字的工作流程

一個生活中的場景。你要打電話給一個朋友,先撥號,朋友聽到電話鈴聲後提起電話,這時你和你的朋友就建立起了連線,就可以講話了。等交流結束,結束通話電話結束此次交談。    生活中的場景就解釋了這工作原理,也許TCP/IP協議族就是誕生於生活中,這也不一定。

                                                     

先從伺服器端說起。伺服器端先初始化Socket,然後與埠繫結(bind),對埠進行監聽(listen),呼叫accept阻塞,等待客戶端連線。在這時如果有個客戶端初始化一個Socket,然後連線伺服器(connect),如果連線成功,這時客戶端與伺服器端的連線就建立了。客戶端傳送資料請求,伺服器端接收請求並處理請求,然後把迴應資料傳送給客戶端,客戶端讀取資料,最後關閉連線,一次互動結束

七、socket收發訊息的原理

詳情看圖

                 

 

闡釋:傳送端可以是一K一K地傳送資料,而接收端的應用程式可以兩K兩K地提走資料,當然也有可能一次提走3K或6K資料,或者一次只提走幾個位元組的資料,也就是說,應用程式所看到的資料是一個整體,或說是一個流(stream),一條訊息有多少位元組對應用程式是不可見的,因此TCP協議是面向流的協議,這也是容易出現粘包問題的原因。而UDP是面向訊息的協議,每個UDP段都是一條訊息,應用程式必須以訊息為單位提取資料,不能一次提取任意位元組的資料,這一點和TCP是很不同的。怎樣定義訊息呢?可以認為對方一次性write/send的資料為一個訊息,需要明白的是當對方send一條資訊的時候,無論底層怎樣分段分片,TCP協議層會把構成整條訊息的資料段排序完成後才呈現在核心緩衝區。

八、小結

上述七點對socket進行了一些簡單的闡釋,對socket有了一些初步的認識,下篇會介紹socket如何運用。