2. 程式人生 > >linux socket tuning

linux socket tuning

阿新 • • 發佈：2018-12-25

在開發 socket 應用程式時，首要任務通常是確保可靠性並滿足一些特定的需求。利用本文中給出的 4 個提示，您就可以從頭開始為實現最佳效能來設計並開發 socket 程式。本文內容包括對於 Sockets API 的使用、兩個可以提高效能的 socket 選項以及 GNU/Linux 優化。

為了能夠開發效能卓越的應用程式，請遵循以下技巧：

  • 最小化報文傳輸的延時。
  • 最小化系統呼叫的負載。
  • 為 Bandwidth Delay Product 調節 TCP 視窗。
  • 動態優化 GNU/Linux TCP/IP 棧。

技巧 1. 最小化報文傳輸的延時

在通過 TCP socket 進行通訊時，資料都拆分成了資料塊，這樣它們就可以封裝到給定連線的 TCP payload（指 TCP 資料包中的有效負荷）中了。TCP payload 的大小取決於幾個因素（例如最大報文長度和路徑），但是這些因素在連線發起時都是已知的。為了達到最好的效能，我們的目標是使用盡可能多的可用資料來填充每個報文。當沒有足夠的資料來填充 payload 時（也稱為最大報文段長度（maximum segment size）

或 MSS），TCP 就會採用 Nagle 演算法自動將一些小的緩衝區連線到一個報文段中。這樣可以通過最小化所傳送的報文的數量來提高應用程式的效率，並減輕整體的網路擁塞問題。

儘管 John Nagle 的演算法可以通過將這些資料連線成更大的報文來最小化所傳送的報文的數量，但是有時您可能希望只發送一些較小的報文。一個簡單的例子是 telnet 程式，它讓使用者可以與遠端系統進行互動，這通常都是通過一個 shell 來進行的。如果使用者被要求用傳送報文之前輸入的字元來填充某個報文段，那麼這種方法就絕對不能滿足我們的需要。

另外一個例子是 HTTP 協議。通常，客戶機瀏覽器會產生一個小請求（一條 HTTP 請求訊息），然後 Web 伺服器就會返回一個更大的響應（Web 頁面）。

解決方案

您應該考慮的第一件事情是 Nagle 演算法滿足一種需求。由於這種演算法對資料進行合併，試圖構成一個完整的 TCP 報文段，因此它會引入一些延時。但是這種演算法可以最小化線上路上傳送的報文的數量，因此可以最小化網路擁塞的問題。

但是在需要最小化傳輸延時的情況中，Sockets API 可以提供一種解決方案。要禁用 Nagle 演算法，您可以設定 TCP_NODELAY socket 選項，如清單 1 所示。

清單 1. 為 TCP socket 禁用 Nagle 演算法
1 2 3 4 5 6 7 8 9 10 int sock, flag, ret; /* Create new stream socket */
sock = socket( AF_INET, SOCK_STREAM, 0 ); /* Disable the Nagle (TCP No Delay) algorithm */ flag = 1; ret = setsockopt( sock, IPPROTO_TCP, TCP_NODELAY, (char *)&flag, sizeof(flag) ); if (ret == -1) { printf("Couldn't setsockopt(TCP_NODELAY)\n"); exit(-1); }

提示：使用 Samba 的實驗表明，在從 Microsoft® Windows® 伺服器上的 Samba 驅動器上讀取資料時，禁用 Nagle 演算法幾乎可以加倍提高讀效能。

技巧 2. 最小化系統呼叫的負載

任何時候通過一個 socket 來讀寫資料時，您都是在使用一個系統呼叫（system call）。這個呼叫（例如 read 或 write）跨越了使用者空間應用程式與核心的邊界。另外，在進入核心之前，您的呼叫會通過 C 庫來進入核心中的一個通用函式（system_call()）。從 system_call() 中，這個呼叫會進入檔案系統層，核心會在這兒確定正在處理的是哪種型別的裝置。最後，呼叫會進入 socket 層，資料就是在這裡進行讀取或進行排隊從而通過 socket 進行傳輸的（這涉及資料的副本）。

這個過程說明系統呼叫不僅僅是在應用程式和核心中進行操作的，而且還要經過應用程式和核心中的很多層次。這個過程耗費的資源很高，因此呼叫次數越多，通過這個呼叫鏈進行的工作所需要的時間就越長，應用程式的效能也就越低。

由於我們無法避免這些系統呼叫，因此惟一的選擇是最小化使用這些呼叫的次數。幸運的是，我們可以對這個過程進行控制。

解決方案

在將資料寫入一個 socket 時，儘量一次寫入所有的資料，而不是執行多次寫資料的操作。對於讀操作來說，最好傳入可以支援的最大緩衝區，因為如果沒有足夠多的資料，核心也會試圖填充整個緩衝區（另外還需要保持 TCP 的通告視窗為開啟狀態）。這樣，您就可以最小化呼叫的次數，並可以實現更好的整體效能。

技巧 3. 為 Bandwidth Delay Product 調節 TCP 視窗

TCP 的效能取決於幾個方面的因素。兩個最重要的因素是連結頻寬（link bandwidth）（報文在網路上傳輸的速率）和 往返時間（round-trip time） 或 RTT（傳送報文與接收到另一端的響應之間的延時）。這兩個值確定了稱為 Bandwidth Delay Product（BDP）的內容。

給定連結頻寬和 RTT 之後，您就可以計算出 BDP 的值了，不過這代表什麼意義呢？BDP 給出了一種簡單的方法來計算理論上最優的 TCP socket 緩衝區大小（其中儲存了排隊等待傳輸和等待應用程式接收的資料）。如果緩衝區太小，那麼 TCP 視窗就不能完全開啟，這會對效能造成限制。如果緩衝區太大，那麼寶貴的記憶體資源就會造成浪費。如果您設定的緩衝區大小正好合適，那麼就可以完全利用可用的頻寬。下面我們來看一個例子：

BDP = link_bandwidth * RTT

如果應用程式是通過一個 100Mbps 的區域網進行通訊，其 RRT 為 50 ms，那麼 BDP 就是：

100MBps * 0.050 sec / 8 = 0.625MB = 625KB

注意：此處除以 8 是將位轉換成通訊使用的位元組。

因此，我們可以將 TCP 視窗設定為 BDP 或 1.25MB。但是在 Linux 2.6 上預設的 TCP 視窗大小是 110KB，這會將連線的頻寬限制為 2.2MBps，計算方法如下：

throughput = window_size / RTT

110KB / 0.050 = 2.2MBps

如果使用上面計算的視窗大小，我們得到的頻寬就是 12.5MBps，計算方法如下：

625KB / 0.050 = 12.5MBps

差別的確很大，並且可以為 socket 提供更大的吞吐量。因此現在您就知道如何為您的 socket 計算最優的緩衝區大小了。但是又該如何來改變呢？

解決方案

Sockets API 提供了幾個 socket 選項，其中兩個可以用於修改 socket 的傳送和接收緩衝區的大小。清單 2 展示瞭如何使用 SO_SNDBUF 和 SO_RCVBUF 選項來調整發送和接收緩衝區的大小。

注意：儘管 socket 緩衝區的大小確定了通告 TCP 視窗的大小，但是 TCP 還在通告視窗內維護了一個擁塞視窗。因此，由於這個擁塞視窗的存在，給定的 socket 可能永遠都不會利用最大的通告視窗。

清單 2. 手動設定傳送和接收 socket 緩衝區大小
1 2 3 4 5 6 7 int ret, sock, sock_buf_size; sock = socket( AF_INET, SOCK_STREAM, 0 ); sock_buf_size = BDP; ret = setsockopt( sock, SOL_SOCKET, SO_SNDBUF, (char *)&sock_buf_size, sizeof(sock_buf_size) ); ret = setsockopt( sock, SOL_SOCKET, SO_RCVBUF, (char *)&sock_buf_size, sizeof(sock_buf_size) );

在 Linux 2.6 核心中，傳送緩衝區的大小是由呼叫使用者來定義的，但是接收緩衝區會自動加倍。您可以進行 getsockopt 呼叫來驗證每個緩衝區的大小。

巨幀（jumbo frame）

我們還可以考慮將包的大小從 1,500 位元組修改為 9,000 位元組（稱為巨幀）。在本地網路中可以通過設定最大傳輸單元（Maximum Transmit Unit，MTU）來設定巨幀，這可以極大地提高效能。

就 window scaling 來說，TCP 最初可以支援最大為 64KB 的視窗（使用 16 位的值來定義視窗的大小）。採用 window scaling（RFC 1323）擴充套件之後，您就可以使用 32 位的值來表示視窗的大小了。GNU/Linux 中提供的 TCP/IP 棧可以支援這個選項（以及其他一些選項）。

提示：Linux 核心還包括了自動對這些 socket 緩衝區進行優化的能力（請參閱下面 表 1 中的 tcp_rmem 和 tcp_wmem），不過這些選項會對整個棧造成影響。如果您只需要為一個連線或一類連線調節視窗的大小，那麼這種機制也許不能滿足您的需要了。

技巧 4. 動態優化 GNU/Linux TCP/IP 棧

標準的 GNU/Linux 發行版試圖對各種部署情況都進行優化。這意味著標準的發行版可能並沒有對您的環境進行特殊的優化。

解決方案

GNU/Linux 提供了很多可調節的核心引數，您可以使用這些引數為您自己的用途對作業系統進行動態配置。下面我們來了解一下影響 socket 效能的一些更重要的選項。

在 /proc 虛擬檔案系統中存在一些可調節的核心引數。這個檔案系統中的每個檔案都表示一個或多個引數，它們可以通過 cat 工具進行讀取，或使用 echo 命令進行修改。清單 3 展示瞭如何查詢或啟用一個可調節的引數（在這種情況中，可以在 TCP/IP 棧中啟用 IP 轉發）。

清單 3. 調優：在 TCP/IP 棧中啟用 IP 轉發
1 2 3 4 5 6 [[email protected]]# cat /proc/sys/net/ipv4/ip_forward 0 [[email protected]]# echo "1" > /poc/sys/net/ipv4/ip_forward [[email protected]]# cat /proc/sys/net/ipv4/ip_forward 1 [[email protected]]#

表 1 給出了幾個可調節的引數，它們可以幫助您提高 Linux TCP/IP 棧的效能。

與任何調優努力一樣，最好的方法實際上就是不斷進行實驗。您的應用程式的行為、處理器的速度以及可用記憶體的多少都會影響到這些引數影響效能的方式。在某些情況中，您認為有益的操作可能恰恰是有害的（反之亦然）。因此，我們需要逐一試驗各個選項，然後檢查每個選項的結果。換而言之，我們需要相信自己的經驗，但是對每次修改都要進行驗證。

提示：下面介紹一個有關永久性配置的問題。注意，如果您重新啟動了 GNU/Linux 系統，那麼您所需要的任何可調節的核心引數都會恢復成預設值。為了將您所設定的值作為這些引數的預設值，可以使用 /etc/sysctl.conf 在系統啟動時將這些引數配置成您所設定的值。

GNU/Linux 工具

GNU/Linux 對我非常有吸引力，這是因為其中有很多工具可以使用。儘管其中大部分都是命令列工具，但是它們都非常有用，而且非常直觀。GNU/Linux 提供了幾個工具 —— 有些是 GNU/Linux 自己提供的，有些是開放原始碼軟體 —— 用於除錯網路應用程式，測量頻寬/吞吐量，以及檢查連結的使用情況。

表 2 列出最有用的幾個 GNU/Linux 工具，以及它們的用途。表 3 列出了 GNU/Linux 發行版沒有提供的幾個有用工具。有關表 3 中工具的更多資訊請參閱 參考資料。

結束語

嘗試使用本文中介紹的技巧和技術來提高 socket 應用程式的效能，包括通過禁用 Nagle 演算法來減少傳輸延時，通過設定緩衝區的大小來提高 socket 頻寬的利用，通過最小化系統呼叫的個數來降低系統呼叫的負載，以及使用可調節的核心引數來優化 Linux 的 TCP/IP 棧。

在進行優化時還需要考慮應用程式的特性。例如，您的應用程式是基於 LAN 的還是會通過 Internet 進行通訊？如果您的應用程式僅僅會在 LAN 內部進行操作，那麼增大 socket 緩衝區的大小可能不會帶來太大的改進，不過啟用巨幀卻一定會極大地改進效能！

最後，還要使用 tcpdump 或 Ethereal 來檢查優化之後的結果。在報文級看到的變化可以幫助展示使用這些技術進行優化之後所取得的成功效果。

相關主題

  • 您可以參閱本文在 developerWorks 全球站點上的 英文原文。
  • 請參閱 Pittsburgh Supercomputing Center 有關 TCP 友好的擁塞控制演算法 的其他文章。
  • 增大 MTU 可以極大地影響效能。請參閱更多有關 巨幀 及其優點的內容。
  • 檢視 TCP Westwood 主頁，瞭解更多有關 TCP Westwood 演算法的詳細內容。
  • 您可以將 netlog 庫 連結到一個應用程式，以便為效能分析提供方便。
  • Ethereal 是一個圖形化的網路協議分析器，其中包括了用於協議分析的外掛架構。
  • 在您的下一個開發專案中採用 IBM 試用軟體，這可以從 developerWorks 上直接下載。

相關推薦

linux socket tuning

在開發 socket 應用程式時，首要任務通常是確保可靠性並滿足一些特定的需求。利用本文中給出的 4 個提示，您就可以從頭開始為實現最佳效能來設計並開發 socket 程式。本文內容包括對於 Sockets API 的使用、兩個可以提高效能的 socket 選項以及 GNU

Android Jni層 創建 linux socket 出錯問題解決

res html true bsp 失敗 ica ins moni name 問題： 想在Jni層創建 udp socket 與服務端通信，可是沒有成功。最後發現居然是創建socket失敗（代碼例如以下） // create socket g_sd = soc

Linux socket shutdown()和close()

關閉 sys 描述 shu nis close lose 標記 rst int close(int sockfd) #include<unistd.h>將套接字標記為關閉，嘗試發送已經排隊的數據，將套接字描述符減一，如果描述符為0則發送FIN觸發套接字關閉

Linux Socket編程（不限Linux）

bar fopen 博物館 ont ipaddr mem 綁定 轉換成 network 話雖些許誇張，但是事實也是，現在的網絡編程幾乎都是用的socket。 ——有感於實際編程和開源項目研究。 我們深諳信息交流的價值，那網絡中進程之間如何通信

linux socket編程示例

mil nal blog base inet_pton struct drl unistd.h sage #include <sys/socket.h> #include <netinet/in.h> #include <arpa/in

linux socket talkclient talkserver示例

-s num comment else delete there const don define cleint: #define _GNU_SOURCE 1 #include <sys/types.h> #include <sys/soc

Linux socket編程示例（最簡單的TCP和UDP兩個例子）

步驟 proto 詳解 dto 應該 pro sock bind ram 一、socket編程 　　 網絡功能是Uinux/Linux的一個重要特點，有著悠久的歷史，因此有一個非常固定的編程套路。 　　基於TCP的網絡編程： 　　　　基於連接, 在交互過程中, 服務器

Linux Socket - 基本socket鏈接

窗口 服務器 1-1 bind peek 結果 lin recv request 0x0000 Linux Socket 函數 bind listen connect accept send recv read write 0x0001 Server綁不上ip 報錯位置在b

Linux Socket - 內核非阻塞功能

由於 有變 增加 連接建立 ioc eval type ddr ont select 函數 int select(int maxfdp,fd_set *readfds,fd_set *writefds,fd_set *errorfds,struct timeval*time

linux socket thread

types htonl clas con errno cas author linux ive /********************************************************************************* *

Linux——Socket之UDP程式設計

一、linux網路通訊的BSD套接字（Berkeley Software Distribution） 包括三種方式：1、流式（可靠TCP）2、資料表（面向報文UDP）3、原始（訪問底層協議） 端式：大端（最高位元組先發現）小端（最低位元組先發現） 通訊端點（繫結IP地址，埠號）

Linux-socket程式設計-1對1和1對多聊天

1對1聊天     通過select新增可讀事件的監聽實現。     服務端： #include "header.h" int main(void) { int listenfd = -1; int connfd = -1; struct

Android Linux Socket 資料傳輸錯誤

問題描述： Android 端作為 Socket 服務端，Linux 端作為 Client 端，Android 端給 Linux 端 Android 側傳送資料程式碼： public void sendMessage(final String msg){ Log.

Linux socket send解析

bind type dpa shutdown pos per mic operation use file的定義 struct file { /* * fu_list becomes invalid after file_free is called an

linux socket 程式設計總結

#include<sys/types.h> #include<sys/socket.h> int socket(int domain, int type, int protocol); domain引數　可指定的協議族

linux Socket close()函式 的3種返回方式

Socket close()函式 的3種返回方式 socket close()返回的方式通過 setsockopt ：SO_LINGER 選項設定 此選項指定函式close對面向連線的協議如何操作（如TCP），核心預設close操作是立即返回，如果有資料殘留在套介面緩衝區中則系統將試

《實戰 Linux Socket 程式設計》Warren W.Gay 圖解Key-point學習筆記-1

第一章 套介面簡介 ————————本文為作者原創，轉載請註明出處———————— 此係列為本人的學習筆記，歡迎大家在留言區對概念進行拓展延伸、糾錯討論！ 注：所有的例子程式均來自於原書，筆者親自錄入，如果有讀者有全書原始碼連結，也歡迎在評論區分享給其他讀者！！

Linux socket程式設計示例3 select函式的使用

1.select函式簡介 int select(int maxfdp,fd_set *readfds,fd_set *writefds,fd_set *errorfds,struct timeval*timeout); 當伺服器響應多個客戶端連線的時候，需要定義一個執行緒

Linux Socket程式設計例項(一個Hello World程式)

在Linux下寫了個小的socket程式，分為客戶端和伺服器端,服務端開一個埠(2000),做為一個daemon,等待客戶的連線請求.一旦有客戶連線,伺服器端打印出客戶端的IP地址和埠,並且向伺服器端傳送歡迎資訊和時間.下面是服務端的程式碼(tcpserver.c).由於這只是個簡單的程式，所

Linux socket通訊(TCP)

服務端 #include<stdio.h> #include <sys/socket.h> #include<string.h> #include <arpa/inet.h> #include <unistd.h> #include &