基於sysctl.conf優化高併發伺服器的TCP引數
sysctl.conf工作原理
sysctl命令被用於在核心執行時動態地修改核心的執行引數,可用的核心引數在目錄/proc/sys
中。它包含一些TCP/IP堆疊和虛擬記憶體系統的高階選項, 這可以讓有經驗的管理員提高引人注目的系統性能。用sysctl可以讀取設定超過五百個系統變數。
limits.conf設定
1)暫時生效,適用於通過 ulimit
命令登入 shell 會話期間
ulimit -SHn 65535
2)永久生效,通過將一個相應的 ulimit 語句新增到由登入 shell 讀取的檔案之一(例如 ~/.profile),即特定於 shell 的使用者資原始檔;或者通過編輯/etc/security/limits.conf
#比如新增到/etc/profile echo ulimit -SHn 65535 >> /etc/profile source /etc/profile #修改最大程序和最大檔案開啟數限制 vi /etc/security/limits.conf * soft nproc 11000 * hard nproc 11000 * soft nofile 655350 * hard nofile 655350
sysctl.conf設定
#優化TCP
vi /etc/sysctl.conf
#禁用包過濾功能
net.ipv4.ip_forward = 0
#啟用源路由核查功能
net.ipv4.conf.default.rp_filter = 1
#禁用所有IP源路由
net.ipv4.conf.default.accept_source_route = 0
#使用sysrq組合鍵是瞭解系統目前執行情況,為安全起見設為0關閉
kernel.sysrq = 0
#控制core檔案的檔名是否新增pid作為擴充套件
kernel.core_uses_pid = 1
#開啟SYN Cookies,當出現SYN等待佇列溢位時,啟用cookies來處理
net.ipv4.tcp_syncookies = 1
#每個訊息佇列的大小(單位:位元組)限制
kernel.msgmnb = 65536
#整個系統最大訊息佇列數量限制
kernel.msgmax = 65536
#單個共享記憶體段的大小(單位:位元組)限制,計算公式64G*1024*1024*1024(位元組)
kernel.shmmax = 68719476736
#所有記憶體大小(單位:頁,1頁 = 4Kb),計算公式16G*1024*1024*1024/4KB(頁)
kernel.shmall = 4294967296
#timewait的數量,預設是180000
net.ipv4.tcp_max_tw_buckets = 6000
#開啟有選擇的應答
net.ipv4.tcp_sack = 1
#支援更大的TCP視窗. 如果TCP視窗最大超過65535(64K), 必須設定該數值為1
net.ipv4.tcp_window_scaling = 1
#TCP讀buffer
net.ipv4.tcp_rmem = 4096 131072 1048576
#TCP寫buffer
net.ipv4.tcp_wmem = 4096 131072 1048576
#為TCP socket預留用於傳送緩衝的記憶體預設值(單位:位元組)
net.core.wmem_default = 8388608
#為TCP socket預留用於傳送緩衝的記憶體最大值(單位:位元組)
net.core.wmem_max = 16777216
#為TCP socket預留用於接收緩衝的記憶體預設值(單位:位元組)
net.core.rmem_default = 8388608
#為TCP socket預留用於接收緩衝的記憶體最大值(單位:位元組)
net.core.rmem_max = 16777216
#每個網路介面接收資料包的速率比核心處理這些包的速率快時,允許送到佇列的資料包的最大數目
net.core.netdev_max_backlog = 262144
#web應用中listen函式的backlog預設會給我們核心引數的net.core.somaxconn限制到128,而nginx定義的NGX_LISTEN_BACKLOG預設為511,所以有必要調整這個值
net.core.somaxconn = 262144
#系統中最多有多少個TCP套接字不被關聯到任何一個使用者檔案控制代碼上。這個限制僅僅是為了防止簡單的DoS攻擊,不能過分依靠它或者人為地減小這個值,更應該增加這個值(如果增加了記憶體之後)
net.ipv4.tcp_max_orphans = 3276800
#記錄的那些尚未收到客戶端確認資訊的連線請求的最大值。對於有128M記憶體的系統而言,預設值是1024,小記憶體的系統則是128
net.ipv4.tcp_max_syn_backlog = 262144
#時間戳可以避免序列號的卷繞。一個1Gbps的鏈路肯定會遇到以前用過的序列號。時間戳能夠讓核心接受這種“異常”的資料包。這裡需要將其關掉
net.ipv4.tcp_timestamps = 0
#為了開啟對端的連線,核心需要傳送一個SYN並附帶一個迴應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設定決定了核心放棄連線之前傳送SYN+ACK包的數量
net.ipv4.tcp_synack_retries = 1
#在核心放棄建立連線之前傳送SYN包的數量
net.ipv4.tcp_syn_retries = 1
#開啟TCP連線中time_wait sockets的快速回收
net.ipv4.tcp_tw_recycle = 1
#開啟TCP連線複用功能,允許將time_wait sockets重新用於新的TCP連線(主要針對time_wait連線)
net.ipv4.tcp_tw_reuse = 1
#1st低於此值,TCP沒有記憶體壓力,2nd進入記憶體壓力階段,3rdTCP拒絕分配socket(單位:記憶體頁)
net.ipv4.tcp_mem = 94500000 915000000 927000000
#如果套接字由本端要求關閉,這個引數決定了它保持在FIN-WAIT-2狀態的時間。對端可以出錯並永遠不關閉連線,甚至意外當機。預設值是60 秒。2.2 核心的通常值是180秒,你可以按這個設定,但要記住的是,即使你的機器是一個輕載的WEB伺服器,也有因為大量的死套接字而記憶體溢位的風險,FIN- WAIT-2的危險性比FIN-WAIT-1要小,因為它最多隻能吃掉1.5K記憶體,但是它們的生存期長些。
net.ipv4.tcp_fin_timeout = 15
#表示當keepalive起用的時候,TCP傳送keepalive訊息的頻度(單位:秒)
net.ipv4.tcp_keepalive_time = 30
#對外連線埠範圍
net.ipv4.ip_local_port_range = 2048 65000
#表示檔案控制代碼的最大數量
fs.file-max = 102400
其他設定
可以通過/etc/sysctl.conf控制和配置Linux核心及網路設定。
# 避免放大攻擊
net.ipv4.icmp_echo_ignore_broadcasts = 1
# 開啟惡意icmp錯誤訊息保護
net.ipv4.icmp_ignore_bogus_error_responses = 1
# 開啟SYN洪水攻擊保護
net.ipv4.tcp_syncookies = 1
# 開啟並記錄欺騙,源路由和重定向包
net.ipv4.conf.all.log_martians = 1
net.ipv4.conf.default.log_martians = 1
# 處理無源路由的包
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.accept_source_route = 0
# 開啟反向路徑過濾
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1
# 確保無人能修改路由表
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0
# 不充當路由器
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
# 開啟execshild
kernel.exec-shield = 1
kernel.randomize_va_space = 1
# IPv6設定
net.ipv6.conf.default.router_solicitations = 0
net.ipv6.conf.default.accept_ra_rtr_pref = 0
net.ipv6.conf.default.accept_ra_pinfo = 0
net.ipv6.conf.default.accept_ra_defrtr = 0
net.ipv6.conf.default.autoconf = 0
net.ipv6.conf.default.dad_transmits = 0
net.ipv6.conf.default.max_addresses = 1
# 優化LB使用的埠
# 增加系統檔案描述符限制
fs.file-max = 65535
# 允許更多的PIDs (減少滾動翻轉問題); may break some programs 32768
kernel.pid_max = 65536
# 增加系統IP埠限制
net.ipv4.ip_local_port_range = 2000 65000
# 增加TCP最大緩衝區大小
net.ipv4.tcp_rmem = 4096 87380 8388608
net.ipv4.tcp_wmem = 4096 87380 8388608
# 增加Linux自動調整TCP緩衝區限制
# 最小,預設和最大可使用的位元組數
# 最大值不低於4MB,如果你使用非常高的BDP路徑可以設定得更高
# Tcp視窗等
net.core.rmem_max = 8388608
net.core.wmem_max = 8388608
net.core.netdev_max_backlog = 5000
net.ipv4.tcp_window_scaling = 1