之前線上一個服務偶爾會產生資料庫連線失敗的錯誤，類似這種

OperationalError: (2003, "Can't connect to MySQL server on '127.0.0.1' (99)")

接著我在本地測試環境寫了下面的python指令碼

import MySQLdb
def test(self):
    while True:          
        db = MySQLdb.connect(host='127.0.0.1', user='me',passwd='mypassword')
        c = db.cursor()
        c.close()
        db.close()
        print i
        i = i + 1
 

在這12秒過程中監控資料庫發現當時的資料庫連線數在15以下，是正常狀態。因此基本可以斷定這個bug和資料庫本身沒有主要關係。

通過下面命令可以統計當前各種狀態的連線的數量

# netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
TIME_WAIT 28417
ESTABLISHED 49

CLOSED：無連線是活動的或正在進行
LISTEN：伺服器在等待進入呼叫
SYN_RECV：一個連線請求已經到達，等待確認
SYN_SENT：應用已經開始，開啟一個連線
ESTABLISHED：正常資料傳輸狀態
FIN_WAIT1：應用說它已經完成
FIN_WAIT2：另一邊已同意釋放
ITMED_WAIT：等待所有分組死掉
CLOSING：兩邊同時嘗試關閉
TIME_WAIT：另一邊已初始化一個釋放
LAST_ACK：等待所有分組死掉
 

可以看到連線資料庫失敗的時候，存在大量的time_wait狀態的連線。基本可以斷定造成此Bug的原因是因為time_wait積累導致埠耗盡。

產生time_wait的原因：

當某個tcp端點關閉tcp連線時，會在記憶體中維護一個小的控制塊，用來記錄最近關閉連結的ip地址和埠號，這類資訊只會維持一小段時間，通常是所估計的最大分段使用期的兩倍（成為2MSL,通常為2分鐘），在這段時間內無法重新建立兩個具有相同ip地址和埠號的連線。

在本場景下構建一條tcp連線的4個值

<source-IP-address,source-port,destination-address,desctnation-port>
 

但是由於可用埠的數量有限（比如60000）個，而在2MSL秒（比如120秒）內連線是無法重用的，連線率被限制在60000/120=500秒/次。

當前場景就是因為連線率過高導致time_wait埠耗盡的問題，埠耗盡後由於沒有可用埠自然遇到連線資料庫失敗.

知道問題的原因我們可以從兩方面解決問題:

1.減少time_wait連線等待時間

通過修改核心引數解決

主要修改兩個引數

tcp_tw_recycle - BOOLEAN
	Enable fast recycling TIME-WAIT sockets. Default value is 0.
	It should not be changed without advice/request of technical
	experts.

tcp_tw_reuse - BOOLEAN
	Allow to reuse TIME-WAIT sockets for new connections when it is
	safe from protocol viewpoint. Default value is 0.
	It should not be changed without advice/request of technical
	experts.

修改方法如下

[[email protected] ~]# sysctl -a|grep net.ipv4.tcp_tw
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_tw_recycle = 0
[[email protected] ~]#

vim /etc/sysctl.conf
增加或修改net.ipv4.tcp_tw值：
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

使核心引數生效：
[[email protected] ~]# sysctl -p

[[email protected] ~]# sysctl -a|grep net.ipv4.tcp_tw
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1

在本場景中因為是主要和資料庫的互動,可以通過建立資料庫連線池複用myslq連線較少新連線的生成.

參考資料

http://elf8848.iteye.com/blog/1739571

http://blog.csdn.net/sungblog/article/details/1385345

<<http權威指南>> 4.2.7 TIME_WAIT累積與埠耗盡