1.專案環境：nginx（前段代理，僅作代理用途）+3個tomcat（都在同一個伺服器上），做的web專案
2.涉及到的業務邏輯：檔案上傳（可能有大檔案，比如說android遊戲，100m）；客戶端介面請求；網站後臺管理
3.問題重現流程：
3.1 配置好tomcat後，直接加上nginx前段代理（僅配置了http代理）
3.2 問題一：當管理員後臺上傳檔案時，大檔案無法上傳成功，出現time-out，經重複測試，發現上傳時間超過1分鐘以後，就會返回超時資訊，小檔案沒有問題
3.2 經調研得知nginx預設設定的http連線超時時間為75s，超過75s，會斷掉當前的http連線，而大檔案上傳時經常會超過75s，這就導致大檔案無法上傳成功，當時的解決方案是，設定nginx http連線超時時間為30分鐘，即引數keepalive_timeout=1800；檔案上傳問題基本解決；
3.4專案執行2天后，發現伺服器突然宕機了，重啟nginx可以解決問題，但是2個小時後又再次宕機，重啟nginx又解決了問題，調研了一箇中午，並且檢視nginx的錯誤日誌（socket() failed (24: Too many open files) while connecting to upstream），發現問題來源與nginx的連線數（設定的預設值為1024）達到上限
3.5發現這個問題後，我就想應該把nginx的連線數調大點，於是設定 worker_connections  10240；重啟nginx，短時間沒有出現問題，但是執行過程中，我再次檢視錯誤日誌，發現（socket() failed (24: Too many open files) while connecting to upstream）時不時的出現
3.6 此時發現調整nginx的連線數並不能完全解決問題，於是google，百度之，發現問題所在，罪魁禍首是：nginx的keepalive_timeout設定項時間太長，客戶端介面訪問其實是一個比較快速的過程，訪問完成了已經不需要繼續使用http連線了，但是由於對nginx的錯誤配置，導致介面訪問完成後http連線並沒有被釋放掉，所以導致連線數越來越大，最終nginx崩潰。

4.那麼這個問題應該如何解決呢？
將keepalive_timeout時間調小會導致上傳操作可能無法完成；調大點的話，許多無效的http連線佔據著nginx的連線數
這貌似是一個兩難的問題！

下面重點來了：

Nginx的TCP KeepAlive如何設定

開篇提到我最近遇到的問題，Client傳送一個請求到Nginx服務端，服務端需要經過一段時間的計算才會返回， 時間超過了LVS Session保持的90s,在服務端使用Tcpdump抓包,本地通過wireshark分析顯示的結果如第二副圖所示，第5條報文和最後一條報文之間的時間戳大概差了90s。在確定是LVS的Session保持時間到期的問題之後，我開始在尋找Nginx的TCP KeepAlive如何設定，最先找到的選項是keepalivetimeout,從同事那裡得知keepalivetimeout的用法是當keepalivetimeout的值為0時表示關閉keepalive,當keepalivetimeout的值為一個正整數值時表示連結保持多少秒，於是把keepalivetimeout設定成75s,但是實際的測試結果表明並不生效。顯然keepalivetimeout不能解決TCP層面的KeepAlive問題，實際上Nginx涉及到keepalive的選項還不少，Nginx通常的使用方式如下：

從TCP層面Nginx不僅要和Client關心KeepAlive,而且還要和Upstream關心KeepAlive, 同時從HTTP協議層面，Nginx需要和Client關心Keep-Alive,如果Upstream使用的HTTP協議，還要關心和Upstream的Keep-Alive，總而言之，還比較複雜。所以搞清楚TCP層的KeepAlive和HTTP的Keep-Alive之後，就不會對於Nginx的KeepAlive設定錯。我當時解決這個問題時候不確定Nginx有配置TCP keepAlive的選項，於是我開啟Ngnix的原始碼，在原始碼裡面搜尋TCP_KEEPIDLE,相關的程式碼如下：

從程式碼的上下文我發現TCP KeepAlive可以配置，所以我接著查詢通過哪個選項配置，最後發現listen指令的so_keepalive選項能對TCP socket進行KeepAlive的配置。

以上三個引數只能使用一個，不能同時使用， 比如so_keepalive=on, so_keepalive=off或者so_keepalive=30s::(表示等待30s沒有資料報文傳送探測報文)。通過設定listen 80,so_keepalive=60s::之後成功解決Nginx在LVS保持長連結的問題，避免了使用其他高成本的方案。在商用負載裝置上如果遇到類似的問題同樣也可以通過這種方式解決。