【疑難系列】 一個看起來是資料庫死鎖的問題
阿新 • • 發佈:2019-06-15
起因
週六,7:10,鬧鐘還沒響,客戶電話過來了。
“彬哥,我們XX平臺XX功能導致資料庫死鎖了,上次某某上去看過,把死鎖的sqlserver程序殺過,但還是出現這個問題,麻煩你看一下”
“...”
起床,嗽口,吃個西紅柿當早餐,出門(家裡沒網)
經過
連線伺服器,重現問題
問題是:
某功能,點選之後等啊等,等啊等,等死了都沒等到響應
所以
上次某某上去看過
使用這句sql查詢到有被鎖的連線
-- 查詢死鎖 select request_session_id spid, OBJECT_NAME(resource_associated_entity_id) tableName from sys.dm_tran_locks where resource_type='OBJECT'
於是將查詢出來的死鎖程序殺掉——但結果沒用
凡是這種執行緒問題,都可以上jstack
找到java程序id,上jstack工具檢視
D:\Program Files\Java\jdk1.8\bin>jstack 15316 > jstatck.log
將日誌檔案jstatck.log
,拷貝到本地開啟檢視,
"http-nio-8080-exec-25" #197 daemon prio=5 os_prio=0 tid=0x0000000041b70800 nid=0x1530 waiting on condition [0x000000005f67f000] java.lang.Thread.State: TIMED_WAITING (parking) at sun.misc.Unsafe.park(Native Method) - parking to wait for <0x00000003c66f3d98> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject) at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215) at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078) at java.util.concurrent.LinkedBlockingQueue.poll(LinkedBlockingQueue.java:467) at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:85) at org.apache.tomcat.util.threads.TaskQueue.poll(TaskQueue.java:31) at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1073) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) at java.lang.Thread.run(Thread.java:748)
這種java庫的執行緒不用看,看我們自己寫的程式碼部分
"http-nio-8080-exec-19" #191 daemon prio=5 os_prio=0 tid=0x000000003d743800 nid=0xce0 runnable [0x000000005ee5b000] java.lang.Thread.State: RUNNABLE at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.socketRead(SocketInputStream.java:116) at java.net.SocketInputStream.read(SocketInputStream.java:171) at java.net.SocketInputStream.read(SocketInputStream.java:141) at org.apache.http.impl.io.SessionInputBufferImpl.streamRead(SessionInputBufferImpl.java:137) at org.apache.http.impl.io.SessionInputBufferImpl.fillBuffer(SessionInputBufferImpl.java:153) at org.apache.http.impl.io.SessionInputBufferImpl.readLine(SessionInputBufferImpl.java:282) at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:140) at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:57) at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:259) at org.apache.http.impl.DefaultBHttpClientConnection.receiveResponseHeader(DefaultBHttpClientConnection.java:163) at org.apache.http.impl.conn.CPoolProxy.receiveResponseHeader(CPoolProxy.java:153) at org.apache.http.protocol.HttpRequestExecutor.doReceiveResponse(HttpRequestExecutor.java:273) at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:125) at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:254) at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:195) at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:86) at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:108) at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:184) at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:82) at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:106) at 我們公司的程式碼.RestHandler.httpExecute(RestHandler.java:50) at 我們公司的程式碼.RestHandler.operatorToXXZX(RestHandler.java:44) at 我們公司的程式碼.ShortTermForecastService.saveToCIMISS(ShortTermForecastService.java:334) ...(其它省略)
在這裡找到了與我們公司的程式碼相關的內容。
這裡表明兩個問題:
1. 說明這個執行緒正在執行,與上述“等啊等,等啊等”的現象描述是一致的(沒有執行完的執行緒不就這樣麼)
2. 這裡的程式碼在訪問某個url,並且一直在等待對方的響應
找到了出問題的地方,就可以檢視原始碼分析了
private void saveToCIMISS(final Long fid) throws Exception {
//... 省略上面程式碼
RestHandler.operatorToXXZX(EnumXXZX.INS_SHORTTREMPRODUCT.getUrl(), EnumXXZX.INS_SHORTTREMPRODUCT.getInterfaceId(), param);
//...省略下面程式碼
}
然後看看是呼叫了哪個 url 導致,至此問題原因已找到!
結果及分析
為什麼會有“死鎖”sqlserver連線呢
其實這並不是什麼“死鎖”,只是正常的鎖
上面這個執行緒執行過程,會使用事務,事務引進的鎖——而因為在事務過程中產生了外部的http訪問,且該http長時間沒有響應,導致事務鎖因此也長時間佔用資料庫。
所以,表面看起來是資料庫“死鎖”了
解決問題思路
凡是執行緒問題,都可以用jstack工具
其它
面試的時候,面試官問我
“你遇到過最難解決的問題,你是怎麼解決的?”
“我特麼都是問題解決了就忘記了,所以沒啥印象”
不過,我是在心裡說的
所以,對於別人問我的問題,我決定記錄下來,免得將來忘記