2. 程式人生 > >jstack診斷weblogic連線池滿的問題

jstack診斷weblogic連線池滿的問題

阿新 • • 發佈：2019-02-05
1.節點現場告警，weblogic節點告警，且系統使用緩慢。

2.看weblogic日誌出現大量的錯誤日誌，連不上資料來源：
java.sql.SQLException: start() failed on resource 'CTDataSource_gg_domain': XAER_RMERR : A resource manager error has occured in the transaction branch
weblogic.transaction.internal.ResourceAccessException: Transaction has timed out when making request to XAResource 'CTDataSource_gg_domain'.
at weblogic.transaction.internal.XAResourceDescriptor.startResourceUse(XAResourceDescriptor.java:670)
at weblogic.transaction.internal.XAServerResourceInfo.start(XAServerResourceInfo.java:1230)
at weblogic.transaction.internal.XAServerResourceInfo.xaStart(XAServerResourceInfo.java:1164)
at weblogic.transaction.internal.XAServerResourceInfo.enlist(XAServerResourceInfo.java:285)
at weblogic.transaction.internal.ServerTransactionImpl.enlistResource(ServerTransactionImpl.java:522)
at weblogic.transaction.internal.ServerTransactionImpl.enlistResource(ServerTransactionImpl.java:449)
at weblogic.jdbc.jts.Driver.createLocalConnection(Driver.java:349)
at weblogic.jdbc.jts.Driver.connect(Driver.java:173)
at weblogic.jdbc.common.internal.RmiDataSource.getConnection(RmiDataSource.java:364)

3.以前都沒有見過這種錯誤。檢視weblogic console JDBC資料來源執行時統計資訊的幾個引數，發現連線池滿了。

4.連線池滿了，到底是什麼東西佔滿了，分析dump和jstack。在分析jstack上有突破，發現大量的執行緒blocked。

"[ACTIVE] ExecuteThread: '134' for queue: 'weblogic.kernel.Default (self-tuning)'" daemon prio=10 tid=0x00007f610808c000 nid=0x19a waiting for monitor entry [0x00007f5eb10cf000]
   java.lang.Thread.State: BLOCKED (on object monitor)
at weblogic.jdbc.wrapper.JTSConnection.internalRollback(JTSConnection.java:454)
- waiting to lock <0x00000007542f9bb0> (a weblogic.jdbc.wrapper.JTSConnection_oracle_jdbc_driver_T4CConnection)
at weblogic.jdbc.wrapper.JTSXAResourceImpl.rollback(JTSXAResourceImpl.java:71)
at weblogic.transaction.internal.XAServerResourceInfo.rollback(XAServerResourceInfo.java:1493)
at weblogic.transaction.internal.XAServerResourceInfo.rollback(XAServerResourceInfo.java:788)
at weblogic.transaction.internal.ServerSCInfo.startRollback(ServerSCInfo.java:875)
at weblogic.transaction.internal.ServerTransactionImpl.localRollback(ServerTransactionImpl.java:2050)
at weblogic.transaction.internal.ServerTransactionImpl.globalRetryRollback(ServerTransactionImpl.java:3120)
at weblogic.transaction.internal.ServerTransactionImpl.access$100(ServerTransactionImpl.java:63)
at weblogic.transaction.internal.ServerTransactionImpl$1.run(ServerTransactionImpl.java:3355)
at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
at weblogic.work.ExecuteThread.run(ExecuteThread.java:178)

"[ACTIVE] ExecuteThread: '132' for queue: 'weblogic.kernel.Default (self-tuning)'" daemon prio=10 tid=0x00007f60e401a000 nid=0x703d waiting for monitor entry [0x00007f5eb12d1000]
   java.lang.Thread.State: BLOCKED (on object monitor)
at weblogic.jdbc.wrapper.JTSConnection.internalRollback(JTSConnection.java:454)
- waiting to lock <0x00000007542f9bb0> (a weblogic.jdbc.wrapper.JTSConnection_oracle_jdbc_driver_T4CConnection)
at weblogic.jdbc.wrapper.JTSXAResourceImpl.rollback(JTSXAResourceImpl.java:71)
at weblogic.transaction.internal.XAServerResourceInfo.rollback(XAServerResourceInfo.java:1493)
at weblogic.transaction.internal.XAServerResourceInfo.rollback(XAServerResourceInfo.java:788)
at weblogic.transaction.internal.ServerSCInfo.startRollback(ServerSCInfo.java:875)
at weblogic.transaction.internal.ServerTransactionImpl.localRollback(ServerTransactionImpl.java:2050)
at weblogic.transaction.internal.ServerTransactionImpl.globalRetryRollback(ServerTransactionImpl.java:3120)
at weblogic.transaction.internal.ServerTransactionImpl.access$100(ServerTransactionImpl.java:63)
at weblogic.transaction.internal.ServerTransactionImpl$1.run(ServerTransactionImpl.java:3355)
at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
at weblogic.work.ExecuteThread.run(ExecuteThread.java:178)

根據waiting to lock <0x00000007542f9bb0>搜尋，發現執行緒9持有：

"[ACTIVE] ExecuteThread: '9' for queue: 'weblogic.kernel.Default (self-tuning)'" daemon prio=10 tid=0x00007f6108006000 nid=0x53e waiting for monitor entry [0x00007f60d1fda000]
   java.lang.Thread.State: BLOCKED (on object monitor)
at oracle.jdbc.driver.PhysicalConnection.rollback(PhysicalConnection.java:3896)
- waiting to lock <0x0000000703ccd180> (a oracle.jdbc.driver.T4CConnection)
at weblogic.jdbc.wrapper.JTSConnection.internalRollback(JTSConnection.java:460)
- locked <0x00000007542f9bb0> (a weblogic.jdbc.wrapper.JTSConnection_oracle_jdbc_driver_T4CConnection)
at weblogic.jdbc.wrapper.JTSXAResourceImpl.rollback(JTSXAResourceImpl.java:71)
at weblogic.transaction.internal.XAServerResourceInfo.rollback(XAServerResourceInfo.java:1493)
at weblogic.transaction.internal.XAServerResourceInfo.rollback(XAServerResourceInfo.java:788)
at weblogic.transaction.internal.ServerSCInfo.startRollback(ServerSCInfo.java:875)
at weblogic.transaction.internal.ServerTransactionImpl.localRollback(ServerTransactionImpl.java:2050)
at weblogic.transaction.internal.ServerTransactionImpl.globalRetryRollback(ServerTransactionImpl.java:3120)
at weblogic.transaction.internal.ServerTransactionImpl.globalRollback(ServerTransactionImpl.java:2872)
at weblogic.transaction.internal.TransactionImpl$3.run(TransactionImpl.java:2000)
at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
at weblogic.work.ExecuteThread.run(ExecuteThread.java:178)

根據waiting to lock <0x0000000703ccd180> 搜尋，發現執行緒13持有,可以確定這個就是罪魁禍首，業務讀取大欄位：

"[STUCK] ExecuteThread: '13' for queue: 'weblogic.kernel.Default (self-tuning)'" daemon prio=10 tid=0x00007f6108009800 nid=0x46bd runnable [0x00007f60d1ad0000]
   java.lang.Thread.State: RUNNABLE
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:129)
at oracle.net.ns.Packet.receive(Packet.java:293)
at oracle.net.ns.DataPacket.receive(DataPacket.java:104)
at oracle.net.ns.NetInputStream.getNextPacket(NetInputStream.java:315)
at oracle.net.ns.NetInputStream.read(NetInputStream.java:260)
at oracle.jdbc.driver.T4CSocketInputStreamWrapper.read(T4CSocketInputStreamWrapper.java:105)
at oracle.jdbc.driver.T4CMAREngine.getNBytes(T4CMAREngine.java:1504)
at oracle.jdbc.driver.T4C8TTILobd.unmarshalLobData(T4C8TTILobd.java:450)
at oracle.jdbc.driver.T4C8TTILob.readLOBD(T4C8TTILob.java:767)
at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:358)
at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:191)
at oracle.jdbc.driver.T4C8TTILob.read(T4C8TTILob.java:146)
at oracle.jdbc.driver.T4CConnection.getBytes(T4CConnection.java:2346)
- locked <0x0000000703ccd180> (a oracle.jdbc.driver.T4CConnection)
at oracle.sql.BLOB.getBytes(BLOB.java:331)
at oracle.sql.BLOB.getBytes(BLOB.java:217)
at oracle.jdbc.driver.T4CBlobAccessor.getBytes(T4CBlobAccessor.java:464)
at oracle.jdbc.driver.OracleResultSetImpl.getBytes(OracleResultSetImpl.java:708)
- locked <0x0000000703ccd180> (a oracle.jdbc.driver.T4CConnection)
at oracle.jdbc.driver.OracleResultSet.getBytes(OracleResultSet.java:398)
at weblogic.jdbc.wrapper.ResultSet_oracle_jdbc_driver_OracleResultSetImpl.getBytes(Unknown Source)
at com.gg.bpms.engine.deploy.model.DefinitionModelVOConvert.voConvert(DefinitionModelVOConvert.java:80)
.................................................................

相關推薦

jstack診斷weblogic連線池滿的問題

1.節點現場告警，weblogic節點告警，且系統使用緩慢。 2.看weblogic日誌出現大量的錯誤日誌，連不上資料來源： java.sql.SQLException: start() failed on resource 'CTDataSource_gg_domain': XAER_RMERR : A r

文字方式配置weblogic連線池(明文密碼屬性)

對weblogic資料庫連線池進行配置有兩種方法：(1)通過控制檯(圖形介面上進行操作)     這個過程很簡單，略。(2)通過文字(對config.xml進行修改)     如果你的weblogic控制檯出現問題，比如說進不去、一閃就消失了等等現象，而此時你又想配置連線池，

weblogic連線池重連機制不一定靠得住

ORA-27102: out of memoryLinux-x86_64 Error: 12: Cannot allocate memoryAdditional information: 26Additional information: 327684Additional information: -1610

某局Weblogic 連線池問題（現場報告）（Connection has been administratively disabled. Try later.）

目錄 1. 概述 3 1. 概述 1.1 概述： 應客戶的要求，某局BATCH系統存在的問題進行診斷。經過日誌分析及故障現象定位造成問題的原因，形成此份報告。 為了提供系統的穩定和效能，建議針對性的修改一些引數(會在報告中詳述)，在下次重啟Server時

資料庫連線池滿的問題

Session session =this.getSession();        Transaction tx = session.beginTransaction();        Connection con = session.connection();        try {        

Weblogic連線池屬性（PinnedToThread ）導致連線池連線不斷增長

最近專案遇到棘手的問題，weblogic連線池不斷增長導致連線爆滿。 後來經過仔細查詢發現weblogic連線池設定勾選了PinnedToThread 屬性導致的，下面先看下官方對這個屬性的介紹吧： PinnedToThread 是一個能夠改善效能的選項，它啟用執行執行緒

記一次線上應用連線池滿的處理

記一次線上應用dubbo-claim連線池滿的處理 首先看到dubbo-claim應用突然大面積報錯，基本反饋是凍結預算出問題了，看了看凍結預算的程式碼，發現寫的非常複雜，果斷放棄看程式碼來排查問題。 Could not open jdbc connec

Weblogic 資料來源 連線池佔滿的一種解決思路

   連線池佔滿比然後會有資料庫連線洩露或者未釋放。如果一句一句去找哪個sql出了問題是比較麻煩的特別是在別人的程式碼上找，這個時候可以點選Weblogic控制檯，進入環境-----伺服器選擇服務  點選監視執行緒,可以看到什麼型別的請求請求地址沒有釋放執行緒異常再去找程式

weblogic伺服器連線池配置細節

進入某個連線池配置頁，進入“連線“頁，點選高階選項的”show“顯示高階選項。 指定 "測試頻率" 並啟用 "測試保留的連線"、"測試建立的連線" 和 "測試釋放的連線"。   測試頻率(Test Frequency):  

WebLogic Server 效能優化—JDBC連線池篇

  JDBC連線池是J2EE應用最常用的一個服務，JDBC連線池的設定相對比較簡單一些。JDBC連線池的設定最主要的是Intial Capcity和Maximum Capacity兩個屬性。下面對於JDBC連線池的幾個屬性及優化配置方案進行描述：Initial Capacit

利用weblogic的POOL（連線池）連線資料庫

以往用JAVA存取資料庫都是直接用JDBC連線資料庫； 一般的，每個資料庫客戶端應用程式都要開啟一個或一個以上的資料庫連線， 而在weblogic下我們可以利用weblogic提供的POOL來存取資料庫， 使每個資料庫客戶端共同分享一個或一個以上的資

使用C3P0連線池的連線洩露診斷方法

設定C3P0的log輸出 為了能看到C3P0丟擲的異常資訊，還需要設定C3P0的log屬性。最簡單的方式就是讓C3P0使用JDK標準的log API，這樣不需要載入額外的jar。在啟動JVM時，設定啟動引數： Dcom.mchange.v2.log.MLog=com.mchange.v2.log

weblogic資料庫連線池引數配置詳解

比較容易混淆的引數解釋 1：Inactive Connection Timeout 這個引數很重要，是10以後的版本新加的，9版本沒有，一般情況建議不要開啟該引數，即使開啟也儘可能要把數值設定大些，比如1800秒等。這個欄位的具體官方解釋在10.3.0.0的版本如下，在X

Oracle WebLogic 10.3 連線池引數配置詳解

PinnedToThread 是一個能夠改善效能的選項，它啟用執行執行緒以保持已進入緩衝池的資料庫連線，即使在應用程式關閉邏輯連線之後。 啟用 PinnedToThread 後，WebLogic Server 將在應用程式首次使用某個執行執行緒保留連線時把連線緩衝池中的一個數據庫連線固定到此執行緒。當應用程

Java資料庫連線池細節探討

我們知道，資料庫連線池可以把資料庫的連線快取起來，下次使用的話可以直接取到快取起來的資料庫連線。那麼，在這個過程中有幾個細節需要注意： 1、資料庫的連線數有沒有限制？ 2、資料庫會不會自動斷開已經建立的連線？ 3、如果資料庫重啟了，但應用沒有重啟，那麼資料庫連線池中的所有連線都不可用了，

spring-data-mono java註解方式mongo連線池帶認證配置

import com.mongodb.MongoClient; import com.mongodb.MongoClientOptions; import com.mongodb.MongoCredential; import com.mongodb.ServerAddress; import or

golang中redis連線池

package main import ( "github.com/garyburd/redigo/redis" "fmt" ) var pool *redis.Pool func init() { pool = &redis.Pool{ MaxIdle:16,

JavaWeb_day10_資料庫連線池_c3p0_DBUtils

1.在實際開發中，“獲取連線”和“釋放資源”是很消耗系統資源的兩個過程，為了解決此問題，採用連線池技術，共享連線connection 2.連線池概念 3.Java的資料庫連線池的公共介面：javax.sql.DataSource 常見的連線池：DBCP   C3

手寫資料庫連線池附gp連線jar包地址

  手寫資料庫連線並,測試.   最近資料庫要連線GP資料庫(GreenplumSQL),在建立連線的時候需要做建立不同的連線數量. 其實當想到寫資料庫連線時,完全可以通過springdata jpa直接寫介面,這是一種思路. 所以在使用的使用,就寫了個dem

Jedis連線池

1.前言     公司使用阿里雲的雲資料庫Redis，在Spirng的配置中，傳統的Jedis配置已經不合適了，因為本地連線雲Redis服務需要輸入密碼才行，這樣只有JedisPool中才有輸入驗證密碼的屬性，於是採用了JedisPool的方式來連線單擊的Redis