20150804客戶sqlserver庫查詢sql執行慢的問題分析

阿新 • • 發佈：2018-11-26

執行報表反接收操作時檢查是否產生關聯報表的sql查詢。

這條指令碼在oracle庫都執行正常，執行速度可以控制在0.05s以內。

存在sql查詢效能問題的客戶情況：

1、作業系統

阿里雲四核、14G記憶體。資料庫伺服器分配了10個G的記憶體。

2、Sql Server設定

3、業務資料：

4、客戶出現效能的SQL

SELECT distinct r.FID AS ID,r2.FName AS SourceReport,                                   
 r2.FNumber AS SourceReportNumber,                                              
 tr.FName_l2 AS TreeName,                                            
 o.FName_l2 AS UnitName,                                             
 c.FName_l2 AS CurrencyName,                                         
 r.FPeriodType AS PeriodType,                                                   
 r.FYear AS FYear,                                                              
 r.FPeriod AS Period,                                                           
 r.FSourceType AS SourceType,                                                   
 r.FName AS ReportName,                                                         
 s.FLongNumber AS OrgLongNumber,                                                
 r.FCommittedStatus  AS CommittedStatus                                         
 FROM T_CSL_CslReport r                                                       
     INNER JOIN T_Org_Tree tr  ON r.FOrgTreeID = tr.FID                                             
     INNER JOIN T_Org_BaseUnit o  ON r.FOrgUnitID = o.FID                                              
     INNER JOIN T_BD_Currency c   ON r.FCurrencyID = c.FID                                             
 INNER JOIN T_RPT_Template t ON r.FTemplateID = t.FID                                                 
 INNER JOIN T_CSL_TempletItemList til  ON t.FID = til.FTemplateID                                               
 INNER JOIN T_CSL_TempletItemList til2                                        
     ON til.FItemNumber = til2.FItemNumber                                    
          AND til.FDataElement = til2.FDataElement                            
          AND til.FValueType = til2.FValueType                                
 INNER JOIN T_RPT_Template t2                                                 
     ON til2.FTemplateID = t2.FID                                             
 INNER JOIN T_CSL_CslReport r2                                                
     ON t2.FID = r2.FTemplateID AND r.FCurrencyID = r2.FCurrencyID        
      AND r.FYear = r2.FYear AND r.FPeriod = r2.FPeriod  AND r.FPeriodType = r2.FPeriodType     
 INNER JOIN T_CSL_RptReceived rec                                             
     ON r2.FID = rec.FReportID AND r.FOrgTreeID = rec.FOrgTreeID              
 INNER JOIN T_Org_Structure s                            
    ON r.FOrgTreeID = s.FTreeID AND r.FOrgUnitID = s.FUnitID        
 INNER JOIN T_Org_Structure s2                            
    ON rec.FOrgTreeID = s2.FTreeID AND r2.FOrgUnitID = s2.FUnitID      
 WHERE  r2.FID IN ('Dq8AAABWGky3Euos','Dq8AAABWGnS3Euos','Dq8AAABWGoK3Euos','Dq8AAABWGkK3Euos','Dq8AAABWGqG3Euos')                             
     AND CHARINDEX(s.FLongNumber  + '!', s2.FLongNumber) = 1                    
    AND ((r.FSourceType IN (2,3,4) AND r2.FSourceType IN (1,7))        
    OR ((r.FSourceType = 2 AND r2.FSourceType = 2) AND (r.FSumCalculateMethod=0 OR r.FSumCalculateMethod=2))      
      OR (r.FSourceType = 3 AND r2.FSourceType = 3)            
      OR ((r.FSourceType = 2 AND r2.FSourceType = 3) AND (r.FSumCalculateMethod=1 OR r.FSumCalculateMethod=2)) )

症狀：執行完這條查詢需要將近半個小時。

sql分析：

1）sql的邏輯：用報表+組織+模板+專案，分別查詢出上下級兩個試圖，進行匹配過濾。

2）效能點：T_CSL_TemplateItemList作為最明細級表，此試圖的結果集龐大，特別是查詢上級試圖時，因為只能通過一些若關鍵字過濾。

3）優化點：採用子查詢方式，縮小中間結果集，提高匹配過濾效率。

優化後sql：

select rpt1.fname, rpt1.fnumber
  from (select distinct s.flongnumber, r.fname, r.fnumber
          from t_csl_cslreport r
          join t_rpt_template tmpl
            on r.ftemplateid = tmpl.fid
          join t_org_structure s
            on r.FCompanyID = s.funitid
          join t_csl_rptreceived rec
            on rec.freportid = r.fid
           and s.ftreeid = rec.forgtreeid
         where tmpl.fgroup in
 --獲取集團模板id
               (select distinct temp.fgroup
                  from t_rpt_template  temp
join t_csl_templetitemlist templist on temp.fid = templist.ftemplateid
                 where exists (select 1 from tempId tt where templist.fid = tt.fid)
                     templist.fid in (select lst2.fid
                          from (select lst.fitemnumber,
                                        lst.fvaluetype,
                                        lst.FDataElement,
                                        lst.fid
                                   from t_csl_templetitemlist lst
                                  where lst.ftemplateid in
                                        (select distinct case  when tmpl.fgrouptemplateid is null then
                                                            tmpl.fid
                                                           else
                                                            tmpl.fgrouptemplateid
                                                         end
                                           from t_csl_cslreport r
                                           join t_rpt_template tmpl
                                             on r.ftemplateid = tmpl.fid
                                          where r.fid in ('Dq8AAABLKIm3Euos'))) lst1
                          join (select lst.fitemnumber,
                                       lst.fvaluetype,
                                       lst.FDataElement,
                                       lst.fid
                                  from t_csl_templetitemlist lst
                                 where lst.ftemplateid in
				   --找到當前合併範圍分配了哪些模板，查t_csl_rptreceived表是因為有一表多報的情況
                                       (select distinct disp.fdispensesrcid
                                          from t_csl_cslreport r
                                          join t_csl_rptreceived rec
                                            on r.fid = rec.freportid
                                          join t_csl_templetdispense disp
                                            on disp.forgboundid = rec.forgtreeid
                                         where r.fid in ('Dq8AAABLKIm3Euos'))) lst2
                            on lst1.fitemnumber = lst2.fitemnumber
                           and lst1.fvaluetype = lst2.fvaluetype
                           and lst1.FDataElement = lst2.FDataElement
                           and lst1.fid <> lst2.fid )
						   )) rpt1
  join (select s.flongnumber,r.FYear ,r.FPeriod, r.FPeriodType, r.FCurrencyID, r.FSourceType
          from t_csl_cslreport r
          join t_rpt_template tmpl
            on r.ftemplateid = tmpl.fid
          join t_org_baseunit unit
            on (r.fcompanyid = unit.fid or r.forgunitid = unit.fid)
          join t_org_structure s
            on unit.fid = s.funitid
          join t_csl_rptreceived rec
            on rec.freportid = r.fid
           and s.ftreeid = rec.forgtreeid
         where r.fid in ('Dq8AAABLKIm3Euos')) rpt2
  on CHARINDEX(rpt1.FLongNumber + '!', rpt2.FLongNumber) = 1

第一次優化效果：中間結果集明顯縮小，已經能把執行時間縮短至兩分鐘以內。

分析得出，查詢專案id的結果集有1000多行資料，於是採用臨時表策略，將子查詢的id插入臨時表中，然後用Exists字句進行過濾。

臨時表sql：

insert  into tempId 
select lst2.fid
  from (select lst.fitemnumber,
                                        lst.fvaluetype,
                                        lst.FDataElement,
                                        lst.fid
                                   from t_csl_templetitemlist lst
                                  where lst.ftemplateid in
                                        (select distinct case  when tmpl.fgrouptemplateid is null then
                                                            tmpl.fid
                                                           else
                                                            tmpl.fgrouptemplateid
                                                         end
                                           from t_csl_cslreport r
                                           join t_rpt_template tmpl
                                             on r.ftemplateid = tmpl.fid
                                          where r.fid in ('Dq8AAABWGky3Euos','Dq8AAABWGnS3Euos','Dq8AAABWGoK3Euos','Dq8AAABWGkK3Euos','Dq8AAABWGqG3Euos'))) lst1
                          join (select lst.fitemnumber,
                                       lst.fvaluetype,
                                       lst.FDataElement,
                                       lst.fid
                                  from t_csl_templetitemlist lst
                                 where lst.ftemplateid in
				   --找到當前合併範圍分配了哪些模板，查t_csl_rptreceived表是因為有一表多報的情況
                                       (select distinct disp.fdispensesrcid
                                          from t_csl_cslreport r
                                          join t_csl_rptreceived rec
                                            on r.fid = rec.freportid
                                          join t_csl_templetdispense disp
                                            on disp.forgboundid = rec.forgtreeid
                                         where r.fid in ('Dq8AAABWGky3Euos','Dq8AAABWGnS3Euos','Dq8AAABWGoK3Euos','Dq8AAABWGkK3Euos','Dq8AAABWGqG3Euos'))) lst2
                            on lst1.fitemnumber = lst2.fitemnumber
                           and lst1.fvaluetype = lst2.fvaluetype
                           and lst1.FDataElement = lst2.FDataElement
                           and lst1.fid <> lst2.fid

優化後的sql變成：

select  rpt1.fid as id, rpt2.FName AS SourceReport,      
 rpt2.FNumber AS SourceReportNumber,                                              
 rpt1.treeName AS TreeName,                                            
 rpt1.unitName AS UnitName,                                             
 rpt2.currencyName AS CurrencyName,                                         
 --rpt1.FPeriodType AS PeriodType,                                                   
 --rpt1.FYear AS FYear,                                                              
 --rpt1.FPeriod AS Period,                                                           
 rpt1.FSourceType AS SourceType,                                                   
 rpt1.FName AS ReportName,                                                         
 rpt1.FLongNumber AS OrgLongNumber,                                                
 rpt1.FCommittedStatus  AS CommittedStatus 
  from (select distinct s.flongnumber, r.fname, r.fnumber, r.fid, t.FName_L2 treeName, u.FName_L2 unitName, 
	s.FUnitId, r.FSourceType, r.FCommittedStatus, r.FCurrencyID, r.FSumCalculateMethod
          from t_csl_cslreport r
          join t_rpt_template tmpl
            on r.ftemplateid = tmpl.fid
		inner join T_ORG_BaseUnit u 
			on (r.FCompanyID = u.fid or r.FOrgUnitID = u.fid)
          inner join t_org_structure s
            on u.fid = s.FUnitId
		inner join t_org_tree t
			 on s.FTreeId = t.FID
          inner join t_csl_rptreceived rec
            on rec.freportid = r.fid
           and s.ftreeid = rec.forgtreeid
         where tmpl.fgroup in
 --獲取集團模板id
               (select distinct temp.fgroup
                  from t_rpt_template  temp
				  join t_csl_templetitemlist templist on temp.fid = templist.ftemplateid
                 where exists (select 1 from tempId tt where templist.fid = tt.fid)
				)
		        and r.FSourceType in (2,3,4) and r.FYear = 2015 and r.FPeriod = 6 and r.FPeriodType =3
	   ) rpt1
  join (select s.flongnumber, r.FNumber, r.FName, c.FName_L2 as currencyName, r.FCurrencyID, r.FSourceType,r.FSumCalculateMethod
          from t_csl_cslreport r
          join t_rpt_template tmpl
            on r.ftemplateid = tmpl.fid
          join t_org_baseunit unit
            on (r.fcompanyid = unit.fid or r.forgunitid = unit.fid)
          join t_org_structure s
            on unit.fid = s.funitid
          join t_csl_rptreceived rec
            on rec.freportid = r.fid
           and s.ftreeid = rec.forgtreeid
		 INNER JOIN T_BD_Currency c   ON r.FCurrencyID = c.FID   
         where r.fid in ('Dq8AAABWGky3Euos','Dq8AAABWGnS3Euos','Dq8AAABWGoK3Euos','Dq8AAABWGkK3Euos','Dq8AAABWGqG3Euos')) rpt2
  on CHARINDEX(rpt1.FLongNumber + '!', rpt2.FLongNumber) = 1 
  where 1=1 and rpt1.FCurrencyID = rpt2.FCurrencyID 
   AND ((rpt1.FSourceType IN (2,3,4) AND rpt2.FSourceType IN (1,7))        
    OR ((rpt1.FSourceType = 2 AND rpt2.FSourceType = 2) AND (rpt1.FSumCalculateMethod=0 OR rpt1.FSumCalculateMethod=2))      
      OR (rpt1.FSourceType = 3 AND rpt2.FSourceType = 3)            
      OR ((rpt1.FSourceType = 2 AND rpt2.FSourceType = 3) AND (rpt1.FSumCalculateMethod=1 OR rpt1.FSumCalculateMethod=2)) ) 
  order by rpt1.FSourceType

經測試：完成查詢1S之內。

20150804客戶sqlserver庫查詢sql執行慢的問題分析

執行報表反接收操作時檢查是否產生關聯報表的sql查詢。這條指令碼在oracle庫都執行正常，執行速度可以控制在0.05s以內。存在sql查詢效能問題的客戶情況： 1、作業系統阿里雲四核、14G記憶體。資料庫伺服器分配了10個G的記憶體。 2、

數據庫查詢歷史執行過的sql語句

ext ati ase stat code class esc 歷史 blog 平常的調試過程中可能想查詢以前執行過的語句。以下為sqlserver2008中查詢歷史執行語句。 SELECT TOP 1000 --創建時間 QS.creation_time, --查

orcale 查詢每天執行慢的SQL

— 查詢每天執行慢的SQL： SELECT S.SQL_TEXT, S.SQL_FULLTEXT, S.SQL_ID, ROUND(ELAPSED_TIME / 1000000 / (CASE WHEN (EXECUTIONS = 0 OR NVL(EXECUTIONS, 1 )

mybatis分頁查詢，SqlServer 2008 查詢速度很慢

com ima alt 分頁查詢 img bubuko .com nbsp ati 一個業務場景，需要進行union查詢：查詢速度非常慢，大概要37秒：直接復制sql在數據庫客戶端執行，速度很快，由此可知是mybatis的原因，在網上搜索，可以配置fetc

sqlserver如何查詢sql語句佔用記憶體多少

SELECT s2.dbid, s1.sql_handle, (SELECT TOP 1 SUBSTRING(s2.text,statement_start_offset / 2+1 , ( (CASE WHEN statement_end_offset = -1 THEN

【轉】導致SQL執行慢的原因

設置 cga pic 閾值定義日誌 iyu 搜索實操索引對大數據的查詢速度的提升是非常大的，Explain可以幫你分析SQL語句是否用到相關索引。索引類似大學圖書館建書目索引，可以提高數據檢索的效率，降低數據庫的IO成本。MySQL在300萬條記錄左右性能

如何使用效能分析工具定位SQL執行慢的原因？

但實際上 SQL 執行起來可能還是很慢，那麼到底從哪裡定位 SQL 查詢慢的問題呢？是索引設計的問題？伺服器引數配置的問題？還是需要增加快取的問題呢？效能分析來入手分析，定位導致 SQL 執行慢的原因。前面已經更新了總結核心的主要三點如何使用慢查詢日誌查詢執行慢的 SQL 語句？如何使用 EXPLAI

深入淺出Mybatis系列（十）---SQL執行流程分析（源碼篇）(轉)

factor demo 讀取配置 gist wrapper load 任性 wrap 深入淺出轉載自：http://www.cnblogs.com/dongying/p/4142476.html 1. SqlSessionFactory 與 SqlSession. 　　通

【MySQL】SQL執行計劃分析

https://blog.csdn.net/da_guo_li/article/details/79008016 執行計劃能告訴我們什麼？當我們的系統上線後資料庫的記錄不斷增加，之前寫的一些SQL語句或者一些ORM操作效率變得非常低。我們不得不考慮SQ

SQL執行計劃分析

執行計劃能告訴我們什麼？當我們的系統上線後資料庫的記錄不斷增加，之前寫的一些SQL語句或者一些ORM操作效率變得非常低。我們不得不考慮SQL優化，SQL優化大概是這樣一個流程：1.定位執行效率低的SQL語句（定位）,2.分析為什麼這段SQL執行的效率比較低（分析），3.最後根據第二步分析的結構採取優化措施

深入淺出Mybatis---SQL執行流程分析（原始碼篇）

最近太忙了，一直沒時間繼續更新部落格，今天忙裡偷閒繼續我的Mybatis學習之旅。在前九篇中，介紹了mybatis的配置以及使用，那麼本篇將走進mybatis的原始碼，分析mybatis 的執行流程，好啦，鄙人不喜歡口水話，還是直接上幹活吧： 1. SqlSessionFactory 與 S

sql執行過程分析

我們總是寫sql語句，資料庫把結果返回給我們，那中間過程又是什麼？如果瞭解oracle是怎麼執行sql語句的中間過程，對我們優化sql有很大的幫助首先了解一下執行sql，需要消耗什麼資源， cpu，記憶體， io，我們要了解什麼情況下會消耗cpu，什麼情況下消耗記憶體，

在數據庫中sql查詢很快，但在程序中查詢較慢的解決方法

type acl value and 字段類型 number bte check rec 在寫java的時候，有一個方法查詢速度比其他方法慢很多，但在數據庫查詢很快，原來是因為程序中使用參數化查詢時參數類型錯誤的原因 1 select * 2

SpringBoot多資料來源從庫第一次執行SQL很慢的原因

今天開發時偶爾發現從庫的第一次SQL執行的速度很慢，所以就進行了一系列排查，後來發現是因為多資料來源的情況下，從庫都是採用懶載入的形式進行載入的，所以就會出現第一次執行SQL很慢的現象，可以從以下兩點進行證明：證明一這是專案剛啟動的時候，主庫進行了初始化：而當訪問

SQLserver找出執行慢的SQL語句

declare @sKssj varchar(23), @sJssj varchar(23) set @sKssj='2012-05-07 01:35:00.000' set @sJssj='2012-05-07 15:00:00.000' SELECT (

SqlServer 查詢一段時間內容歷史SQL執行記錄

SELECT TOP 1000 --建立時間 QS.creation_time, --查詢語句 SUBSTRING(ST.text,(QS.statement_start_offset/2)+1, ((CASE QS.statement_e

SQL 客戶端執行快 java執行慢 ibatis

本人使用SpringMVC架構+ibatis 程式中有段使用的SQL 客戶端執行十幾秒，放在java裡面執行就需要90多秒，速度不能接受結果查詢，發現是使用ibatis的時候，變數設定問題導致的因為我在select中設定了一些變數，SQL先預編譯，執行，很耗時間

【Oracle】查詢執行慢的sql

查詢執行最慢的sql select * from (select sa.SQL_TEXT, sa.SQL_FULLTEXT, sa.EXECUTIONS "執行次數", round(sa.ELAPSED_TIME / 1000000, 2) "總執行時間", round(sa.ELAPSED_

SQLServer跨庫查詢--分散式查詢用openrowset連線遠端SQL或插入資料

–如果只是臨時訪問,可以直接用openrowset –查詢示例 select * from openrowset(‘SQLOLEDB’ ,’sql伺服器名’;’使用者名稱’;’密碼’ ,資料庫名.dbo.表名) –匯入示例 select * into

NumberFormatException: Invalid int類型不匹配異常——使用SQL數據庫查詢語句select * from blacknumber order by _id desc limit ?,20;出現

rom add ray 修改 java turn 技術分享 data color 異常：類型不匹配 05-06 08:12:38.151: E/AndroidRuntime(14904): java.lang.NumberFormatException: Invalid i

20150804客戶sqlserver庫查詢sql執行慢的問題分析

相關推薦