Max Degree of Parallelism最大並行度配置
配置 max degree of parallelism 伺服器配置選項
由於公司的業務在急速增長中,發現數據庫伺服器已經基本撐不住這麼多併發。一方面,要求開發人員調整併發架構,利用快取減少查詢。一方面從資料庫方面改善併發。資料庫的並行度可設定如下:
1)cost threshold for parallelism:資料庫引擎在編譯的時候,預估執行計劃的cost;若此cost消耗超過cost threshold for parallelism設定的值;sqlserver就會使用並行執行計劃。
2)max degree of parallelism:並行執行計劃最多能使用多少執行緒並行執行語句。預設值為0
在OLTP環境中,會存在大量的併發查詢,因此會存在以下兩種情況:
1)單個查詢的併發過高,可能會導致等待併發同步的消耗
若SQL Server中有大量的CXPACKET等待型別,則可能由於是併發過高的原因,CXPACKET等待型別是由於等待一個或多個執行緒同步,而出現的等待型別。
然而並非說CXPACKET等待型別等待就是不好,我們只是需要減少此等待型別。具體查詢如下
SELECT '檢視百分比是否>10%,如果大於10%,考慮降低並行度' select cast([signal_wait_time_ms] as decimal(30,2))/[wait_time_ms] as [百分比],* from sys.dm_os_wait_stats (nolock) where [wait_time_ms]<>0 AND wait_type='CXPACKET'
2)單個查詢的併發過高,佔用大量cpu資源,導致其他執行緒無法使用
若有許多查詢長期處於Runnable的狀態,則可能是由於併發的影響,其他程序拿不到cpu執行。從而大量執行緒無法running。具體查詢如下
SELECT '檢視cpu任務' SELECTscheduler_id, current_tasks_count, runnable_tasks_count FROM sys.dm_os_schedulers (nolock) WHERE scheduler_id < 255
如何設定合理的並行度呢?
--配置最大並行度 sp_configure 'max degree of parallelism',1 go --使設定生效 Reconfigure go sp_configure 'cost threshold for parallelism',10--設定為10s go --使設定生效 Reconfigure go
1)在OLTP伺服器環境中
a)對併發度要求高,對每個使用者請求都要及時響應,一般建議將max degree of parallelism 設定為1;因此cost threshold for parallelism 的值沒有作用,預設為5即可
b)對併發度要求不高,經常會有複雜查詢的資料庫,若cpu個數<8,一般建議將max degree of parallelism 設定為cpu數量;若cpu個數>=8建議將值設為8;cost threshold for parallelism預設即可
2)在OLAP伺服器環境中
由於查詢均比較複雜,則可將max degree of parallelism 設定為0,同時如果考慮到等待消耗問題,則可以考慮將cost threshold for parallelism的值設定為10,以降低併發執行的可能
3)在OLTP和OLAP混合環境中
a)對併發度要求高,則可以考慮將max degree of parallelism 設定為<=4,cost threshold for parallelism值預設即可
b)對併發度要求不高,經常會有複雜查詢的資料庫,若cpu個數<8,一般建議將max degree of parallelism 設定為cpu數量;若cpu個數>=8建議將值設為8;cost threshold for parallelism預設即可
OLAP和OLTP的 概念和區別
聯機事務處理OLTP(on-line transaction processing)主要是執行基本的、日常的事務處理,比如在銀行存取一筆款,就是一個事務交易。OLTP的特點一般有:
1.實時性要求高;
2.資料量不是很大;
3.交易一般是確定的,所以OLTP是對確定性的資料進行存取;(比如存取款都有一個特定的金額)
4.併發性要求高並且嚴格的要求事務的完整,安全性。(比如這種情況:有可能你和你的家人同時在不同的銀行取同一個帳號的款),
聯機分析處理OLAP(On-Line Analytical Processing)是資料倉庫系統的主要應用,支援複雜的分析操作,側重決策支援,並且提供直觀易懂的查詢結果。典型的應用就是複雜的動態的報表系統。OLAP的特點一般有:
1.實時性要求不是很高,很多應用的頂多是每天更新一下資料;
2.資料量大,因為OLAP支援的是動態查詢,所以使用者也許要通過將很多資料的統計後才能得到想要知道的資訊,例如時間序列分析等等,所以處理的資料量很大;
3.因為重點在於決策支援,所以查詢一般是動態的,也就是說允許使用者隨時提出查詢的要求。所以在OLAP中通過一個重要概念“維”來搭建一個動態查詢的平臺(或技術),供使用者自己去決定需要知道什麼資訊。
以下是大致的區分:
OLTP OLAP
使用者: 操作人員,低層管理人員 決策人員,高階管理人員
功能: 日常操作處理 分析決策
DB設計: 面向應用 面向主題
資料: 當前的,最新的細節的,二維的分立的 歷史的,聚集的,多維的整合的, 統一的
存取: 讀/寫數十條記錄 讀上百萬條記錄
工作單位: 簡單的事務 複雜的查詢
使用者數: 上千個 上百個
DB大小:100MB-GB 100GB-TB
這些概念(或技術)都是應用層面的,這個和用什麼資料庫系統是無關的。有興趣的朋友如果願意瞭解OLAP的具體應用而又不願意花太大的力氣,不妨到科研、教育、文化和衛生系統去看一看,他們那裡一般都有一個叫做SPSS的統計分析軟體,這是一個和SQLSERVER在同一層次上的世界級的、最權威的統計分析軟體,其選單上有一個“分析”專案,其下拉的第一個專案就是OLAP,當然也可以自己裝一個試試。
OLTP與OLAP是兩種很高階的應用,以上只是點到了一些最表面的東西,給大家一個拋磚引玉的作用。紙上得來終覺淺,絕知此事要躬行