sql server學習基礎之記憶體初探
一. 前言
對於sql server 這個產品來說,記憶體這塊是最重要的一個資源, 當我們新建一個會話,相同的sql語句查詢第二次查詢時間往往會比第一次快,特別是在sql統計或大量查詢資料輸出時,會有這麼感覺。除了第一次要編譯生成執行計劃,在CPU,I/O 的影響外,最主要的是第二次查詢是從記憶體快取中讀出,為什麼是這樣,sql server 記憶體裡儲存了什麼,它與windows記憶體又有什麼區別? 參考了一些資料 下面來試著講講。
二. 記憶體和硬碟
為什麼記憶體是寶貴的,在每個系統上都是有限的,就像你看到的1 tb的硬碟,但是你通常看到的是50-200 G的記憶體, 實體記憶體的訪問速度非常快,不能超過一定的限制。在記憶體有限的情況下,如果所有的程序都使用了有限的記憶體,並且新的程序將無法為他們找到任何記憶體,這就出現了虛擬地址空間的概念(也稱為VAS)。
Virtual Address Space(虛擬地址空間)
是指一個應用程式能夠申請訪問的最大地址空間。32位定址空間最大是4G, 64位定址空間最大是8TB。
VAS作為中間的抽象層的,不是所有的請求都直接對映到實體記憶體,它首先對映到VAS然後對映到實體記憶體。因此,它可以更協調的方式管理對記憶體的請求,而不是讓程序去做,如果不是這樣,它很快就會導致記憶體崩潰。
在Windows作業系統中,VAS 的核心程序與使用者程序之間的劃分是相同的。對於32位系統,最大的VAS 是4 G的核心/ 2 G到應用程式的中,在這裡,SQL Server是應用程式程序,當我使用word程序時,它意味SQL Server程序差不多一樣,將得到2 G的VAS。因此,從理論上講,這意味著任何應用程式程序在32位上執行的都將擁有最大限度的2 G。
三 sql server 記憶體 架構
sql server 記憶體管理,在sql server 2012發生了重大改變,對記憶體重新實現了一遍。 先看下版本之間記憶體管理圖的區別
名詞術語
3.1 BufferPool
SQL Server使用BufferPool緩衝池來有效地管理SQL Server程序的記憶體請求。它是SQL Server的最大記憶體消耗者。緩衝區是記憶體中的一個8 KB的頁面,與資料或索引頁面大小相同,您可以將緩衝區看作是一個框架,它在從磁碟到記憶體的時候儲存資料和索引頁。
SQL Server緩衝區管理器管理將資料頁讀入緩衝池的任務,並將其寫入磁碟。它是SQL Server的預留記憶體儲存,如果您不為它設定值,它將佔用盡可能多的記憶體。因此,在spconfigure中為max server記憶體設定最佳值總是被推薦為一種良好的實踐。緩衝池只將記憶體分配給需要少於8 KB頁面的請求。
對於大於8 KB記憶體的所有請求,都是由windows API直接分配的。所有快取儲存計劃、資料和索引頁都儲存在這個緩衝池中。當用戶請求row/rows時,如果緩衝區池中沒有,則使該頁面從磁碟進入記憶體。這種輸入/輸出可能在繁忙的系統上特別昂貴,因此儘可能減少SQL伺服器快取的大小,這可能會被使用者看作是記憶體洩漏或SQL Server佔用大量記憶體,但實際上它提高了效能,實際上這個特性是通過設計實現的。
下面這些記憶體不是來自緩衝池:
SQL LCR
擴充套件儲存過程
連結伺服器分配的記憶體
記憶體管理器完成的大頁面分配(大頁面為任意頁面>8 KB)
COM物件
3.2 single-page
這塊記憶體是<=8kb 的儲存,適用於sql server 2008及以前, 屬於buffer pool 緩衝池來分配。有儲存資料頁面,Consumer功能元件。
3.3 multi- page
這塊記憶體是>8kb的 儲存,適用於sql server 2008及以前, 不屬於buffer pool 緩衝池來分配,有儲存Consumer功能元件,第三方程式碼,Threads執行緒。
3.4 any size page
這個適用於sql server 2012及以上,整合了single-page,multi-page 統稱pages。
四. sql server 2008 記憶體
從記憶體圖我們可以看到有 page reservation 需預先申請的記憶體, 有momory objects 從windows api申請的記憶體, 有clr第三方申請的記憶體。
記憶體的分類方式有很多,下面介紹三種方式:
1. 按用途分類
1.1 Database Cache(資料頁面緩衝區)
當用戶修改了某個頁面上的資料時,sql server會在頁存中將這個頁修改。但不會立刻將這個頁面寫回硬碟,而是等後面的checkpoint 或lazy write集中處理。
1.2 各類Consumer功能元件
Connection 連線:包括輸入緩衝池和輸出緩衝池,用來儲存使用者指令和返回結果。
General :一組大雜燴: 語句,語句編譯,正規化化,鎖資料結構,事務上下文,表格,索引的元資料等。
Query paln:語句和儲存過程的執行計劃。
Optimizer:sql server在生成執行計劃的過程中需要消耗的記憶體。
Utilities:像BCP,Log Manager,Parallel Queries,Backup
1.3 執行緒記憶體
為每個執行緒分配0.5MB的記憶體
1.4 第三方程式碼申請的記憶體
如使用者定義的CLR,Linked Server分散式查詢從遠端資料庫取回大量資料。
2. 按申請方式分類
申請方式是指要先預先Reserve一塊大的記憶體,然後再一小塊一小塊的commit。對Database Cache是會先Reserve,再commit。
其他所有記憶體使用,基本都是直接commit,都叫Stolen。
3. 按申請大小分類(上面的記憶體圖就是這種分類)
有二種記憶體申請單位: 一種是小於或等於8KB的,稱為Buffer Pool,一次一個頁面的這種分配,被稱為single page allocation.
一種是大於8kb的,稱為Multi-page(以前叫MemToLeave),這種分配,被稱為 Multiple Page Allocation.
注意這裡的很大一部分記憶體不受 sql server本身控制.因為第三方程式碼申請的記憶體都放在Multi-page裡.
記憶體分類方法之間的關係
型別 |
Database cache 資料頁面緩衝區 |
Consumer 功能元件 |
3 Party code 第三方程式碼 |
Threads 執行緒 |
Reserved/Commit |
是 |
一般不是 |
一般不是 |
不是 |
Stolen |
不是 |
是 |
是 |
是 |
Buffer Pool (single- page) |
所有 |
絕大部分 |
沒有 |
沒有 |
MemToLeave (Multi -page) |
沒有 |
一小部分 |
所有 |
所有 |
五.sql server 2012 記憶體
在 sql server 2012裡,single page allocator 和multi page allocator 統一起來了,叫做any size page allocator。max server memory 不再像以前的版本那樣,只控制buffer pool的大小,也包括那些大於8kb 的記憶體請求。也就是max server memory 能夠更準確地控制SQL Server 的記憶體使用了。
如下圖所示:
使用dmv 來檢視當前例項的總記憶體空間,以及佔用記憶體空間
--Target Server Memory (KB)最多能申請的記憶體量
--Total Server Memory (KB) 目前使用了多少記憶體量
從下面的空間佔用也可以看出來, 給sql server有分配多少記憶體, 它就會佔用多少記憶體,以達到效能的最優。
select counter_name,ltrim(cntr_value*1.0/1024.0/1024.0)+'G' as memoryGB from master.sys.dm_os_performance_counters where counter_name like '%target%server%memory%'or counter_name like '%total%memory%'
六 總結
當您啟動Microsoft SQL Server時,SQL Server記憶體使用量可能會繼續穩步增長,而不是減少,即使伺服器上的活動很低。此外,工作管理員和效能監視器可能顯示,計算機上可用的實體記憶體會逐漸減少,直到可用記憶體在4 MB到10 MB之間。這種行為本身並不表示記憶體洩漏。這種行為是典型的,並且是SQL Server緩衝池的預期行為。
預設情況下,SQL Server根據作業系統報告的實體記憶體負載動態地增長和縮小緩衝池(快取)的大小。只要有足夠的記憶體(4 MB和10 MB)可以防止分頁,那麼SQL Server緩衝池就會繼續增長。當與SQL Server在同一臺計算機上分配記憶體時,SQL Server緩衝管理器將根據需要釋放記憶體。SQL Server可以每秒釋放數兆位元組的記憶體。這允許SQL Server快速地適應記憶體分配更改。
您可以為SQL Server資料庫引擎使用最小伺服器記憶體和最大伺服器記憶體配置選項使用多少記憶體(緩衝池)設定上限和下限
請注意,通過上圖設定記憶體最大 max 只限制SQL Server緩衝池的大小。不限制SQL Server為其他元件分配的剩餘未保留記憶體區域,如擴充套件儲存過程、COM物件、非共享dll、EXEs和MAPI元件。由於之前的分配,SQL Server私有位元組的數量超過了最大伺服器記憶體配置。
後面章節在詳細介紹記憶體的檢視分析
好了,以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對我們的支援。
參考文獻:
- SQL Server Memory and Troubleshooting
- Microsoft SQL Server企業級平臺管理實踐
- SQL Server 2012 記憶體管理 (memory management) 改進