1. 程式人生 > >Linux的儲存機制與查詢機制

Linux的儲存機制與查詢機制

一 實體記憶體和虛擬記憶體
我們知道,直接從實體記憶體讀寫資料要比從硬碟讀寫資料要快的多,因此,我們希望所有資料的讀取和寫入都在記憶體完成,而記憶體是有限的,這樣就引出了實體記憶體與虛擬記憶體的概念。
實體記憶體就是系統硬體提供的記憶體大小,是真正的記憶體,相對於實體記憶體,在linux下還有一個虛擬記憶體的概念,虛擬記憶體就是為了滿足實體記憶體的不足而提出的策略,它是利用磁碟空間虛擬出的一塊邏輯記憶體,用作虛擬記憶體的磁碟空間被稱為交換空間(Swap Space)。
作為實體記憶體的擴充套件,linux會在實體記憶體不足時,使用交換分割槽的虛擬記憶體,更詳細的說,就是核心會將暫時不用的記憶體塊資訊寫到交換空間,這樣以來,實體記憶體得到了釋放,這塊記憶體就可以用於其它目的,當需要用到原始的內容時,這些資訊會被重新從交換空間讀入實體記憶體。
linux的記憶體管理採取的是分頁存取機制,為了保證實體記憶體能得到充分的利用,核心會在適當的時候將實體記憶體中不經常使用的資料塊自動交換到虛擬記憶體中,而將經常使用的資訊保留到實體記憶體。
要深入瞭解linux記憶體執行機制,需要知道下面提到的幾個方面:
首先,Linux系統會不時的進行頁面交換操作,以保持儘可能多的空閒實體記憶體,即使並沒有什麼事情需要記憶體,Linux也會交換出暫時不用的記憶體頁面。這可以避免等待交換所需的時間。
其次,linux進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬記憶體,linux核心根據”最近最經常使用“演算法,僅僅將一些不經常使用的頁面檔案交換到虛擬記憶體,有時我們會看到這麼一個現象:linux實體記憶體還有很多,但是交換空間也使用了很多。其實,這並不奇怪,例如,一個佔用很大記憶體的程序執行時,需要耗費很多記憶體資源,此時就會有一些不常用頁面檔案被交換到虛擬記憶體中,但後來這個佔用很多記憶體資源的程序結束並釋放了很多記憶體時,剛才被交換出去的頁面檔案並不會自動的交換進實體記憶體,除非有這個必要,那麼此刻系統實體記憶體就會空閒很多,同時交換空間也在被使用,就出現了剛才所說的現象了。關於這點,不用擔心什麼,只要知道是怎麼一回事就可以了。
最後,交換空間的頁面在使用時會首先被交換到實體記憶體,如果此時沒有足夠的實體記憶體來容納這些頁面,它們又會被馬上交換出去,如此以來,虛擬記憶體中可能沒有足夠空間來儲存這些交換頁面,最終會導致linux出現假宕機、服務異常等問題,linux雖然可以在一段時間內自行恢復,但是恢復後的系統已經基本不可用了。
因此,合理規劃和設計linux記憶體的使用,是非常重要的.

二 記憶體的監控
作為一名linux系統管理員,監控記憶體的使用狀態是非常重要的,通過監控有助於瞭解記憶體的使用狀態,比如記憶體佔用是否正常,記憶體是否緊缺等等,監控記憶體最常使用的命令有free、top等,下面是某個系統free的輸出:
在這裡插入圖片描述
在這裡插入圖片描述
total:實體記憶體的總大小。
used:已經使用的實體記憶體多小。
free:空閒的實體記憶體值。
shared:多個程序共享的記憶體值。
buffers/cached:磁碟快取的大小。
第二行Mem:代表實體記憶體使用情況。
第三行**(-/+ buffers/cached)**:代表磁碟快取使用狀態。
第四行:Swap表示交換空間記憶體使用狀態。
free命令輸出的記憶體狀態,可以通過兩個角度來檢視:一個是從核心的角度來看,一個是從應用層的角度來看的。

1.從核心的角度來檢視記憶體的狀態
就是核心目前可以直接分配到,不需要額外的操作,即為上面free命令輸出中第二行Mem項的值,可以看出,此係統實體記憶體有976M,空閒的記憶體只有675M,其實就是總的實體記憶體減去已經使用的實體記憶體得到的就是空閒的實體記憶體大小,注意這裡的可用記憶體值711864並不包含處於buffers和cached狀態的記憶體大小。
如果你認為這個系統空閒記憶體太小,那你就錯了,實際上,核心完全控制著記憶體的使用情況,linux會在需要記憶體的時候,或在系統執行逐步推進時,將buffers和cached狀態的記憶體變為free狀態的記憶體,以供系統使用。

2.從應用層的角度來看系統記憶體的使用狀態
也就是linux上執行的應用程式可以使用的記憶體大小應用程式可用的實體記憶體值是Mem項的free值加上buffers和cached值之和,也就是說,這個free值是包括buffers和cached項大小的,對於應用程式來說,buffers/cached佔有的記憶體是可用的,因為buffers/cached是為了提高檔案讀取的效能,當應用程式需要用到記憶體的時候,buffers/cached會很快地被回收,以供應用程式使用。

3.buffers與cached的異同
在 Linux 作業系統中,當應用程式需要讀取檔案中的資料時,作業系統先分配一些記憶體,將資料從磁碟讀入到這些記憶體中,然後再將資料分發給應用程式;當需要往檔案中寫資料時,作業系統先分配記憶體接收使用者資料,然後再將資料從記憶體寫到磁碟上。然而,如果有大量資料需要從磁碟讀取到記憶體或者由記憶體寫入磁碟時,系統的讀寫效能就變得非常低下,因為無論是從磁碟讀資料,還是寫資料到磁碟,都是一個很消耗時間和資源的過程,在這種情況下,linux引入了buffers和cached機制。
buffers與cached都是記憶體操作,用來儲存系統曾經開啟過的檔案以及檔案屬性資訊,這樣當作業系統需要讀取某些檔案時,會首先在buffers與cached記憶體區查詢,如果找到,直接讀出傳送給應用程式,如果沒有找到需要資料,才從磁碟讀取,這就是作業系統的快取機制,通過快取,大大提高了作業系統的效能。但buffers與cached緩衝的內容卻是不同的。
buffers是用來緩衝塊裝置做的,它只記錄檔案系統的元資料(metadata)以及 tracking in-flight pages,而cached是用來給檔案做緩衝。更通俗一點說:buffers主要用來存放目錄裡面有什麼內容,檔案的屬性以及許可權等等。而cached直接用來記憶我們開啟過的檔案和程式。
Linux作業系統的記憶體執行原理,很大程度上是根據伺服器的需求來設計的,例如系統的緩衝機制會把經常使用到的檔案和資料快取在cached中,linux總是在力求快取更多的資料和資訊,這樣再次需要這些資料時可以直接從記憶體中取,而不需要有一個漫長的磁碟操作,這種設計思路提高了系統的整體效能。