MongoDB CPU 利用率高解決方法
Step1: 分析資料庫正在執行的請求
db.currentOp()
client:請求是由哪個客戶端發起的?
opid:操作的opid,有需要的話,可以通過 db.killOp(opid) 直接幹掉的操作
secs_running/microsecs_running: 這個值重點關注,代表請求執行的時間,如果這個值特別大,就得注意了,看看請求是否合理
query/ns: 這個能看出是對哪個集合正在執行什麼操作
lock*:還有一些跟鎖相關的引數
Step2:分析資料庫慢請求
MongoDB 支援 profiling 功能,將請求的執行情況記錄到同DB下的 system.profile 集合裡,profiling 有3種模式
profiling 設定文件在這裡,多看官網文件
關閉 profiling
針對所有請求開啟 profiling,將所有請求的執行都記錄到 system.profile 集合
針對慢請求 profiling,將超過一定閾值的請求,記錄到system.profile 集合
預設請求下,MongoDB 的 profiling 功能是關閉,生產環境建議開啟,慢請求閾值可根據需要定製,如不確定,直接使用預設值100ms。
設定100ms的慢請求
db.setProfilingLevel(1, { slowms: 100 })
在開啟了慢請求 profiling 的情況下(MongoDB 雲資料庫是預設開啟慢請求 profiling的),我們對慢請求的內容進行分析,來找出可優化的點,常見的包括。
profiling的結果輸出含義在這裡,多看官網文件
CPU殺手1:全表掃描
全集合(表)掃描 COLLSCAN,當一個查詢(或更新、刪除)請求需要全表掃描時,是非常耗CPU資源的,所以當你在 system.profile 集合 或者 日誌檔案發現 COLLSCAN 關鍵字時,就得注意了,很可能就是這些查詢吃掉了你的 CPU 資源;確認一下,如果這種請求比較頻繁,最好是針對查詢的欄位建立索引來優化。
一個查詢掃描了多少文件,可檢視 system.profile 裡的 docsExamined 的值,該值越大,請求CPU開銷越大。
> 關鍵字:COLLSCAN、 docsExamined
CPU殺手2:不合理的索引
有的時候,請求即使查詢走了索引,執行也很慢,通常是因為合理建立不太合理(或者是匹配的結果本身就很多,這樣即使走索引,請求開銷也不會優化很多)
如下所示,假設某個集合的資料,x欄位的取值很少(假設只有1、2),而y欄位的取值很豐富。
{ x: 1, y: 1 }
{
{ x: 1, y: 2 }
{
{ x: 1, y: 3 }
.
......
{
{ x: 1, y: 100000}
{
{ x: 2, y: 1 }
{
{ x: 2, y: 2 }
{
{ x: 2, y: 3 }
.
......
{
{ x: 1, y: 100000}
要服務 {x: 1: y: 2} 這樣的查詢
db.createIndex( {y: 1 } ) 效果好,因為y相同取值很少
d
db.createIndex( {y: 1, x: 1 } ) 效果好,因為y相同取值少
一個走索引的查詢,掃描了多少條索引,可檢視 system.profile 裡的 keysExamined 欄位,該值越大,CPU 開銷越大。
>關鍵字:IXSCAN、keysExamined
CPU殺手3:大量資料排序
當查詢請求裡包含排序的時候,如果排序無法通過索引滿足,MongoDB 會在記憶體李結果進行排序,而排序這個動作本身是非常耗 CPU 資源的,優化的方法仍然是建立索引,對經常需要排序的欄位,建立索引。
當你在 system.profile 集合 或者 日誌檔案發現 SORT 關鍵字時,就可以考慮通過索引來優化排序。當請求包含排序階段時, system.profile 裡的 hasSortStage 欄位會為 true。
> 關鍵字:SORT、hasSortStage
======================MongodDB shard key片鍵選擇=====================
主要考慮key的「離散度」以及「頻率」,離散度越高越好,能更好的分散資料;頻率越低越好,避免出現熱點;
===========MongoDB 連線串樣例========================
正確連線分片叢集的姿勢
要正確連線複製集,需要先了解下MongoDB的Connection String URI,所有官方的driver都支援以 Connection String 的方式來連線 MongoDB 分片叢集。
下面就是Connection String包含的主要內容
mongodb://[username:[email protected]]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]]
mongodb:// 字首,代表這是一個Connection String
username:[email protected] 如果啟用了鑑權,需要指定使用者密碼
hostX:portX 多個 mongos 的地址列表
/database 鑑權時,使用者帳號所屬的資料庫
?options 指定額外的連線選項