一、MySQL複製流程

官方文件流程如下：

MySQL延遲問題和資料刷盤策略

1、絕對的延時，相對的同步

2、純寫操作，線上標準配置下，從庫壓力大於主庫，最起碼從庫有relaylog的寫入。

二、MySQL延遲問題分析

1、主庫DML請求頻繁

原因：主庫併發寫入資料，而從庫為單執行緒應用日誌，很容易造成relaylog堆積，產生延遲。

解決思路：做sharding，打散寫請求。考慮升級到MySQL5.7+，開啟基於邏輯時鐘的並行複製。

2、主庫執行大事務

原因：類似主庫花費很長時間更新了一張大表，在主從庫配置相近的情況下，從庫也需要花幾乎同樣的時間更新這張大表，此時從庫延遲開始堆積，後續的events無法更新。

解決思路：拆分大事務，及時提交。

3、主庫對大表執行DDL語句

原因：DDL未開始執行，被阻塞，檢查到位點不變；DDL正在執行，單執行緒應用導致延遲增加，位點不變。

解決思路：找到被阻塞DDL或是寫操作的查詢，幹掉該查詢，讓DDL正常在從庫上執行；業務低峰期執行，儘量使用支援OnlineDDL的高版本MySQL。

4、主從例項配置不一致

原因：硬體上：主庫例項伺服器使用SSD，而從庫例項伺服器使用普通SAS盤、cpu主頻不一致等；配置上：如RAID卡寫策略不一致，OS核心引數設定不一致，MySQL落盤策略(innodb_flush_log_at_trx_commit和sync_binlog等)不一致等

解決思路：儘量統一DB機器的配置（包括硬體及選項引數）；甚至對於某些OLAP業務，從庫例項硬體配置高於主庫等。

5、從庫自身壓力過大

原因：從庫執行大量select請求，或業務大部分select請求被路由到從庫例項上，甚至大量OLAP業務，或者從庫正在備份等，此時可能造成cpu負載過高，io利用率過高等，導致SQLThread應用過慢。

解決思路：建立更多西安資料庫培訓從庫，打散讀請求，降低現有從庫例項的壓力。

也可以調整innodb_flush_log_at_trx_commit=0和sync_binlog=0刷盤引數來緩解IO壓力來降低主從延遲。

三、大促期間CPU過高問題

現象：

高併發導致CPU負載過高，處理請求時間拉長，逐步積壓，最終導致服務不可用；大量的慢SQL導致CPU負載過高。

解決思路：

基本上是禁止或是慎重考慮資料庫主從切換，這個解決不了根本問題，需要研發配合根治SQL問題，也可以服務降級，容器的話可以動態擴容CPU；和業務協商啟動pt-kill查殺只讀慢SQL；檢視是否可以通過增加一般索引或是聯合索引來解決慢SQL問題，但此時要考慮DDL對資料庫影響。

四、InnoDB刷盤策略

MySQL的innodb_flush_method這個引數控制著innodb資料檔案及redolog的開啟、刷寫模式，對於這個引數，文件上是這樣描述的：

有三個值：fdatasync(預設)，O_DSYNC，O_DIRECT

預設是fdatasync，呼叫fsync()去刷資料檔案與redolog的buffer

為O_DSYNC時，innodb會使用O_SYNC方式開啟和刷寫redolog,使用fsync()刷寫資料檔案

為O_DIRECT時，innodb使用O_DIRECT開啟資料檔案，使用fsync()刷寫資料檔案跟redolog

首先檔案的寫操作包括三步：open,write,flush

上面最常提到的fsync(intfd)函式，該函式作用是flush時將與fd檔案描述符所指檔案有關的buffer刷寫到磁碟，並且flush完元資料資訊(比如修改日期、建立日期等)才算flush成功。

使用O_DSYNC方式開啟redo檔案表示當write日誌時，資料都write到磁碟，並且元資料也需要更新，才返回成功。

O_DIRECT則表示我們的write操作是從MySQLinnodbbuffer裡直接向磁碟上寫。

這三種模式寫資料方式具體如下：

fdatasync模式：寫資料時，write這一步並不需要真正寫到磁碟才算完成（可能寫入到作業系統buffer中就會返回完成），真正完成是flush操作，buffer交給作業系統去flush,並且檔案的元資料資訊也都需要更新到磁碟。

O_DSYNC模式：寫日誌操作是在write這步完成，而資料檔案的寫入是在flush這步通過fsync完成

O_DIRECT模式：資料檔案的寫入操作是直接從mysqlinnodbbuffer到磁碟的，並不用通過作業系統的緩衝，而真正的完成也是在flush這步,日誌還是要經過OS緩衝。

MySQL延遲問題和資料刷盤策略

1、在類unix作業系統中，檔案的開啟方式為O_DIRECT會最小化緩衝對io的影響，該檔案的io是直接在使用者空間的buffer上操作的，並且io操作是同步的，因此不管是read()系統呼叫還是write()系統呼叫，資料都保證是從磁碟上讀取的；所以IO方面壓力最小，對於CPU處理壓力上也最小，對實體記憶體的佔用也最小；但是由於沒有作業系統緩衝的作用，對於資料寫入磁碟的速度會降低明顯（表現為寫入響應時間的拉長），但不會明顯造成整體SQL請求量的降低（這有賴於足夠大的innodb_buffer_pool_size）。

2、O_DSYNC方式表示以同步io的方式開啟檔案，任何寫操作都將阻塞到資料寫入物理磁碟後才返回。這就造成CPU等待加長，SQL請求吞吐能力降低，insert時間拉長。

3、fsync(intfiledes)函式只對由檔案描述符filedes指定的單一檔案起作用，並且等待寫磁碟操作結束，然後返回。fdatasync(intfiledes)函式類似於fsync，但它隻影響檔案的資料部分。而除資料外，fsync還會同步更新檔案的元資訊到磁碟。

O_DSYNC對CPU的壓力最大，datasync次之，O_DIRECT最小；整體SQL語句處理效能和響應時間看，O_DSYNC較差；O_DIRECT在SQL吞吐能力上較好（僅次於datasync模式），但響應時間卻是最長的。

預設datasync模式，整體表現較好，因為充分利用了作業系統buffer和innodb_buffer_pool的處理效能，但帶來的負面效果是free記憶體降低過快，最後導致頁交換頻繁，磁碟IO壓力大，這會嚴重影響大併發量資料寫入的穩定性。

總結

以上所述是小編給大家介紹的MySQL延遲問題和資料刷盤策略流程分析，希望對大家有所幫助！