1. 程式人生 > >資料庫插入速度和讀取速度的調整記錄

資料庫插入速度和讀取速度的調整記錄

(1)提高資料庫插入效能中心思想:儘量將資料一次性寫入到Data File和減少資料庫的checkpoint 操作。這次修改了下面四個配置項: 
1)將 innodb_flush_log_at_trx_commit 配置設定為0;按過往經驗設定為0,插入速度會有很大提高。 
  • 0: Write the log buffer to the log file and flush the log file every second, but do nothing at transaction commit.
  • 1:the log buffer is written out to the log file at each transaction commit and the flush to disk operation is performed on the log file
  • 2:the log buffer is written out to the file at each commit, but the flush to disk operation is not performed on it
2)將 innodb_autoextend_increment 配置由於預設8M 調整到 128M
  • 此配置項作用主要是當tablespace 空間已經滿了後,需要MySQL系統需要自動擴充套件多少空間,每次tablespace 擴充套件都會讓各個SQL 處於等待狀態。增加自動擴充套件Size可以減少tablespace自動擴充套件次數。
3)將 innodb_log_buffer_size
 配置由於預設1M 調整到 16M 
  • 此配置項作用設定innodb 資料庫引擎寫日誌快取區;將此快取段增大可以減少資料庫寫資料檔案次數。
4)將 innodb_log_file_size 配置由於預設 8M 調整到 128M 
  • 此配置項作用設定innodb 資料庫引擎UNDO日誌的大小;從而減少資料庫checkpoint操作。
經過以上調整,系統插入速度由於原來10分鐘幾萬條提升至1秒1W左右;注:以上引數調整,需要根據不同機器來進行實際調整。特別是 innodb_flush_log_at_trx_commit、 innodb_log_buffer_size 和 innodb_log_file_size 需要謹慎調整;因為涉及MySQL本身的容災處理。
 

(2)提升資料庫讀取速度,重資料庫層面上讀取速度提升主要由於幾點:簡化SQL、加索引和分割槽; 經過檢查程式SQL已經是最簡單,查詢條件上已經增加索引。我們只能用武器:表分割槽。 
  • 資料庫 MySQL分割槽前準備:在MySQL中,表空間就是儲存資料和索引的資料檔案。
    • 將S11資料庫由於同享tablespace 修改為支援多個tablespace; 
    • 將wb_user_info_sina 和 wb_user_info_tx 兩個表修改為各自獨立表空間;(Sina:1700W資料,2.6G 大資料檔案,Tencent 1400W,2.3G大資料檔案);
  • 分割槽操作:
    • 將現有的主鍵和索引先刪除
    • 重現建立id,uid 的聯合主鍵
    • 再以 uid 為鍵值進行分割槽。這時候到/var/data/mysql 檢視資料檔案,可以看到兩個大表各自獨立表空間已經分割成若干個較少獨立分割槽空間。(這時候若以uid 為檢索條件進行查詢,並不提升速度;因為鍵值只是安排資料儲存的分割槽並不會建立分割槽索引。我非常鬱悶這點比Oracle 差得不是一點半點。)
    • 再以 uid 欄位上進行建立索引。再次到/var/data/mysql 資料夾檢視資料檔案,非常鬱悶地發現各個分割槽Size竟然大了。MySQL還是老樣子將索引與資料儲存在同一個tablespace裡面。若能index 與 資料分離能夠更加好管理。
經過以上調整,暫時沒能體現出系統讀取速度提升;基本都是在 2~3秒完成5K資料更新。