Mysql優化方面的面試題
前言 本文是個人在各種地方收集過來,包括自己總結的問題,都參雜在內,適合中級或者中上級開發面試的難度。
1、MySQL的複製原理以及流程:
基本原理流程,3個執行緒以及之間的關聯;
1. 主:binlog執行緒——記錄下所有改變了資料庫資料的語句,放進master上的binlog中;
2. 從:io執行緒——在使用start slave 之後,負責從master上拉取 binlog 內容,放進 自己的relay log中;
3. 從:sql執行執行緒——執行relay log中的語句;
2、MySQL中myisam與innodb的區別,至少5點
(1)、問5點不同;
1>.InnoDB支援事物,而MyISAM不支援事物
2>.InnoDB支援行級鎖,而MyISAM支援表級鎖
3>.InnoDB支援MVCC, 而MyISAM不支援
4>.InnoDB支援外來鍵,而MyISAM不支援
5>.InnoDB不支援全文索引,而MyISAM支援。
(2)、innodb引擎的4大特性
插入緩衝(insert buffer),二次寫(double write),自適應雜湊索引(ahi),預讀(read ahead)
(3)、2者selectcount(*)哪個更快,為什麼
myisam更快,因為myisam內部維護了一個計數器,可以直接調取。
3、MySQL中varchar與char的區別以及varchar(50)中的50代表的涵義
(1)、varchar與char的區別
char是一種固定長度的型別,varchar則是一種可變長度的型別
(2)、varchar(50)中50的涵義
最多存放50個字元,varchar(50)和(200)儲存hello所佔空間一樣,但後者在排序時會消耗更多記憶體,因為order by col採用fixed_length計算col長度(memory引擎也一樣)
(3)、int(20)中20的涵義
是指顯示字元的長度
但要加引數的,最大為255,比如它是記錄行數的id,插入10筆資料,它就顯示00000000001 ~~~00000000010,當字元的位數超過11,它也只顯示11位,如果你沒有加那個讓它未滿11位就前面加0的引數,它不會在前面加0
20表示最大顯示寬度為20,但仍佔4位元組儲存,儲存範圍不變;
(4)、mysql為什麼這麼設計
對大多數應用沒有意義,只是規定一些工具用來顯示字元的個數;int(1)和int(20)儲存和計算均一樣;
4、問了innodb的事務與日誌的實現方式
(1)、有多少種日誌;
錯誤日誌:記錄出錯資訊,也記錄一些警告資訊或者正確的資訊。
查詢日誌:記錄所有對資料庫請求的資訊,不論這些請求是否得到了正確的執行。
慢查詢日誌:設定一個閾值,將執行時間超過該值的所有SQL語句都記錄到慢查詢的日誌檔案中。
二進位制日誌:記錄對資料庫執行更改的所有操作。
中繼日誌:
事務日誌:
(2)、事物的4種隔離級別
隔離級別
讀未提交(RU)
讀已提交(RC)
可重複讀(RR)
序列
(3)、事務是如何通過日誌來實現的,說得越深入越好。
事務日誌是通過redo和innodb的儲存引擎日誌緩衝(Innodb log buffer)來實現的,當開始一個事務的時候,會記錄該事務的lsn(log sequence number)號; 當事務執行時,會往InnoDB儲存引擎的日誌
的日誌快取裡面插入事務日誌;當事務提交時,必須將儲存引擎的日誌緩衝寫入磁碟(通過innodb_flush_log_at_trx_commit來控制),也就是寫資料前,需要先寫日誌。這種方式稱為“預寫日誌方式”
5、問了MySQL binlog的幾種日誌錄入格式以及區別
(1)、binlog的日誌格式的種類和分別
(2)、適用場景;
(3)、結合第一個問題,每一種日誌格式在複製中的優劣。
Statement:每一條會修改資料的sql都會記錄在binlog中。
優點:不需要記錄每一行的變化,減少了binlog日誌量,節約了IO,提高效能。(相比row能節約多少效能 與日誌量,這個取決於應用的SQL情況,正常同一條記錄修改或者插入row格式所產生的日誌量還小於Statement產生的日誌量,但是考慮到如果帶條 件的update操作,以及整表刪除,alter表等操作,ROW格式會產生大量日誌,因此在考慮是否使用ROW格式日誌時應該跟據應用的實際情況,其所 產生的日誌量會增加多少,以及帶來的IO效能問題。)
缺點:由於記錄的只是執行語句,為了這些語句能在slave上正確執行,因此還必須記錄每條語句在執行的時候的 一些相關資訊,以保證所有語句能在slave得到和在master端執行時候相同 的結果。另外mysql 的複製,像一些特定函式功能,slave可與master上要保持一致會有很多相關問題(如sleep()函式, last_insert_id(),以及user-defined functions(udf)會出現問題).
使用以下函式的語句也無法被複制:
* LOAD_FILE()
* UUID()
* USER()
* FOUND_ROWS()
* SYSDATE() (除非啟動時啟用了 --sysdate-is-now 選項)
同時在INSERT ...SELECT 會產生比 RBR 更多的行級鎖
2.Row:不記錄sql語句上下文相關資訊,僅儲存哪條記錄被修改。
優點: binlog中可以不記錄執行的sql語句的上下文相關的資訊,僅需要記錄那一條記錄被修改成什麼了。所以rowlevel的日誌內容會非常清楚的記錄下 每一行資料修改的細節。而且不會出現某些特定情況下的儲存過程,或function,以及trigger的呼叫和觸發無法被正確複製的問題
缺點:所有的執行的語句當記錄到日誌中的時候,都將以每行記錄的修改來記錄,這樣可能會產生大量的日誌內容,比 如一條update語句,修改多條記錄,則binlog中每一條修改都會有記錄,這樣造成binlog日誌量會很大,特別是當執行alter table之類的語句的時候,由於表結構修改,每條記錄都發生改變,那麼該表每一條記錄都會記錄到日誌中。
3.Mixedlevel: 是以上兩種level的混合使用,一般的語句修改使用statment格式儲存binlog,如一些函式,statement無法完成主從複製的操作,則 採用row格式儲存binlog,MySQL會根據執行的每一條具體的sql語句來區分對待記錄的日誌形式,也就是在Statement和Row之間選擇 一種.新版本的MySQL中隊row level模式也被做了優化,並不是所有的修改都會以row level來記錄,像遇到表結構變更的時候就會以statement模式來記錄。至於update或者delete等修改資料的語句,還是會記錄所有行的 變更。
6、問了下MySQL資料庫cpu飆升到500%的話他怎麼處理?
(1)、沒有經驗的,可以不問;
(2)、有經驗的,問他們的處理思路。
列出所有程序show processlist觀察所有程序多秒沒有狀態變化的(幹掉)
檢視超時日誌或者錯誤日誌 (做了幾年開發,一般會是查詢以及大批量的插入會導致cpu與i/o上漲,,,,當然不排除網路狀態突然斷了,,導致一個請求伺服器只接受到一半,比如where子句或分頁子句沒有傳送,,當然的一次被坑經歷)
7、sql優化
(1)、explain出來的各種item的意義;
select_type
表示查詢中每個select子句的型別
type
表示MySQL在表中找到所需行的方式,又稱“訪問型別”
possible_keys
指出MySQL能使用哪個索引在表中找到行,查詢涉及到的欄位上若存在索引,則該索引將被列出,但不一定被查詢使用
key
顯示MySQL在查詢中實際使用的索引,若沒有使用索引,顯示為NULL
key_len
表示索引中使用的位元組數,可通過該列計算查詢中使用的索引的長度
ref
表示上述表的連線匹配條件,即哪些列或常量被用於查詢索引列上的值
Extra
包含不適合在其他列中顯示但十分重要的額外資訊
(2)、profile的意義以及使用場景;
查詢到 SQL 會執行多少時間, 並看出 CPU/Memory 使用量, 執行過程中 Systemlock, Table lock 花多少時間等等
8、備份計劃,mysqldump以及xtranbackup的實現原理
(1)、備份計劃;
這裡每個公司都不一樣,您別說那種1小時1全備什麼的就行
(2)、備份恢復時間;
這裡跟機器,尤其是硬碟的速率有關係,以下列舉幾個僅供參考
20G的2分鐘(mysqldump)
80G的30分鐘(mysqldump)
111G的30分鐘(mysqldump)
288G的3小時(xtra)
3T的4小時(xtra)
邏輯匯入時間一般是備份時間的5倍以上
(3)、xtrabackup實現原理
在InnoDB內部會維護一個redo日誌檔案,我們也可以叫做事務日誌檔案。事務日誌會儲存每一個InnoDB表資料的記錄修改。當InnoDB啟動時,InnoDB會檢查資料檔案和事務日誌,並執行兩個步驟:它應用(前滾)已經提交的事務日誌到資料檔案,並將修改過但沒有提交的資料進行回滾操作。
9、mysqldump中備份出來的sql,如果我想sql檔案中,一行只有一個insert....value()的話,怎麼辦?如果備份需要帶上master的複製點資訊怎麼辦?
--skip-extended-insert
[[email protected] ~]# mysqldump -uroot -p helei --skip-extended-insert
Enter password:
KEY `idx_c1` (`c1`),
KEY `idx_c2` (`c2`)
) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;
--
-- Dumping data for table `helei`
--
LOCK TABLES `helei` WRITE;
/*!40000 ALTER TABLE `helei` DISABLE KEYS */;
INSERT INTO `helei` VALUES (1,32,37,38,'2016-10-18 06:19:24','susususususususususususu');
INSERT INTO `helei` VALUES (2,37,46,21,'2016-10-18 06:19:24','susususususu');
INSERT INTO `helei` VALUES (3,21,5,14,'2016-10-18 06:19:24','susu');
10、500臺db,在最快時間之內重啟
puppet,dsh
11、innodb的讀寫引數優化
(1)、讀取引數
global buffer pool以及 local buffer;
(2)、寫入引數;
innodb_flush_log_at_trx_commit
innodb_buffer_pool_size
(3)、與IO相關的引數;
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_thread_concurrency = 0
(4)、快取引數以及快取的適用場景。
query cache/query_cache_type
並不是所有表都適合使用query cache。造成query cache失效的原因主要是相應的table發生了變更
第一個:讀操作多的話看看比例,簡單來說,如果是使用者清單表,或者說是資料比例比較固定,比如說商品列表,是可以開啟的,前提是這些庫比較集中,資料庫中的實務比較小。 第二個:我們“行騙”的時候,比如說我們競標的時候壓測,把query cache開啟,還是能收到qps激增的效果,當然前提示前端的連線池什麼的都配置一樣。大部分情況下如果寫入的居多,訪問量並不多,那麼就不要開啟,例如社交網站的,10%的人產生內容,其餘的90%都在消費,開啟還是效果很好的,但是你如果是qq訊息,或者聊天,那就很要命。 第三個:小網站或者沒有高併發的無所謂,高併發下,會看到 很多 qcache 鎖 等待,所以一般高併發下,不建議開啟query cache
12、你是如何監控你們的資料庫的?你們的慢日誌都是怎麼查詢的?
監控的工具有很多,例如zabbix,lepus,我這裡用的是lepus
13、你是否做過主從一致性校驗,如果有,怎麼做的,如果沒有,你打算怎麼做?
主從一致性校驗有多種工具 例如checksum、mysqldiff、pt-table-checksum等
14、你們資料庫是否支援emoji表情,如果不支援,如何操作?
如果是utf8字符集的話,需要升級至utf8_mb4方可支援
15、你是如何維護資料庫的資料字典的?
這個大家維護的方法都不同,我一般是直接在生產庫進行註釋,利用工具匯出成excel方便流通。
16、你們是否有開發規範,如果有,如何執行的
有,開發規範網上有很多了,可以自己看看總結下
17、表中有大欄位X(例如:text型別),且欄位X不會經常更新,以讀為為主,請問
(1)、您是選擇拆成子表,還是繼續放一起;
(2)、寫出您這樣選擇的理由。
答:拆帶來的問題:連線消耗 + 儲存拆分空間;不拆可能帶來的問題:查詢效能;
如果能容忍拆分帶來的空間問題,拆的話最好和經常要查詢的表的主鍵在物理結構上放置在一起(分割槽) 順序IO,減少連線消耗,最後這是一個文字列再加上一個全文索引來儘量抵消連線消耗
如果能容忍不拆分帶來的查詢效能損失的話:上面的方案在某個極致條件下肯定會出現問題,那麼不拆就是最好的選擇
18、MySQL中InnoDB引擎的行鎖是通過加在什麼上完成(或稱實現)的?為什麼是這樣子的?
答:InnoDB是基於索引來完成行鎖
例: select * from tab_with_index where id = 1 for update;
for update 可以根據條件來完成行鎖鎖定,並且 id 是有索引鍵的列,
如果 id 不是索引鍵那麼InnoDB將完成表鎖,,併發將無從談起
.
19、如何從mysqldump產生的全庫備份中只恢復某一個庫、某一張表?
答案見:https://suifu.blog.51cto.com/9167728/1830651
20、開放性問題:據說是騰訊的
一個6億的表a,一個3億的表b,通過外間tid關聯,你如何最快的查詢出滿足條件的第50000到第50200中的這200條資料記錄。
1、如果A表TID是自增長,並且是連續的,B表的ID為索引
select * from a,b where a.tid = b.id and a.tid>500000 limit 200;
2、如果A表的TID不是連續的,那麼就需要使用覆蓋索引.TID要麼是主鍵,要麼是輔助索引,B表ID也需要有索引。
select * from b , (select tid from a limit 50000,200) a where b.id = a .tid;
21、Sql優化
應儘量避免在 where 子句中使用!=或<>操作符,否則將引擎放棄使用索引而進行全表掃描。
應儘量避免在 where 子句中對欄位進行 null 值判斷,否則將導致引擎放棄使用索引而進行全表掃描,如:
select id from t where num is null
用 exists 代替 in 是一個好的選擇
用Where子句替換HAVING 子句 因為HAVING 只會在檢索出所有記錄之後才對結果集進行過濾
22、如果發現CPU,或者IO壓力很大,怎麼定位問題?
答: 1、首先我會用top命令和iostat命令,定位是什麼程序在佔用cpu和磁碟io; 2、如果是mysql的問題,我會登入到資料庫,通過show full processlist命令,看現在資料庫在執行什麼sql語句,是否有語句長時間執行使資料庫卡住; 3、執行show innodb engine status命令,檢視資料庫是否有鎖資源爭用; 4、檢視mysql慢查詢日誌,看是否有慢sql; 5、找到引起資料庫佔用資源高的語句,進行優化,該建索引的建索引,索引不合適的刪索引,或者根據情況kill掉耗費資源的sql語句等 ---------------------
原文:https://blog.csdn.net/weixin_38003389/article/details/83746223 版權宣告:本文為博主原創文章,轉載請附上博文連結!