2. 程式人生 > >Python筆記day46（MySQL）|索引、limit分頁、慢日誌

Python筆記day46（MySQL）|索引、limit分頁、慢日誌

阿新 • • 發佈：2019-02-10

1，索引

索引，是資料庫中專門用於幫助使用者快速查詢資料的一種資料結構。類似於字典中的目錄，查詢字典內容時可以根據目錄查詢到資料的存放位置，然後直接獲取即可。
MySQL中常見索引有：

普通索引
唯一索引
主鍵索引
組合索引

1）普通索引

普通索引僅有一個功能：加速查詢

create table in1(
    nid int not null auto_increment primary key,
    name varchar(32) not null,
    email varchar(64) not null,
    extra text,
    index ix_name (name)
)
 
create index index_name on table_name(column_name)

drop index_name on table_name;

show index from table_name;

注意：對於建立索引時如果是BLOB 和 TEXT 型別，必須指定length。

create index ix_extra on in1(extra(32));
2）唯一索引

唯一索引有兩個功能：加速查詢 和 唯一約束（可含null）

create table in1(
    nid int not null auto_increment primary
 
 key,
    name varchar(32) not null,
    email varchar(64) not null,
    extra text,
    unique ix_name (name)
)
create unique index 索引名 on 表名(列名)

drop unique index 索引名 on 表名
3）主鍵索引

主鍵有兩個功能：加速查詢 和 唯一約束（不可含null）

create table in1(
    nid int not null auto_increment primary key,
    name varchar
 
(32) not null,
    email varchar(64) not null,
    extra text,
    index ix_name (name)
)

OR

create table in1(
    nid int not null auto_increment,
    name varchar(32) not null,
    email varchar(64) not null,
    extra text,
    primary key(ni1),
    index ix_name (name)
)
alter table 表名 add primary key(列名);

alter table 表名 drop primary key;
alter table 表名  modify  列名 int, drop primary key;
4）組合索引

組合索引是將n個列組合成一個索引

其應用場景為：頻繁的同時使用n列來進行查詢，如：where n1 = ‘alex’ and n2 = 666。

create table in3(
    nid int not null auto_increment primary key,
    name varchar(32) not null,
    email varchar(64) not null,
    extra text
)
create index ix_name_email on in3(name,email);

如上建立組合索引之後，查詢：

name and email  -- 使用索引
name                 -- 使用索引
email                 -- 不使用索引

注意：對於同時搜尋n個條件時，組合索引的效能好於多個單一索引合併。

2，索引補充

1）索引

　　索引是表的目錄，在查詢內容之前可以先在目錄中查詢索引位置，以此快速定位查詢資料。對於索引，會儲存在額外的檔案中。

2）索引種類

普通索引：僅加速查詢
唯一索引：加速查詢 + 列值唯一（可以有null）
主鍵索引：加速查詢 + 列值唯一 +　表中只有一個（不可以有null）
組合索引：多列值組成一個索引，
專門用於組合搜尋，其效率大於索引合併
全文索引：對文字的內容進行分詞，進行搜尋
索引合併，使用多個單列索引組合搜尋
覆蓋索引，select的資料列只用從索引中就能夠取得，不必讀取資料行，換句話說查詢列要被所建的索引覆蓋

3）相關命令
- 查看錶結構
    desc 表名

- 檢視生成表的SQL
    show create table 表名

- 檢視索引
    show index from  表名

- 檢視執行時間
    set profiling = 1;
    SQL...
    show profiles;
4）使用索引和不使用索引

由於索引是專門用於加速搜尋而生，所以加上索引之後，查詢效率會快到飛起來。

# 有索引
mysql> select * from tb1 where name = 'wupeiqi-888';
+-----+-------------+---------------------+----------------------------------+---------------------+
| nid | name        | email               | radom                            | ctime               |
+-----+-------------+---------------------+----------------------------------+---------------------+
| 889 | wupeiqi-888 | [email protected] | 5312269e76a16a90b8a8301d5314204b | 2016-08-03 09:33:35 |
+-----+-------------+---------------------+----------------------------------+---------------------+
1 row in set (0.00 sec)

# 無索引
mysql> select * from tb1 where email = '[email protected]';
+-----+-------------+---------------------+----------------------------------+---------------------+
| nid | name        | email               | radom                            | ctime               |
+-----+-------------+---------------------+----------------------------------+---------------------+
| 889 | wupeiqi-888 | [email protected] | 5312269e76a16a90b8a8301d5314204b | 2016-08-03 09:33:35 |
+-----+-------------+---------------------+----------------------------------+---------------------+
1 row in set (1.23 sec)
5）正確使用索引

資料庫表中新增索引後確實會讓查詢速度起飛，但前提必須是正確的使用索引來查詢，如果以錯誤的方式使用，則即使建立索引也會不奏效。
即使建立索引，索引也不會生效：

- like '%xx'
    select * from tb1 where name like '%cn';
- 使用函式
    select * from tb1 where reverse(name) = 'wupeiqi';
- or
    select * from tb1 where nid = 1 or email = '[email protected]';
    特別的：當or條件中有未建立索引的列才失效，以下會走索引
            select * from tb1 where nid = 1 or name = 'seven';
            select * from tb1 where nid = 1 or email = '[email protected]' and name = 'alex'
- 型別不一致
    如果列是字串型別，傳入條件是必須用引號引起來，不然...
    select * from tb1 where name = 999;
- !=
    select * from tb1 where name != 'alex'
    特別的：如果是主鍵，則還是會走索引
        select * from tb1 where nid != 123
- >
    select * from tb1 where name > 'alex'
    特別的：如果是主鍵或索引是整數型別，則還是會走索引
        select * from tb1 where nid > 123
        select * from tb1 where num > 123
- order by
    select email from tb1 order by name desc;
    當根據索引排序時候，選擇的對映如果不是索引，則不走索引
    特別的：如果對主鍵排序，則還是走索引：
        select * from tb1 order by nid desc;

- 組合索引最左字首
    如果組合索引為：(name,email)
    name and email       -- 使用索引
    name                 -- 使用索引
    email                -- 不使用索引
6）其他注意事項
- 避免使用select *
- count(1)或count(列) 代替 count(*)
- 建立表時儘量時 char 代替 varchar
- 表的欄位順序固定長度的欄位優先
- 組合索引代替多個單列索引（經常使用多個條件查詢時）
- 儘量使用短索引
- 使用連線（JOIN）來代替子查詢(Sub-Queries)
- 連表時注意條件型別需一致
- 索引雜湊值（重複少）不適合建索引，例：性別不適合
7）limit分頁

無論是否有索引，limit分頁是一個值得關注的問題

每頁顯示10條：
當前 118 120， 125

倒序：
            大      小
            980    970  7 6  6 5  54  43  32

21 19 98     
下一頁：

    select 
        * 
    from 
        tb1 
    where 
        nid < (select nid from (select nid from tb1 where nid < 當前頁最小值 order by nid desc limit 每頁資料 *【頁碼-當前頁】) A order by A.nid asc limit 1)  
    order by 
        nid desc 
    limit 10;



    select 
        * 
    from 
        tb1 
    where 
        nid < (select nid from (select nid from tb1 where nid < 970  order by nid desc limit 40) A order by A.nid asc limit 1)  
    order by 
        nid desc 
    limit 10;


上一頁：

    select 
        * 
    from 
        tb1 
    where 
        nid < (select nid from (select nid from tb1 where nid > 當前頁最大值 order by nid asc limit 每頁資料 *【當前頁-頁碼】) A order by A.nid asc limit 1)  
    order by 
        nid desc 
    limit 10;


    select 
        * 
    from 
        tb1 
    where 
        nid < (select nid from (select nid from tb1 where nid > 980 order by nid asc limit 20) A order by A.nid desc limit 1)  
    order by 
        nid desc 
    limit 10;
8）執行計劃

explain + 查詢SQL - 用於顯示SQL執行資訊引數，根據參考資訊可以進行SQL優化

mysql> explain select * from tb2;
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
| id | select_type | table | type | possible_keys | key  | key_len | ref  | rows | Extra |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
|  1 | SIMPLE      | tb2   | ALL  | NULL          | NULL | NULL    | NULL |    2 | NULL  |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
1 row in set (0.00 sec)
    id
        查詢順序標識
            如：mysql> explain select * from (select nid,name from tb1 where nid < 10) as B;
            +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
            | id | select_type | table      | type  | possible_keys | key     | key_len | ref  | rows | Extra       |
            +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
            |  1 | PRIMARY     | <derived2> | ALL   | NULL          | NULL    | NULL    | NULL |    9 | NULL        |
            |  2 | DERIVED     | tb1        | range | PRIMARY       | PRIMARY | 8       | NULL |    9 | Using where |
            +----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
        特別的：如果使用union連線氣值可能為null


    select_type
        查詢型別
            SIMPLE          簡單查詢
            PRIMARY         最外層查詢
            SUBQUERY        對映為子查詢
            DERIVED         子查詢
            UNION           聯合
            UNION RESULT    使用聯合的結果
            ...
    table
        正在訪問的表名


    type
        查詢時的訪問方式，效能：all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const
            ALL             全表掃描，對於資料表從頭到尾找一遍
                            select * from tb1;
                            特別的：如果有limit限制，則找到之後就不在繼續向下掃描
                                   select * from tb1 where email = '[email protected]'
                                   select * from tb1 where email = '[email protected]' limit 1;
                                   雖然上述兩個語句都會進行全表掃描，第二句使用了limit，則找到一個後就不再繼續掃描。

            INDEX           全索引掃描，對索引從頭到尾找一遍
                            select nid from tb1;

            RANGE          對索引列進行範圍查詢
                            select *  from tb1 where name < 'alex';
                            PS:
                                between and
                                in
                                >   >=  <   <=  操作
                                注意：!= 和 > 符號


            INDEX_MERGE     合併索引，使用多個單列索引搜尋
                            select *  from tb1 where name = 'alex' or nid in (11,22,33);

            REF             根據索引查詢一個或多個值
                            select *  from tb1 where name = 'seven';

            EQ_REF          連線時使用primary key 或 unique型別
                            select tb2.nid,tb1.name from tb2 left join tb1 on tb2.nid = tb1.nid;



            CONST           常量
                            表最多有一個匹配行,因為僅有一行,在這行的列值可被優化器剩餘部分認為是常數,const表很快,因為它們只讀取一次。
                            select nid from tb1 where nid = 2 ;

            SYSTEM          系統
                            表僅有一行(=系統表)。這是const聯接型別的一個特例。
                            select * from (select nid from tb1 where nid = 1) as A;
    possible_keys
        可能使用的索引

    key
        真實使用的

    key_len
        MySQL中使用索引位元組長度

    rows
        mysql估計為了找到所需的行而要讀取的行數 ------ 只是預估值

    extra
        該列包含MySQL解決查詢的詳細資訊
        “Using index”
            此值表示mysql將使用覆蓋索引，以避免訪問表。不要把覆蓋索引和index訪問型別弄混了。
        “Using where”
            這意味著mysql伺服器將在儲存引擎檢索行後再進行過濾，許多where條件裡涉及索引中的列，當（並且如果）它讀取索引時，就能被儲存引擎檢驗，因此不是所有帶where子句的查詢都會顯示“Using where”。有時“Using where”的出現就是一個暗示：查詢可受益於不同的索引。
        “Using temporary”
            這意味著mysql在對查詢結果排序時會使用一個臨時表。
        “Using filesort”
            這意味著mysql會對結果使用一個外部索引排序，而不是按索引次序從表裡讀取行。mysql有兩種檔案排序演算法，這兩種排序方式都可以在記憶體或者磁碟上完成，explain不會告訴你mysql將使用哪一種檔案排序，也不會告訴你排序會在記憶體裡還是磁碟上完成。
        “Range checked for each record(index map: N)”
            這個意味著沒有好用的索引，新的索引將在聯接的每一行上重新估算，N是顯示在possible_keys列中索引的點陣圖，並且是冗餘的。
9）慢日誌查詢

a、配置MySQL自動記錄慢日誌

slow_query_log = OFF                            是否開啟慢日誌記錄
long_query_time = 2                              時間限制，超過此時間，則記錄
slow_query_log_file = /usr/slow.log        日誌檔案
log_queries_not_using_indexes = OFF     為使用索引的搜尋是否記錄

注：檢視當前配置資訊：
　　

     show variables like '%query%'

修改當前配置：
　　　　

set global 變數名 = 值

b、檢視MySQL慢日誌

mysqldumpslow -s at -a  /usr/local/var/mysql/MacBook-Pro-3-slow.log

--verbose    版本
--debug      除錯
--help       幫助

-v           版本
-d           除錯模式
-s ORDER     排序方式
             what to sort by (al, at, ar, c, l, r, t), 'at' is default
              al: average lock time
              ar: average rows sent
              at: average query time
               c: count
               l: lock time
               r: rows sent
               t: query time
-r           反轉順序，預設檔案倒序拍。reverse the sort order (largest last instead of first)
-t NUM       顯示前N條just show the top n queries
-a           不要將SQL中數字轉換成N，字串轉換成S。don't abstract all numbers to N and strings to 'S'
-n NUM       abstract numbers with at least n digits within names
-g PATTERN   正則匹配；grep: only consider stmts that include this string
-h HOSTNAME  mysql機器名或者IP；hostname of db server for *-slow.log filename (can be wildcard),
             default is '*', i.e. match all
-i NAME      name of server instance (if using mysql.server startup script)
-l           總時間中不減去鎖定時間；don't subtract lock time from total time

相關推薦

Python筆記day46（MySQL）|索引、limit分頁、慢日誌

1，索引 索引，是資料庫中專門用於幫助使用者快速查詢資料的一種資料結構。類似於字典中的目錄，查詢字典內容時可以根據目錄查詢到資料的存放位置，然後直接獲取即可。 MySQL中常見索引有： 普通索引 唯一索引 主鍵索引 組合索引 1）普通索引 普

MySQL---正確使用索引、limit分頁、執行計劃、慢日誌查詢

ngs 數據庫 配置 服務 esc 操作 com ora 條件 正確使用索引 數據庫表中添加索引後確實會讓查詢速度起飛，但前提必須是正確的使用索引來查詢，如果以錯誤的方式使用，則即使建立索引也會不奏效。即使建立索引，索引也不會生效： 1 - like ‘%xx‘ 2

mysql進階（二）之細談索引、分頁與慢日誌

連表 組合索引 rar 偏移量 最小值 num glob 要求 for 索引 1、數據庫索引 　　數據庫索引是一種數據結構，可以以額外的寫入和存儲空間為代價來提高數據庫表上的數據檢索操作的速度，以維護索引數據結構。索引用於快速定位數據，而無需在每次訪問數據庫表時搜索數據

python筆記二（數據類型和變量、字符串和編碼）

地板 節省空間 創建 好處 不用 就是 3.3 布爾 執行 一、數據類型 　　python可以直接處理的數據類型有：整數、浮點數、字符串、布爾值、空值。 　　整數 　　浮點數 　　字符串：雙引號內嵌套單引號，可以輸出 i‘m ok. 　　　　　　也可以用\來實現，\n 換行

python筆記二（數據類型和變量、編碼方式、字符串的編碼、字符串的格式化）

其他 所有 操作 邊表 引號 限制 tool love bar 一、數據類型 　　python可以直接處理的數據類型有：整數、浮點數、字符串、布爾值、空值。 　　整數 　　浮點數 　　字符串：雙引號內嵌套單引號，可以輸出 i‘m ok. 　　　　　　也可以用\來實現，\n

Python筆記day56（jQuery）|文件處理、事件、動畫效果、each、data

1,文件處理 新增到指定元素內部的後面 $(A).append(B)// 把B追加到A $(A).appendTo(B)// 把A追加到B 新增到指定元素內部的前面 $(A).prepend(B)// 把B前置到A $(A).prependTo(

python筆記----matplotlib（2）：條形圖、散點圖

#coding=utf-8 import pandas as pd import numpy as np import matplotlib.pyplot as plt#條形圖 reviews = pd.read_csv("fandango_scores.csv") col

Python筆記day32（網路）|解決黏包現象、Struct用法、實現ftp功能

1，黏包的解決方案 解決方案一 問題的根源在於，接收端不知道傳送端將要傳送的位元組流的長度，所以解決粘包的方法就是圍繞，如何讓傳送端在傳送資料前，把自己將要傳送的位元組流總大小讓接收端知曉，然後接收端來一個死迴圈接收完所有資料。 #_*_coding:

Python筆記day28（物件）|面向物件進階、hashlib

1，內容回顧 # 作業 ——> 反射 # str 和 repr # 類 object # repr str # str --> 類 str repr 父類object str repr # str --> 類 str 父類str 類rep

Python筆記總結（1）

Language 界面 關系運算符 unp expect ber integer file back 一、變量在python中不需要為變量制定數據類型。可以單行定義多個變量。>>> a, b = 2, 3.4 >>> a 2 >&g

Spark筆記整理（一）：spark單機安裝部署、分布式集群與HA安裝部署+spark源碼編譯

大數據 Spark [TOC] spark單機安裝部署 1.安裝scala 解壓：tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名：mv scala-2.10.5/ scala 配置到環境變量： export SCALA_HOME=/home/uplooking

Python筆記10（CSS）

耦合性 適應 選中 提高 ora 學習 筆記 ava tex 一、css的引入方式 1、css介紹 現在的互聯網前端分三層： HTML：超文本標記語言。從語義的角度描述頁面結構。 CSS：層疊樣式表。從審美的角度負責頁面樣式。 JS：JavaScript 。從

python筆記----matplotlib（1）：折線圖

#coding=utf-8 import pandas as pd import numpy as np import matplotlib.pyplot as plt#折線圖 unrate = pd.read_csv("UNRATE.csv") unrate["DATE"

Python資料庫操作（MySQL）

嗯...這兩天搗鼓了一下Python，不得不說指令碼語言就是強大方便，隨手開啟cmd，敲一行跑一行，媽媽再也不用擔心我打不開編譯器了......（這是針對一些配置中下的電腦開啟AS說的...） 好...今天先記錄一下Python的MYSQL資料庫操作吧。其實很簡單，第一步，

linux（十三）之磁盤分區、創建文件系統、掛載

動作 打開 oot mage 允許 關閉自動 def ubun mount 前面學習了linux的用戶管理 ，感覺是不是linux的多用戶多任務的系統感覺十分了解了，但是其實並不然的。你還需要了解更多。接下來給大家分享的是 在vmware中添加硬盤創建分區，然後掛載到指定

MyBatis分頁功能的實現（陣列分頁、sql分頁、攔截器，RowBounds分頁）

前言：學習hibernate & mybatis等持久層框架的時候，不外乎對資料庫的增刪改查操作。而使用最多的當是資料庫的查詢操

Python影象處理（7）：利用輪廓分塊處理

快樂蝦歡迎轉載，但請保留作者資訊在得到綠色植物的前景影象後，我們希望能夠進一步標識出其中的棉花植株和雜草。測試影象仍然是它：首先要做的當然是對影象進行分割槽域處理。在上一步中我們得到了標識綠色植物的二值

虛擬儲存器（1）——虛存概念及頁、頁表和地址翻譯基礎

一、前言         虛擬儲存器，感覺很難，至少說很複雜，裡面涉及到的東西也比較枯燥。當然，如果能徹底搞清楚，對繼續學習作業系統原理是百利無一害的。         玩C或C++的人，經常通過&a的方式獲取變數地址，並將其賦值給指標變數，也通常用printf打

一個100萬資料（MYSQL）的網站，目前訪問速度慢，如果讓你優化，你會從哪些方面進行考慮，談談你的思路

1、應儘量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。   2、對查詢進行優化，應儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。   3、應儘量避免在 where 子句中對欄位

（七）SpringBoot使用PageHelper分頁插件

sla pub okr app 結果集 ota 依賴 over 結果 二：添加PageHelper依賴 <dependency> <groupId>com.github.pagehelper</groupId> <ar