數值分析：冪迭代和PageRank演算法
阿新 • • 發佈：2021-10-14
MySQL索引
參考文章：https://www.cnblogs.com/wupeiqi/articles/5713323.html
https://www.cnblogs.com/wupeiqi/articles/5716963.html
1、索引
-
補充：
查看錶結構命令 desc tableName -
索引，是資料庫中專門用於幫助使用者快速查詢資料的一種資料結構。類似於字典中的目錄，查詢字典內容時可以根據目錄查詢到資料的存放位置，然後直接獲取即可。
-
Mysql中常見索引有：
- 普通索引
- 唯一索引
- 主鍵索引
- 組合索引
-
索引原理
-
建立在資料庫端的檔案，以另一中資料結構進行儲存以方便快速查詢
-
Hash 值
- 對應的索引生成地址值的Hash值；特點：單值查詢的時候特別快，但是查詢範圍的時候較慢
-
Btrees(B+二叉樹) 使用較多
-
1.1 普通索引
- 普通索引只有一個功能，加速查詢；
-- 索引 -- 1、普通索引的建立方式 -- 語法：create index index_name on table_name(column_name) create INDEX index_sname on student(sname) -- 使用索引 select * from student WHERE sname='程心'; -- 刪除索引 drop INDEX index_sname on student; -- 顯示索引 show index from student; -- 建立表的時候直接建立索引 create table in1( nid int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, extra text, -- 超大的文字 index ix_name (name) -- 指定索引，與建立為唯一索引unique()類似； ) show INDEX FROM in1; -- 查看錶的結構描述 desc in1; -- 注意：對於建立索引時如果是BLOB 和 TEXT 型別，必須指定length。 create index ix_extra on in1(extra(32));
-
補充：短索引
-
create index ix_a on student(sname(16)) -- 表示使用sname的前16個字元建立索引 -- 注text 的型別的資料一定要設定字元限制；
-
1.2 唯一索引
功能：加速查詢+唯一約束（非空可以根據需求）
-- 唯一索引 create table in2( nid int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, extra text, unique ix_name (name)-- 建立唯一索引 ) -- 非建立表時候建立唯一索引 -- 語法：create unique index 索引名 on 表名(列名) DELETE from teacher WHERE tid=11;-- 清楚掉重複資料 CREATE unique index index_tname on teacher(tname); -- 檢視索引 show INDEX FROM teacher; -- 刪除唯一索引 -- DROP UNIQUE INDEX index_tname on teacher DROP INDEX index_tname on teacher
1.3 主鍵索引
功能：加速查詢+唯一約束+非空約束
-- 主鍵索引
create table in3(
nid int not null auto_increment primary key,
name varchar(32) not null,
email varchar(64) not null,
extra text,
index ix_name (name)
)
-- =========兩種建立表時候建立主鍵索引的方式================
create table in4(
nid int not null auto_increment,
name varchar(32) not null,
email varchar(64) not null,
extra text,
primary key(nid),
index ix_name (name)
)
-- 不在建立表的時候建立主鍵
-- 語法：alter table 表名 add primary key(列名);
alter table in4 add PRIMARY KEY(nid)
-- 刪除主鍵索引
show INDEX from in4;
-- 刪除主鍵
alter table in4 drop primary key;
alter table in4 modify nid int, drop primary key;
1.4 組合索引
組合索引是將n個列組合成一個索引
其應用場景為：頻繁的同時使用n列來進行查詢，如：where n1 = 'alex' and n2 = 666。
-- 組合索引
create table in5(
nid int not null auto_increment primary key,
name varchar(32) not null,
email varchar(64) not null,
extra text
)
-- 建立組合索引--兩列普通索引
create index ix_name_email on in3(name,email);
-- 組合索引使用時具備靠左匹配，即單獨使用email,或者使用使用where eamil ='' and name=''；組合索引不生效；
如上建立組合索引之後，查詢：
- name and email -- 使用索引
- name -- 使用索引
- email -- 不使用索引
注意：對於同時搜尋n個條件時，組合索引的效能好於多個單一索引合併。
2、其他補充
2.1條件語句
delimiter \\
CREATE PROCEDURE proc_if ()
BEGIN
declare i int default 0;
if i = 1 THEN
SELECT 1;
ELSEIF i = 2 THEN
SELECT 2;
ELSE
SELECT 7;
END IF;
END\\
delimiter ;
if條件語句
2.2 迴圈語句
delimiter \\
CREATE PROCEDURE proc_while ()
BEGIN
DECLARE num INT ;
SET num = 0 ;
WHILE num < 10 DO
SELECT
num ;
SET num = num + 1 ;
END WHILE ;
END\\
delimiter ;
while迴圈
delimiter \\
CREATE PROCEDURE proc_repeat ()
BEGIN
DECLARE i INT ;
SET i = 0 ;
repeat
select i;
set i = i + 1;
until i >= 5
end repeat;
END\\
delimiter ;
repeat迴圈
BEGIN
declare i int default 0;
loop_label: loop
set i=i+1;
if i<8 then
iterate loop_label;
end if;
if i>=10 then
leave loop_label;
end if;
select i;
end loop loop_label;
END
loop
2.3 動態執行sql語句
-
可以用來在資料庫端防止SQL注入
delimiter \\ DROP PROCEDURE IF EXISTS proc_sql \\ CREATE PROCEDURE proc_sql () BEGIN declare p1 int; set p1 = 11; set @p1 = p1; PREPARE prod FROM 'select * from tb2 where nid > ?'; EXECUTE prod USING @p1; DEALLOCATE prepare prod; END\\ delimiter ; 動態執行SQL
2.5 其他
- 查看錶結構
desc 表名
- 檢視生成表的SQL
show create table 表名
- 檢視索引
show index from 表名
- 檢視執行時間
set profiling = 1;
SQL...
show profiles;
3、正確使用索引
- like '%xx'
select * from tb1 where name like '%cn';
- 使用函式
select * from tb1 where reverse(name) = 'wupeiqi';
- or
select * from tb1 where nid = 1 or email = '[email protected]';
特別的：當or條件中有未建立索引的列才失效，以下會走索引
select * from tb1 where nid = 1 or name = 'seven';
select * from tb1 where nid = 1 or email = '[email protected]' and name = 'alex'
- 型別不一致
如果列是字串型別，傳入條件是必須用引號引起來，不然...
select * from tb1 where name = 999;
- !=
select * from tb1 where name != 'alex'
特別的：如果是主鍵，則還是會走索引
select * from tb1 where nid != 123
- >
select * from tb1 where name > 'alex'
特別的：如果是主鍵或索引是整數型別，則還是會走索引
select * from tb1 where nid > 123
select * from tb1 where num > 123
- order by
select email from tb1 order by name desc;
當根據索引排序時候，選擇的對映如果不是索引，則不走索引
特別的：如果對主鍵排序，則還是走索引：
select * from tb1 order by nid desc;
- 組合索引最左字首
如果組合索引為：(name,email)
name and email -- 使用索引
name -- 使用索引
email -- 不使用索引
4、注意事項
- 避免使用select *
- count(1)或count(列) 代替 count(*)
- 建立表時儘量時 char 代替 varchar
- 表的欄位順序固定長度的欄位優先
- 組合索引代替多個單列索引（經常使用多個條件查詢時）
- 儘量使用短索引
- 使用連線（JOIN）來代替子查詢(Sub-Queries)
- 連表時注意條件型別需一致
- 索引雜湊值（重複少）不適合建索引，例：性別不適合
5、執行計劃
-- 執行計劃
EXPLAIN SELECT * from student;
EXPLAIN SELECT * from student WHERE sid=1;
id
查詢順序標識
如：mysql> explain select * from (select nid,name from tb1 where nid < 10) as B;
+----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
| 1 | PRIMARY | <derived2> | ALL | NULL | NULL | NULL | NULL | 9 | NULL |
| 2 | DERIVED | tb1 | range | PRIMARY | PRIMARY | 8 | NULL | 9 | Using where |
+----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
特別的：如果使用union連線氣值可能為null
select_type
查詢型別
SIMPLE 簡單查詢
PRIMARY 最外層查詢
SUBQUERY 對映為子查詢
DERIVED 子查詢
UNION 聯合
UNION RESULT 使用聯合的結果
...
table
正在訪問的表名
type
查詢時的訪問方式，效能：all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const
ALL 全表掃描，對於資料表從頭到尾找一遍
select * from tb1;
特別的：如果有limit限制，則找到之後就不在繼續向下掃描
select * from tb1 where email = '[email protected]'
select * from tb1 where email = '[email protected]' limit 1;
雖然上述兩個語句都會進行全表掃描，第二句使用了limit，則找到一個後就不再繼續掃描。
INDEX 全索引掃描，對索引從頭到尾找一遍
select nid from tb1;
RANGE 對索引列進行範圍查詢
select * from tb1 where name < 'alex';
PS:
between and
in
> >= < <= 操作
注意：!= 和 > 符號
INDEX_MERGE 合併索引，使用多個單列索引搜尋
select * from tb1 where name = 'alex' or nid in (11,22,33);
REF 根據索引查詢一個或多個值
select * from tb1 where name = 'seven';
EQ_REF 連線時使用primary key 或 unique型別
select tb2.nid,tb1.name from tb2 left join tb1 on tb2.nid = tb1.nid;
CONST 常量
表最多有一個匹配行,因為僅有一行,在這行的列值可被優化器剩餘部分認為是常數,const表很快,因為它們只讀取一次。
select nid from tb1 where nid = 2 ;
SYSTEM 系統
表僅有一行(=系統表)。這是const聯接型別的一個特例。
select * from (select nid from tb1 where nid = 1) as A;
possible_keys
可能使用的索引
key
真實使用的
key_len
MySQL中使用索引位元組長度
rows
mysql估計為了找到所需的行而要讀取的行數 ------ 只是預估值
extra
該列包含MySQL解決查詢的詳細資訊
“Using index”
此值表示mysql將使用覆蓋索引，以避免訪問表。不要把覆蓋索引和index訪問型別弄混了。
“Using where”
這意味著mysql伺服器將在儲存引擎檢索行後再進行過濾，許多where條件裡涉及索引中的列，當（並且如果）它讀取索引時，就能被儲存引擎檢驗，因此不是所有帶where子句的查詢都會顯示“Using where”。有時“Using where”的出現就是一個暗示：查詢可受益於不同的索引。
“Using temporary”
這意味著mysql在對查詢結果排序時會使用一個臨時表。
“Using filesort”
這意味著mysql會對結果使用一個外部索引排序，而不是按索引次序從表裡讀取行。mysql有兩種檔案排序演算法，這兩種排序方式都可以在記憶體或者磁碟上完成，explain不會告訴你mysql將使用哪一種檔案排序，也不會告訴你排序會在記憶體裡還是磁碟上完成。
“Range checked for each record(index map: N)”
這個意味著沒有好用的索引，新的索引將在聯接的每一行上重新估算，N是顯示在possible_keys列中索引的點陣圖，並且是冗餘的。
詳細
6、慢日誌記錄
a、配置MySQL自動記錄慢日誌
slow_query_log = OFF 是否開啟慢日誌記錄
long_query_time = 2 時間限制，超過此時間，則記錄
slow_query_log_file = /usr/slow.log 日誌檔案
log_queries_not_using_indexes = OFF 為使用索引的搜尋是否記錄
注：檢視當前配置資訊：
show variables like '%query%'
修改當前配置：
set global 變數名 = 值
b、檢視MySQL慢日誌
mysqldumpslow -s at -a /usr/local/var/mysql/MacBook-Pro-3-slow.log
"""
--verbose 版本
--debug 除錯
--help 幫助
-v 版本
-d 除錯模式
-s ORDER 排序方式
what to sort by (al, at, ar, c, l, r, t), 'at' is default
al: average lock time
ar: average rows sent
at: average query time
c: count
l: lock time
r: rows sent
t: query time
-r 反轉順序，預設檔案倒序拍。reverse the sort order (largest last instead of first)
-t NUM 顯示前N條just show the top n queries
-a 不要將SQL中數字轉換成N，字串轉換成S。don't abstract all numbers to N and strings to 'S'
-n NUM abstract numbers with at least n digits within names
-g PATTERN 正則匹配；grep: only consider stmts that include this string
-h HOSTNAME mysql機器名或者IP；hostname of db server for *-slow.log filename (can be wildcard),
default is '*', i.e. match all
-i NAME name of server instance (if using mysql.server startup script)
-l 總時間中不減去鎖定時間；don't subtract lock time from total time
"""
7、Limit分頁
無論是否有索引，limit分頁是一個值得關注的問題
每頁顯示10條：
當前 118 120， 125
倒序：
大 小
980 970 7 6 6 5 54 43 32
21 19 98
下一頁：
select
*
from
tb1
where
nid < (select nid from (select nid from tb1 where nid < 當前頁最小值 order by nid desc limit 每頁資料 *【頁碼-當前頁】) A order by A.nid asc limit 1)
order by
nid desc
limit 10;
select
*
from
tb1
where
nid < (select nid from (select nid from tb1 where nid < 970 order by nid desc limit 40) A order by A.nid asc limit 1)
order by
nid desc
limit 10;
上一頁：
select
*
from
tb1
where
nid < (select nid from (select nid from tb1 where nid > 當前頁最大值 order by nid asc limit 每頁資料 *【當前頁-頁碼】) A order by A.nid asc limit 1)
order by
nid desc
limit 10;
select
*
from
tb1
where
nid < (select nid from (select nid from tb1 where nid > 980 order by nid asc limit 20) A order by A.nid desc limit 1)
order by
nid desc
limit 10;