pymysql模組的使用和索引
阿新 • • 發佈：2018-11-11
一.pymysql模組的使用
1、pymysql的下載和使用
之前我們都是通過MySQL自帶的命令列客戶端工具mysql來操作資料庫，那如何在python程式中操作資料庫呢？這就用到了pymysql模組，該模組本質就是一個套接字客戶端軟體，使用前需要事先安裝。
（1）pymysql模組的下載
pip3 install pymysql
（2）pymysql的使用
資料庫和資料都已存在
# 實現：使用Python實現使用者登入，如果使用者存在則登入成功（假設該使用者已在資料庫中）
import pymysql
user = input('請輸入使用者名稱：')
pwd = input('請輸入密碼：')
# 1.連線
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='db8', charset='utf8')
# 2.建立遊標
cursor = conn.cursor()
#注意%s需要加引號
sql = "select * from userinfo where username='%s' and pwd='%s'" %(user, pwd)
print(sql)
# 3.執行sql語句
cursor.execute(sql)
result=cursor.execute(sql) #執行sql語句，返回sql查詢成功的記錄數目
print(result)
# 關閉連線，遊標和連線都要關閉
cursor.close()
conn.close()
if result:
print('登陸成功')
else:
print('登入失敗')
2、execute()之sql注入
最後那一個空格，在一條sql語句中如果遇到select * from userinfo where username='mjj' -- asadasdas' and pwd='' 則--之後的條件被註釋掉了(注意--後面還有一個空格) #1、sql注入之：使用者存在，繞過密碼 mjj' -- 任意字元 #2、sql注入之：使用者不存在，繞過使用者與密碼 xxx' or 1=1 -- 任意字元
解決方法：
# 原來是我們對sql進行字串拼接 # sql="select * from userinfo where name='%s' and password='%s'" %(username,pwd) # print(sql) # result=cursor.execute(sql) #改寫為（execute幫我們做字串拼接，我們無需且一定不能再為%s加引號了） sql="select * from userinfo where name=%s and password=%s" #！！！注意%s需要去掉引號，因為pymysql會自動為我們加上 result=cursor.execute(sql,[user,pwd]) #pymysql模組自動幫我們解決sql注入的問題，只要我們按照pymysql的規矩來。
3、增、刪、改：conn.commit()
commit()方法：在資料庫裡增、刪、改的時候，必須要進行提交，否則插入的資料不生效。
import pymysql
username = input('請輸入使用者名稱：')
pwd = input('請輸入密碼：')
# 1.連線
conn = pymysql.connect(host='localhost', port=3306, user='root', password='', db='db8', charset='utf8')
# 2.建立遊標
cursor = conn.cursor()
# 操作
# 增
# sql = "insert into userinfo(username,pwd) values (%s,%s)"
# effect_row = cursor.execute(sql,(username,pwd))
#同時插入多條資料
#cursor.executemany(sql,[('李四'，'110'),（'王五'，'119'）])
# print(effect_row)#
# 改
# sql = "update userinfo set username = %s where id = 2"
# effect_row = cursor.execute(sql,username)
# print(effect_row)
# 刪
sql = "delete from userinfo where id = 2"
effect_row = cursor.execute(sql)
print(effect_row)
#一定記得commit
conn.commit()
# 4.關閉遊標
cursor.close()
# 5.關閉連線
conn.close()
4、查：fetchone、fetchmany、fetchall
fetchone():獲取下一行資料，第一次為首行； fetchall():獲取所有行資料來源 fetchmany(4):獲取4行資料
檢視一下表內容：
mysql> select * from userinfo; +----+----------+-----+ | id | username | pwd | +----+----------+-----+ | 1 | mjj | 123 | | 3 | 張三 | 110 | | 4 | 李四 | 119 | +----+----------+-----+ 3 rows in set (0.00 sec)
使用fetchone():
import pymysql # 1.連線 conn = pymysql.connect(host='localhost', port=3306, user='root', password='', db='db8', charset='utf8') # 2.建立遊標 cursor = conn.cursor() sql = 'select * from userinfo' cursor.execute(sql) # 查詢第一行的資料 row = cursor.fetchone() print(row) # (1, 'mjj', '123') # 查詢第二行資料 row = cursor.fetchone() print(row) # (3, '張三', '110') # 4.關閉遊標 cursor.close() # 5.關閉連線 conn.close()
使用fetchall():
import pymysql # 1.連線 conn = pymysql.connect(host='localhost', port=3306, user='root', password='', db='db8', charset='utf8') # 2.建立遊標 cursor = conn.cursor() sql = 'select * from userinfo' cursor.execute(sql) # 獲取所有的資料 rows = cursor.fetchall() print(rows) # 4.關閉遊標 cursor.close() # 5.關閉連線 conn.close() #執行結果 ((1, 'mjj', '123'), (3, '張三', '110'), (4, '李四', '119'))
預設情況下，我們獲取到的返回值是元組，只能看到每行的資料，卻不知道每一列代表的是什麼，這個時候可以使用以下方式來返回字典，每一行的資料都會生成一個字典：
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor) #在例項化的時候，將屬性cursor設定為pymysql.cursors.DictCursor
在fetchone示例中，在獲取行資料的時候，可以理解開始的時候，有一個行指標指著第一行的上方，獲取一行，它就向下移動一行，所以當行指標到最後一行的時候，就不能再獲取到行的內容，所以我們可以使用如下方法來移動行指標：
cursor.scroll(1,mode='relative') # 相對當前位置移動 cursor.scroll(2,mode='absolute') # 相對絕對位置移動 第一個值為移動的行數，整數為向下移動，負數為向上移動，mode指定了是相對當前位置移動，還是相對於首行移動
# 1.Python實現使用者登入
# 2.Mysql儲存資料
import pymysql
# 1.連線
conn = pymysql.connect(host='localhost', port=3306, user='root', password='', db='db8', charset='utf8')
# 2.建立遊標
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
sql = 'select * from userinfo'
cursor.execute(sql)
# 查詢第一行的資料
row = cursor.fetchone()
print(row) # (1, 'mjj', '123')
# 查詢第二行資料
row = cursor.fetchone() # (3, '張三', '110')
print(row)
cursor.scroll(-1,mode='relative') #設定之後，游標相對於當前位置往前移動了一行，所以列印的結果為第二行的資料
row = cursor.fetchone()
print(row)
cursor.scroll(0,mode='absolute') #設定之後，游標相對於首行沒有任何變化，所以列印的結果為第一行資料
row = cursor.fetchone()
print(row)
# 4.關閉遊標
cursor.close()
# 5.關閉連線
conn.close()
#結果如下
{'id': 1, 'username': 'mjj', 'pwd': '123'}
{'id': 3, 'username': '張三', 'pwd': '110'}
{'id': 3, 'username': '張三', 'pwd': '110'}
{'id': 1, 'username': 'mjj', 'pwd': '123'}
fetchmany():
import pymysql
# 1.連線
conn = pymysql.connect(host='localhost', port=3306, user='root', password='', db='db8', charset='utf8')
# 2.建立遊標
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
sql = 'select * from userinfo'
cursor.execute(sql)
# 獲取2條資料
rows = cursor.fetchmany(2)
print(rows)
# 4.關閉遊標
# rows = cursor.fetchall()
# print(rows)
cursor.close()
# 5.關閉連線
conn.close()
#結果如下：
[{'id': 1, 'username': 'mjj', 'pwd': '123'}, {'id': 3, 'username': '張三', 'pwd': '110'}]
二.索引
1、索引的介紹
資料庫中專門用於幫助使用者快速查詢資料的一種資料結構。類似於字典中的目錄，查詢字典內容時可以根據目錄查詢到資料的存放位置嗎，然後直接獲取。
2、索引的作用
約束和加速查詢
3、常見的幾種索引：
- 普通索引
- 唯一索引
- 主鍵索引
- 聯合索引（多列）
- 聯合主鍵索引
- 聯合唯一索引
- 聯合普通索引
無索引： 從前往後一條一條查詢
有索引：建立索引的本質，就是建立額外的檔案（某種格式儲存，查詢的時候，先去格外的檔案找，定好位置，然後再去原始表中直接查詢。但是建立索引越多，會對硬碟也是有損耗。
建立索引的目的：
a.額外的檔案儲存特殊的資料結構
b.查詢快，但是插入更新刪除依然慢
c.建立索引之後，必須命中索引才能有效
無索引和有索引的區別以及建立索引的目的
ash索引和BTree索引 （1）hash型別的索引：查詢單條快，範圍查詢慢 （2）btree型別的索引：b+樹，層數越多，資料量指數級增長（我們就用它，因為innodb預設支援它）索引的種類
3.1 普通索引
作用：僅有一個加速查詢
create table userinfo( nid int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, index ix_name(name) );建立表+普通索引
create index 索引的名字 on 表名(列名)普通索引
drop index 索引的名字 on 表名刪除索引
show index from 表名
檢視索引
3.2 唯一索引
唯一索引有兩個功能：加速查詢和唯一約束（可含null）
create table userinfo( id int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, unique index ix_name(name) );建立表+唯一索引
create unique index 索引名 on 表名(列名)唯一索引
drop index 索引名 on 表名;刪除唯一索引
3.3 主鍵索引
主鍵索引有兩個功能： 加速查詢和唯一約束（不含null）
create table userinfo( id int not null auto_increment primary key, name varchar(32) not null, email varchar(64) not null, unique index ix_name(name) ) or create table userinfo( id int not null auto_increment, name varchar(32) not null, email varchar(64) not null, primary key(nid), unique index ix_name(name) )建立表+主鍵索引
alter table 表名 add primary key(列名);主鍵索引
alter table 表名 drop primary key;
alter table 表名 modify 列名 int, drop primary key;
刪除主鍵索引
3.4 組合索引
組合索引是將n個列組合成一個索引
其應用場景為：頻繁的同時使用n列來進行查詢，如：where name = 'alex' and email = '[email protected]'。
create index 索引名 on 表名(列名1,列名2);聯合普通索引
4、索引名詞
#覆蓋索引：在索引檔案中直接獲取資料
例如：
select name from userinfo where name = 'alex50000';
#索引合併：把多個單列索引合併成使用
例如：
select * from userinfo where name = 'alex13131' and id = 13131;
5、正確使用索引的情況
資料庫表中新增索引後確實會讓查詢速度起飛，但前提必須是正確的使用索引來查詢，如果以錯誤的方式使用，則即使建立索引也會不奏效。
使用索引，我們必須知道：
（1）建立索引
（2）命中索引
（3）正確使用索引
準備：
#1. 準備表 create table userinfo( id int, name varchar(20), gender char(6), email varchar(50) ); #2. 建立儲存過程，實現批量插入記錄 delimiter $$ #宣告儲存過程的結束符號為$$ create procedure auto_insert1() BEGIN declare i int default 1; while(i<3000000)do insert into userinfo values(i,concat('alex',i),'male',concat('egon',i,'@oldboy')); set i=i+1; end while; END$$ #$$結束 delimiter ; #重新宣告分號為結束符號 #3. 檢視儲存過程 show create procedure auto_insert1\G #4. 呼叫儲存過程 call auto_insert1();準備300w條資料
測試：
- like '%xx'
select * from userinfo where name like '%al';
- 使用函式
select * from userinfo where reverse(name) = 'alex333';
- or
select * from userinfo where id = 1 or email = '[email protected]';
特別的：當or條件中有未建立索引的列才失效，以下會走索引
select * from userinfo where id = 1 or name = 'alex1222';
select * from userinfo where id = 1 or email = '[email protected]' and name = 'alex112'
- 型別不一致
如果列是字串型別，傳入條件是必須用引號引起來，不然...
select * from userinfo where name = 999;
- !=
select count(*) from userinfo where name != 'alex'
特別的：如果是主鍵，則還是會走索引
select count(*) from userinfo where id != 123
- >
select * from userinfo where name > 'alex'
特別的：如果是主鍵或索引是整數型別，則還是會走索引
select * from userinfo where id > 123
select * from userinfo where num > 123
- order by
select email from userinfo order by name desc;
當根據索引排序時候，選擇的對映如果不是索引，則不走索引
特別的：如果對主鍵排序，則還是走索引：
select * from userinfo order by nid desc;
- 組合索引最左字首
如果組合索引為：(name,email)
name and email -- 使用索引
name -- 使用索引
email -- 不使用索引
什麼是最左字首呢？
最左字首匹配：
create index ix_name_email on userinfo(name,email);
select * from userinfo where name = 'alex';
select * from userinfo where name = 'alex' and email='[email protected]';
select * from userinfo where email='[email protected]';
如果使用組合索引如上，name和email組合索引之後，查詢
（1）name和email ---使用索引
（2）name ---使用索引
（3）email ---不適用索引
對於同時搜尋n個條件時，組合索引的效能好於多個單列索引
******組合索引的效能>索引合併的效能*********
6、索引的注意事項
(1)避免使用select *
(2)count(1)或count(列) 代替count(*)
(3)建立表時儘量使用char代替varchar
(4)表的欄位順序固定長度的欄位優先
(5)組合索引代替多個單列索引（經常使用多個條件查詢時）
(6)儘量使用短索引 （create index ix_title on tb(title(16));特殊的資料型別 text型別）
(7)使用連線（join）來代替子查詢
(8)連表時注意條件型別需一致
(9)索引雜湊（重複少）不適用於建索引，例如：性別不合適
7、執行計劃
explain + 查詢SQL - 用於顯示SQL執行資訊引數，根據參考資訊可以進行SQL優化
mysql> explain select * from userinfo;
+----+-------------+----------+------+---------------+------+---------+------+---------+-------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+----------+------+---------------+------+---------+------+---------+-------+
| 1 | SIMPLE | userinfo | ALL | NULL | NULL | NULL | NULL | 2973016 | NULL |
+----+-------------+----------+------+---------------+------+---------+------+---------+-------+
mysql> explain select * from (select id,name from userinfo where id <20) as A;
+----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
| 1 | PRIMARY | <derived2> | ALL | NULL | NULL | NULL | NULL | 19 | NULL |
| 2 | DERIVED | userinfo | range | PRIMARY | PRIMARY | 4 | NULL | 19 | Using where |
+----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+
2 rows in set (0.05 sec)
引數說明：
select_type：
查詢型別
SIMPLE 簡單查詢
PRIMARY 最外層查詢
SUBQUERY 對映為子查詢
DERIVED 子查詢
UNION 聯合
UNION RESULT 使用聯合的結果
table：
正在訪問的表名
type：
查詢時的訪問方式，效能：all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const
ALL 全表掃描，對於資料表從頭到尾找一遍
select * from userinfo;
特別的：如果有limit限制，則找到之後就不在繼續向下掃描
select * from userinfo where email = '[email protected]'
select * from userinfo where email = '[email protected]' limit 1;
雖然上述兩個語句都會進行全表掃描，第二句使用了limit，則找到一個後就不再繼續掃描。
INDEX ： 全索引掃描，對索引從頭到尾找一遍
select nid from userinfo;
RANGE： 對索引列進行範圍查詢
select * from userinfo where name < 'alex';
PS:
between and
in
> >= < <= 操作
注意：!= 和 > 符號
INDEX_MERGE： 合併索引，使用多個單列索引搜尋
select * from userinfo where name = 'alex' or nid in (11,22,33);
REF： 根據索引查詢一個或多個值
select * from userinfo where name = 'alex112';
EQ_REF： 連線時使用primary key 或 unique型別
select userinfo2.id,userinfo.name from userinfo2 left join tuserinfo on userinfo2.id = userinfo.id;
CONST：常量
表最多有一個匹配行,因為僅有一行,在這行的列值可被優化器剩餘部分認為是常數,const表很快,因為它們只讀取一次。
select id from userinfo where id = 2 ;
SYSTEM：系統
表僅有一行(=系統表)。這是const聯接型別的一個特例。
select * from (select id from userinfo where id = 1) as A;
possible_keys：可能使用的索引
key：真實使用的
key_len： MySQL中使用索引位元組長度
rows： mysql估計為了找到所需的行而要讀取的行數 ------ 只是預估值
extra：
該列包含MySQL解決查詢的詳細資訊
“Using index”
此值表示mysql將使用覆蓋索引，以避免訪問表。不要把覆蓋索引和index訪問型別弄混了。
“Using where”
這意味著mysql伺服器將在儲存引擎檢索行後再進行過濾，許多where條件裡涉及索引中的列，當（並且如果）它讀取索引時，就能被儲存引擎檢驗，因此不是所有帶where子句的查詢都會顯示“Using where”。有時“Using where”的出現就是一個暗示：查詢可受益於不同的索引。
“Using temporary”
這意味著mysql在對查詢結果排序時會使用一個臨時表。
“Using filesort”
這意味著mysql會對結果使用一個外部索引排序，而不是按索引次序從表裡讀取行。mysql有兩種檔案排序演算法，這兩種排序方式都可以在記憶體或者磁碟上完成，explain不會告訴你mysql將使用哪一種檔案排序，也不會告訴你排序會在記憶體裡還是磁碟上完成。
“Range checked for each record(index map: N)”
這個意味著沒有好用的索引，新的索引將在聯接的每一行上重新估算，N是顯示在possible_keys列中索引的點陣圖，並且是冗餘的
8、慢日誌記錄
開啟慢查詢日誌，可以讓MySQL記錄下查詢超過指定時間的語句，通過定位分析效能的瓶頸，才能更好的優化資料庫系統的效能。
(1) 進入MySql 查詢是否開了慢查詢
show variables like 'slow_query%';
引數解釋：
slow_query_log 慢查詢開啟狀態 OFF 未開啟 ON 為開啟
slow_query_log_file 慢查詢日誌存放的位置（這個目錄需要MySQL的執行帳號的可寫許可權，一般設定為MySQL的資料存放目錄）
（2）檢視慢查詢超時時間
show variables like 'long%';
ong_query_time 查詢超過多少秒才記錄 預設10秒
（3）開啟慢日誌（1）（是否開啟慢查詢日誌，1表示開啟，0表示關閉。）
set global slow_query_log=1;
（4）再次檢視
show variables like '%slow_query_log%';
（5）開啟慢日誌（2）：（推薦）
在my.cnf 檔案中
找到[mysqld]下面新增：
slow_query_log =1
slow_query_log_file=C:\mysql-5.6.40-winx64\data\localhost-slow.log
long_query_time = 1
引數說明：
slow_query_log 慢查詢開啟狀態 1 為開啟
slow_query_log_file 慢查詢日誌存放的位置
long_query_time 查詢超過多少秒才記錄 預設10秒 修改為1秒
9、分頁效能相關方案
先回顧一下，如何取當前表中的前10條記錄，每十條取一次......
第1頁： select * from userinfo limit 0,10; 第2頁： select * from userinfo limit 10,10; 第3頁： select * from userinfo limit 20,10; 第4頁： select * from userinfo limit 30,10; ...... 第2000010頁 select * from userinfo limit 2000000,10; PS:會發現，越往後查詢，需要的時間約長，是因為越往後查，全文掃描查詢，會去資料表中掃描查詢。
最優的解決方案
（1）只有上一頁和下一頁
做一個記錄：記錄當前頁的最大id或最小id
下一頁：
select * from userinfo where id>max_id limit 10;
上一頁：
select * from userinfo where id<min_id order by id desc limit 10;
(2) 中間有頁碼的情況
select * from userinfo where id in(
select id from (select * from userinfo where id > pre_max_id limit (cur_max_id-pre_max_id)*10) as A order by A.id desc limit 10
);