linux系統mysql字符集
一、select高階用法
1.傳統連線
世界上小於100人的城市在哪個國家?是用什麼語言?
#1.分析要哪些內容? 城市的人口數量 城市名字 國家名字 國家語言 #2.分析資料所在庫 city.population city.name country.name countrylanguage.language #3.找出三個表相關聯內容 city.countrycode country.code countrylanguage.countrycode #3.編寫語句 select country.name,city.name,city.population,countrylanguage.language from city,country,countrylanguage where city.countrycode=country.code and country.code=countrylanguage.countrycode and city.population < 100;
2.自連線
#自己尋找兩個表相關聯的欄位和資料
1.兩個表字段必須完全相同
2.兩個表字段下的資料必須完全相同
SELECT city.name,city.countrycode,countrylanguage.language,city.population
FROM city NATURAL JOIN countrylanguage
WHERE population < 100
ORDER BY population;
3.內連線
1)語法格式
select * from 表1 join 表2 on 相關聯的條件 where 條件; #注意:命中率(驅動的概念) 表1 小表 表2 大表 select * from 表1 inner join 表2 on 相關聯的條件 where 條件;
2)例子1:兩表聯查
#小於100人的城市在哪個國家,國家程式碼是什麼?
select city.name,city.population,city.countrycode,country.name
from city join country on city.countrycode=country.code
where city.population < 100;
3)例子2:三表聯查
#世界上小於100人的城市在哪個國家?是用什麼語言? select country.name,city.name,city.population,countrylanguage.language from city join country on city.countrycode=country.code join countrylanguage on country.code=countrylanguage.countrycode where city.population < 100;
4.外連線(有問題)
1)左外連線
select city.name,city.countrycode,country.name,city.population
from city left join country
on city.countrycode=country.code
and city.population < 100;
2)右外連線
select city.name,city.countrycode,country.name,city.population
from city right join country
on city.countrycode=country.code
and city.population < 100;
二、字符集
1.什麼是字符集
#字符集:是一個系統支援的所有抽象字元的集合。字元是各種文字和符號的總稱,包括各國家文字、標點符號、圖形符號、數字等。
最早的字符集:ASCII碼
中國的字符集:gbk,utf8,gbk2312
日本字符集:shift-JIS
韓國字符集:Euc-kr
萬國編碼:Unicode字符集
#常用的字符集:
gbk:一個漢字佔用2個位元組
utf8:一個漢字佔用3個位元組
utf8mb4:一個漢字佔用4個位元組
#字符集修改要求:
包含關係才可以修改
#檢視字符集:
mysql> show charset;
2.校驗規則
#檢視校驗規則
mysql> show collation;
| latin7_general_ci | latin7 |
| latin7_general_cs | latin7 |
| latin7_bin | latin7 |
#校驗規則區別
1.以ci結尾:不區分大小寫
2.以cs或者bin結尾:區分大小寫
#大小寫不同,相同欄位也不能新增
mysql> alter table city add nAME varchar(10);
ERROR 1060 (42S21): Duplicate column name 'nAME'
3.統一字符集
#1.xshell字符集
#2.linux系統字符集
#臨時修改
[root@db03 ~]# LANG=zh_CN.UTF-8
#永久修改
[root@db03 ~]# vim /etc/sysconfig/i18n #Centos6
[root@db03 ~]# vim /etc/locale.conf #Centos7
LANG="zh_CN.UTF-8"
#3.資料庫字符集
1)cmake 字符集指定
cmake .
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DWITH_EXTRA_CHARSETS=all \
2)配置檔案
[root@db03 ~]# vim /etc/my.cnf
[mysqld]
character-set-server=utf8
#4.建立資料庫時指定字符集
mysql> create database db7 charset utf8;
Query OK, 1 row affected (0.00 sec)
mysql> show create database db7;
+----------+--------------------------------------------------------------+
| Database | Create Database |
+----------+--------------------------------------------------------------+
| db7 | CREATE DATABASE `db7` /*!40100 DEFAULT CHARACTER SET utf8 */ |
+----------+--------------------------------------------------------------+
1 row in set (0.00 sec)
#5.建表時根據庫的字符集來建表
mysql> create table tb1(id int);
#6.指定字符集建表
mysql> create table tb3(id int) charset utf8mb4;
Query OK, 0 rows affected (0.01 sec)
mysql> show create table tb3;
+-------+------------------------------------------------------------------------------------------+
| Table | Create Table |
+-------+------------------------------------------------------------------------------------------+
| tb3 | CREATE TABLE `tb3` (
`id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 |
+-------+------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
#7.修改庫的字符集
mysql> show create database db7;
+----------+--------------------------------------------------------------+
| Database | Create Database |
+----------+--------------------------------------------------------------+
| db7 | CREATE DATABASE `db7` /*!40100 DEFAULT CHARACTER SET utf8 */ |
+----------+--------------------------------------------------------------+
1 row in set (0.00 sec)
mysql> alter database db7 charset gbk;
Query OK, 1 row affected (0.00 sec)
mysql> show create database db7;
+----------+-------------------------------------------------------------+
| Database | Create Database |
+----------+-------------------------------------------------------------+
| db7 | CREATE DATABASE `db7` /*!40100 DEFAULT CHARACTER SET gbk */ |
+----------+-------------------------------------------------------------+
1 row in set (0.00 sec)
#8.修改表的字符集
mysql> show create table tb2;
+-------+---------------------------------------------------------------------------------------+
| Table | Create Table |
+-------+---------------------------------------------------------------------------------------+
| tb2 | CREATE TABLE `tb2` (
`id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
+-------+---------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
mysql> alter table tb2 charset gbk;
Query OK, 0 rows affected (0.00 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> show create table tb2;
+-------+--------------------------------------------------------------------------------------+
| Table | Create Table |
+-------+--------------------------------------------------------------------------------------+
| tb2 | CREATE TABLE `tb2` (
`id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=gbk |
+-------+--------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
三、索引
1.什麼是索引
1.索引就好比一本書的目錄,它能讓你更快的找到自己想要的內容。
2.讓獲取的資料更有目的性,從而提高資料庫檢索資料的效能。
2.索引的種類
1.BTREE: B+樹索引(Btree,B+tree,B*tree)
2.HASH:HASH索引(memery儲存引擎支援)
3.FULLTEXT:全文索引(myisam儲存引擎支援)
4.RTREE:R樹索引
1)Btree索引
2)B+tree索引
3)B*tree索引
3索引根據演算法分類
索引是建立在資料庫欄位上面的
當where條件後面接的內容有索引的時候,會提高速度
1)主鍵索引(聚集索引)
#建立表的時候建立主鍵索引
mysql> create table test(id int not null auto_increment primary key comment '學號');
Query OK, 0 rows affected (0.04 sec)
mysql> create table test1(id int not null auto_increment,primary key(id));
Query OK, 0 rows affected (0.04 sec)
#檢視索引命令
mysql> show index from test;
#已經有表時新增主鍵索引
mysql> alter table student add primary key pri_id(id);
2)唯一鍵索引
#建立表的時候建立唯一鍵索引
mysql> create table test2(id int not null auto_increment unique key comment '學號');
Query OK, 0 rows affected (0.04 sec)
#已經有表時新增唯一鍵索引
mysql> alter table student add unique key uni_key(name);
#注意:建立唯一建索引或主鍵索引的列不能有重複資料
判斷一列能否做唯一建索引
1.查詢資料總量
mysql> select count(name) from city;
2.去重檢視該列資料總量
mysql> select count(distinct(name)) from city;
#以上兩個值相等則可以設定唯一建索引
例:
#1.檢視列的總資料量
mysql> select count(name) from country;
+-------------+
| count(name) |
+-------------+
| 239 |
+-------------+
1 row in set (0.00 sec)
#2.檢視去重後資料量
mysql> select count(distinct(name)) from country;
+-----------------------+
| count(distinct(name)) |
+-----------------------+
| 239 |
+-----------------------+
1 row in set (0.00 sec)
#3.建立唯一建索引
mysql> alter table country add unique key uni_key(name);
Query OK, 0 rows affected (0.09 sec)
Records: 0 Duplicates: 0 Warnings: 0
3)普通索引(輔助索引)
mysql> alter table city add index inx_name(name);
Query OK, 0 rows affected (0.14 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> create index index_District on city(District);
Query OK, 0 rows affected (0.06 sec)
Records: 0 Duplicates: 0 Warnings: 0
4)全文索引
mysql> create table txt(id int,bookname varchar(12),wenzhang text,fulltext(wenzhang));
Query OK, 0 rows affected (0.20 sec)
mysql> select * from txt where match(wenzhang) against('查詢的內容');
#例項
mysql> create table text(id int,bookname varchar(12) charset utf8,wenzhang text charset utf8,fulltext(wenzhang));
Query OK, 0 rows affected (0.21 sec)
mysql> insert into text values(1,'紅樓夢','上回書說到張飛長阪坡三打白骨精救出宋江');
Query OK, 1 row affected (0.01 sec)
mysql> select * from text;
+------+-----------+-----------------------------------------------------------+
| id | bookname | wenzhang |
+------+-----------+-----------------------------------------------------------+
| 1 | 紅樓夢 | 上回書說到張飛長阪坡三打白骨精救出宋江 |
+------+-----------+-----------------------------------------------------------+
1 row in set (0.00 sec)
mysql> select * from text where match(wenzhang) against('上回書說到張飛長阪坡三打白骨精救出宋江');
+------+-----------+-----------------------------------------------------------+
| id | bookname | wenzhang |
+------+-----------+-----------------------------------------------------------+
| 1 | 紅樓夢 | 上回書說到張飛長阪坡三打白骨精救出宋江 |
+------+-----------+-----------------------------------------------------------+
1 row in set (0.00 sec)
5)檢視索引
#方式一:
mysql> show index from city;
#方式二:
mysql> desc city;
+-----+
| Key |
+-----+
| PRI | #主鍵索引
| MUL | #普通索引
| UNI | #唯一鍵索引
| MUL |
+-----+
6)刪除索引
mysql> alter table city drop index index_District;
Query OK, 0 rows affected (0.03 sec)
Records: 0 Duplicates: 0 Warnings: 0
目錄
1.索引作用
1)索引就好比一本書的目錄,它能讓你更快的找到自己想要的內容。
2)讓獲取的資料更有目的性,從而提高資料庫檢索資料的效能。
2. 索引的種類(演算法)
1)BTREE:B+樹索引
2)HASH:HASH索引
3)FULLTEXT:全文索引
4)RTREE:R樹索引
B-tree
B+Tree 在範圍查詢方面提供了更好的效能(> < >= <= like)
B*Tree
3. 索引管理
索引建立在表的列上(欄位)的。
在where後面的列建立索引才會加快查詢速度。
pages<---索引(屬性)<----查資料。
3.1 索引分類
主鍵索引
普通索引
唯一索引
3.2 管理索引
#建立索引
alter table test add index index_name(name);
#建立索引
create index index_name on test(name);
#檢視索引
desc table;
#檢視索引
show index from table;
#刪除索引
alter table test drop key index_name;
#新增唯一性索引
alter table student add unique key uni_xxx(xxx);
#查看錶中資料行數
select count(*) from city;
#檢視去重資料行數
select count(distinct name) from city;
3.3 唯一索引
db01 [world]>alter table city add unique index idx_uni1(name);
ERROR 1062 (23000): Duplicate entry 'San Jose' for key 'idx_uni1'
統計city表中,以省的名字為分組,統計組的個數
select district,count(id) from city group by district;
需求: 找到world下,city表中 name列有重複值的行,最後刪掉重複的行
db01 [world]>select name,count(id) as cid from city group by name having cid>1 order by cid desc;
db01 [world]>select * from city where name='suzhou';
3.4 字首索引
根據欄位的前N個字元建立索引
alter table test add index idx_name(name(10));
注意:數字列不能用作字首索引。
避免對大列建索引
如果有,就使用字首索引
3.5 聯合索引
多個欄位建立一個索引
例:
where a.女生 and b.身高 and c.體重 and d.身材好
index(a,b,c)
特點:字首生效特性
a,ab,ac,abc,abcd 可以走索引或部分走索引
b bc bcd cd c d ba ... 不走索引
原則:把最常用來做為條件查詢的列放在最前面
#建立people表
create table people (id int,name varchar(20),age tinyint,money int ,gender enum('m','f'));
#建立聯合索引
alter table people add index idx_gam(gender,age,money);
4. 執行計劃分析explain
4.1 介紹
(1) 獲取到的是優化器選擇完成的,他認為代價最小的執行計劃. 作用: 語句執行前,先看執行計劃資訊,可以有效的防止效能較差的語句帶來的效能問題. 如果業務中出現了慢語句,我們也需要藉助此命令進行語句的評估,分析優化方案。
(2) select 獲取資料的方法
- 全表掃描(應當儘量避免,因為效能低) 2. 索引掃描 3. 獲取不到資料
4.2 全表掃描
1.全表掃描1)在explain語句結果中type為ALL
2)什麼時候出現全表掃描?
2.1 業務確實要獲取所有資料
2.2 不走索引導致的全表掃描
- 2.2.1 沒索引
- 2.2.2 索引建立有問題
- 2.2.3 語句有問題
生產中,mysql在使用全表掃描時的效能是極其差的,所以MySQL儘量避免出現全表掃描
4.3索引掃描
1 常見的索引掃描型別:
1)index
2)range
3)ref
4)eq_ref
5)const
6)system
7)null
從上到下,效能從最差到最好,我們認為至少要達到range級別
index:Full Index Scan,index與ALL區別為index型別只遍歷索引樹。
range:索引範圍掃描,對索引的掃描開始於某一點,返回匹配值域的行。顯而易見的索引範圍掃描是帶有between或者where子句裡帶有<,>查詢。
mysql> alter table city add index idx_city(population);
mysql> explain select * from city where population>30000000;
ref:使用非唯一索引掃描或者唯一索引的字首掃描,返回匹配某個單獨值的記錄行。
mysql> alter table city drop key idx_code;
mysql> explain select * from city where countrycode='chn';
mysql> explain select * from city where countrycode in ('CHN','USA');
mysql> explain select * from city where countrycode='CHN' union all select * from city where countrycode='USA';
eq_ref:類似ref,區別就在使用的索引是唯一索引,對於每個索引鍵值,表中只有一條記錄匹配,簡單來說,就是多表連線中使用primary key或者 unique key作為關聯條件A
join B
on A.sid=B.sid
const、system:當MySQL對查詢某部分進行優化,並轉換為一個常量時,使用這些型別訪問。
如將主鍵置於where列表中,MySQL就能將該查詢轉換為一個常量
mysql> explain select * from city where id=1000;
NULL:MySQL在優化過程中分解語句,執行時甚至不用訪問表或索引,例如從一個索引列裡選取最小值可以通過單獨索引查詢完成。
mysql> explain select * from city where id=1000000000000000000000000000;
5. 建立索引的原則
為了使索引的使用效率更高,在建立索引時,必須考慮在哪些欄位上建立索引和建立什麼型別的索引。
那麼索引設計原則又是怎樣的?
5.1 索引設計原則
5.1.1 選擇唯一性索引
唯一性索引的值是唯一的,可以更快速的通過該索引來確定某條記錄。
例如,學生表中學號是具有唯一性的欄位。為該欄位建立唯一性索引可以很快的確定某個學生的資訊。
如果使用姓名的話,可能存在同名現象,從而降低查詢速度。
優化方案:
(1) 如果非得使用重複值較多的列作為查詢條件(例如:男女),可以將表邏輯拆分
(2) 可以將此列和其他的查詢類,做聯和索引
select count(*) from world.city;
select count(distinct countrycode) from world.city;
select count(distinct countrycode,population ) from world.city;
注意:如果重複值較多,可以考慮採用聯合索引
5.1.2 為經常需要排序、分組和聯合操作的欄位建立索引
例如:
經常需要ORDER BY、GROUP BY、DISTINCT和UNION等操作的欄位,排序操作會浪費很多時間。
如果為其建立索引,可以有效地避免排序操作
5.1.3 為常作為查詢條件的欄位建立索引
如果某個欄位經常用來做查詢條件,那麼該欄位的查詢速度會影響整個表的查詢速度。
因此,為這樣的欄位建立索引,可以提高整個表的查詢速度。
3.1 經常查詢
3.2 列值的重複值少
注:如果經常作為條件的列,重複值特別多,可以建立聯合索引
5.1.4 儘量使用字首來索引
如果索引欄位的值很長,最好使用值的字首來索引。
例如,TEXT和BLOG型別的欄位,進行全文檢索
會很浪費時間。如果只檢索欄位的前面的若干個字元,這樣可以提高檢索速度。
5.1.5 限制索引的數目
索引的數目不是越多越好。每個索引都需要佔用磁碟空間,索引越多,需要的磁碟空間就越大。
修改表時,對索引的重構和更新很麻煩。越多的索引,會使更新表變得很浪費時間。
5.1.6 刪除不再使用或者很少使用的索引
表中的資料被大量更新,或者資料的使用方式被改變後,原有的一些索引可能不再需要。資料庫管理
員應當定期找出這些索引,將它們刪除,從而減少索引對更新操作的影響。
5.2 不走索引的情況
5.2.1沒有查詢條件,或者查詢條件沒有建立索引
#全表掃描
select * from table;
select * from tab where 1=1;
在業務資料庫中,特別是資料量比較大的表,是沒有全表掃描這種需求。
1)對使用者檢視是非常痛苦的。
2)對伺服器來講毀滅性的。
3)SQL改寫成以下語句:
#情況1
#全表掃描
select * from table;
#需要在price列上建立索引
selec * from tab order by price limit 10;
#情況2
#name列沒有索引
select * from table where name='zhangsan';
1、換成有索引的列作為查詢條件
2、將name列建立索引
5.2.2 查詢結果集是原表中的大部分資料,應該是25%以上
mysql> explain select * from city where population>3000 order by population;
1)如果業務允許,可以使用limit控制。
2)結合業務判斷,有沒有更好的方式。如果沒有更好的改寫方案就儘量不要在mysql存放這個資料了,放到redis裡面。
5.2.3 索引本身失效,統計資料不真實
索引有自我維護的能力。
對於表內容變化比較頻繁的情況下,有可能會出現索引失效。
重建索引就可以解決
5.2.4 查詢條件使用函式在索引列上或者對索引列進行運算,運算包括(+,-,*等)
#例子
錯誤的例子:select * from test where id-1=9;
正確的例子:select * from test where id=10;
5.2.5 隱式轉換導致索引失效.這一點應當引起重視.也是開發中經常會犯的錯誤
mysql> create table test (id int ,name varchar(20),telnum varchar(10));
mysql> insert into test values(1,'zs','110'),(2,'l4',120),(3,'w5',119),(4,'z4',112);
mysql> explain select * from test where telnum=120;
mysql> alter table test add index idx_tel(telnum);
mysql> explain select * from test where telnum=120;
mysql> explain select * from test where telnum=120;
mysql> explain select * from test where telnum='120';
5.2.6 <> ,not in 不走索引
mysql> select * from tab where telnum <> '1555555';
mysql> explain select * from tab where telnum <> '1555555';
單獨的>,<,in 有可能走,也有可能不走,和結果集有關,儘量結合業務新增limit
or或in儘量改成union
EXPLAIN SELECT * FROM teltab WHERE telnum IN ('110','119');
#改寫成
EXPLAIN SELECT * FROM teltab WHERE telnum='110'
UNION ALL
SELECT * FROM teltab WHERE telnum='119'
5.2.7 like "%_" 百分號在最前面不走
#走range索引掃描
EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '31%';
#不走索引
EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '%110';
%linux%類的搜尋需求,可以使用Elasticsearch -------> ELK
5.2.8單獨引用聯合索引裡非第一位置的索引列
CREATE TABLE t1 (id INT,NAME VARCHAR(20),age INT ,sex ENUM('m','f'),money INT);
ALTER TABLE t1 ADD INDEX t1_idx(money,age,sex);
DESC t1
SHOW INDEX FROM t1
#走索引的情況測試
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30 AND sex='m';
#部分走索引
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30;
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND sex='m';
#不走索引
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE age=20
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE age=30 AND sex='m';
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE sex='m';