1. 程式人生 > 實用技巧 >linux系統mysql字符集

linux系統mysql字符集

一、select高階用法

1.傳統連線

世界上小於100人的城市在哪個國家?是用什麼語言?

#1.分析要哪些內容?
城市的人口數量    城市名字    國家名字    國家語言

#2.分析資料所在庫
city.population   city.name   country.name    countrylanguage.language

#3.找出三個表相關聯內容
city.countrycode    country.code    countrylanguage.countrycode

#3.編寫語句
select country.name,city.name,city.population,countrylanguage.language from city,country,countrylanguage where city.countrycode=country.code and country.code=countrylanguage.countrycode and city.population < 100;

2.自連線

#自己尋找兩個表相關聯的欄位和資料
1.兩個表字段必須完全相同
2.兩個表字段下的資料必須完全相同

SELECT city.name,city.countrycode,countrylanguage.language,city.population
FROM city NATURAL JOIN countrylanguage 
WHERE population < 100
ORDER BY population;

3.內連線

1)語法格式

select * from 表1 join 表2 on 相關聯的條件 where 條件;

#注意:命中率(驅動的概念)
	表1 小表
	表2 大表
	
select * from 表1 inner join 表2 on 相關聯的條件 where 條件;

2)例子1:兩表聯查

#小於100人的城市在哪個國家,國家程式碼是什麼?
select city.name,city.population,city.countrycode,country.name 
from city join country on city.countrycode=country.code 
where city.population < 100;

3)例子2:三表聯查

#世界上小於100人的城市在哪個國家?是用什麼語言?
select country.name,city.name,city.population,countrylanguage.language
from city join country on city.countrycode=country.code 
join countrylanguage on country.code=countrylanguage.countrycode
where city.population < 100;

4.外連線(有問題)

1)左外連線

select city.name,city.countrycode,country.name,city.population
from city left join country 
on city.countrycode=country.code 
and city.population < 100;

2)右外連線

select city.name,city.countrycode,country.name,city.population
from city right join country 
on city.countrycode=country.code
and city.population < 100;

二、字符集

1.什麼是字符集

#字符集:是一個系統支援的所有抽象字元的集合。字元是各種文字和符號的總稱,包括各國家文字、標點符號、圖形符號、數字等。

最早的字符集:ASCII碼

中國的字符集:gbk,utf8,gbk2312
日本字符集:shift-JIS
韓國字符集:Euc-kr

萬國編碼:Unicode字符集

#常用的字符集:
	gbk:一個漢字佔用2個位元組
	utf8:一個漢字佔用3個位元組
	utf8mb4:一個漢字佔用4個位元組
	
#字符集修改要求:
	包含關係才可以修改
	
#檢視字符集:
	mysql> show charset;

2.校驗規則

#檢視校驗規則
mysql> show collation;
| latin7_general_ci        | latin7   |
| latin7_general_cs        | latin7   |
| latin7_bin               | latin7   |

#校驗規則區別
1.以ci結尾:不區分大小寫
2.以cs或者bin結尾:區分大小寫

#大小寫不同,相同欄位也不能新增
mysql> alter table city add nAME varchar(10);
ERROR 1060 (42S21): Duplicate column name 'nAME'

3.統一字符集

#1.xshell字符集

#2.linux系統字符集
	#臨時修改
	[root@db03 ~]# LANG=zh_CN.UTF-8
	#永久修改
	[root@db03 ~]# vim /etc/sysconfig/i18n		#Centos6
	[root@db03 ~]# vim /etc/locale.conf 		#Centos7
	LANG="zh_CN.UTF-8"
	
#3.資料庫字符集
	1)cmake 字符集指定
	cmake . 
	-DDEFAULT_CHARSET=utf8 \
	-DDEFAULT_COLLATION=utf8_general_ci \
	-DWITH_EXTRA_CHARSETS=all \
	2)配置檔案
	[root@db03 ~]# vim /etc/my.cnf
	[mysqld]
	character-set-server=utf8
	
#4.建立資料庫時指定字符集
mysql> create database db7 charset utf8;
Query OK, 1 row affected (0.00 sec)

mysql> show create database db7;
+----------+--------------------------------------------------------------+
| Database | Create Database                                              |
+----------+--------------------------------------------------------------+
| db7      | CREATE DATABASE `db7` /*!40100 DEFAULT CHARACTER SET utf8 */ |
+----------+--------------------------------------------------------------+
1 row in set (0.00 sec)

#5.建表時根據庫的字符集來建表
mysql> create table tb1(id int);

#6.指定字符集建表
mysql> create table tb3(id int) charset utf8mb4;
Query OK, 0 rows affected (0.01 sec)

mysql> show create table tb3;
+-------+------------------------------------------------------------------------------------------+
| Table | Create Table                                                                             |
+-------+------------------------------------------------------------------------------------------+
| tb3   | CREATE TABLE `tb3` (
  `id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 |
+-------+------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

#7.修改庫的字符集
mysql> show create database db7;
+----------+--------------------------------------------------------------+
| Database | Create Database                                              |
+----------+--------------------------------------------------------------+
| db7      | CREATE DATABASE `db7` /*!40100 DEFAULT CHARACTER SET utf8 */ |
+----------+--------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> alter database db7 charset gbk;
Query OK, 1 row affected (0.00 sec)

mysql> show create database db7;
+----------+-------------------------------------------------------------+
| Database | Create Database                                             |
+----------+-------------------------------------------------------------+
| db7      | CREATE DATABASE `db7` /*!40100 DEFAULT CHARACTER SET gbk */ |
+----------+-------------------------------------------------------------+
1 row in set (0.00 sec)

#8.修改表的字符集
mysql> show create table tb2;
+-------+---------------------------------------------------------------------------------------+
| Table | Create Table                                                                          |
+-------+---------------------------------------------------------------------------------------+
| tb2   | CREATE TABLE `tb2` (
  `id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
+-------+---------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> alter table tb2 charset gbk;
Query OK, 0 rows affected (0.00 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> show create table tb2;
+-------+--------------------------------------------------------------------------------------+
| Table | Create Table                                                                         |
+-------+--------------------------------------------------------------------------------------+
| tb2   | CREATE TABLE `tb2` (
  `id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=gbk |
+-------+--------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

三、索引

1.什麼是索引

1.索引就好比一本書的目錄,它能讓你更快的找到自己想要的內容。
2.讓獲取的資料更有目的性,從而提高資料庫檢索資料的效能。

2.索引的種類

1.BTREE: B+樹索引(Btree,B+tree,B*tree)
2.HASH:HASH索引(memery儲存引擎支援)
3.FULLTEXT:全文索引(myisam儲存引擎支援)
4.RTREE:R樹索引

1)Btree索引

2)B+tree索引

3)B*tree索引

3索引根據演算法分類

索引是建立在資料庫欄位上面的
當where條件後面接的內容有索引的時候,會提高速度

1)主鍵索引(聚集索引)

#建立表的時候建立主鍵索引
mysql> create table test(id int not null auto_increment primary key comment '學號');
Query OK, 0 rows affected (0.04 sec)

mysql> create table test1(id int not null auto_increment,primary key(id));
Query OK, 0 rows affected (0.04 sec)

#檢視索引命令
mysql> show index from test;

#已經有表時新增主鍵索引
mysql> alter table student add primary key pri_id(id);

2)唯一鍵索引

#建立表的時候建立唯一鍵索引
mysql> create table test2(id int not null auto_increment unique key comment '學號');
Query OK, 0 rows affected (0.04 sec)

#已經有表時新增唯一鍵索引
mysql> alter table student add unique key uni_key(name);
#注意:建立唯一建索引或主鍵索引的列不能有重複資料
判斷一列能否做唯一建索引
1.查詢資料總量
mysql> select count(name) from city;
2.去重檢視該列資料總量
mysql> select count(distinct(name)) from city;

#以上兩個值相等則可以設定唯一建索引

例:

#1.檢視列的總資料量
mysql> select count(name) from country;
+-------------+
| count(name) |
+-------------+
|         239 |
+-------------+
1 row in set (0.00 sec)
#2.檢視去重後資料量
mysql> select count(distinct(name)) from country;
+-----------------------+
| count(distinct(name)) |
+-----------------------+
|                   239 |
+-----------------------+
1 row in set (0.00 sec)
#3.建立唯一建索引
mysql> alter table country add unique key uni_key(name);
Query OK, 0 rows affected (0.09 sec)
Records: 0  Duplicates: 0  Warnings: 0

3)普通索引(輔助索引)

mysql> alter table city add index inx_name(name);
Query OK, 0 rows affected (0.14 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> create index index_District on city(District);
Query OK, 0 rows affected (0.06 sec)
Records: 0  Duplicates: 0  Warnings: 0

4)全文索引

mysql> create table txt(id int,bookname varchar(12),wenzhang text,fulltext(wenzhang));
Query OK, 0 rows affected (0.20 sec)

mysql> select * from txt where match(wenzhang) against('查詢的內容');

#例項
mysql> create table text(id int,bookname varchar(12) charset utf8,wenzhang text charset utf8,fulltext(wenzhang));
Query OK, 0 rows affected (0.21 sec)

mysql> insert into text values(1,'紅樓夢','上回書說到張飛長阪坡三打白骨精救出宋江');
Query OK, 1 row affected (0.01 sec)

mysql> select * from text;
+------+-----------+-----------------------------------------------------------+
| id   | bookname  | wenzhang                                                  |
+------+-----------+-----------------------------------------------------------+
|    1 | 紅樓夢    | 上回書說到張飛長阪坡三打白骨精救出宋江                    |
+------+-----------+-----------------------------------------------------------+
1 row in set (0.00 sec)

mysql> select * from text where match(wenzhang) against('上回書說到張飛長阪坡三打白骨精救出宋江');
+------+-----------+-----------------------------------------------------------+
| id   | bookname  | wenzhang                                                  |
+------+-----------+-----------------------------------------------------------+
|    1 | 紅樓夢    | 上回書說到張飛長阪坡三打白骨精救出宋江                    |
+------+-----------+-----------------------------------------------------------+
1 row in set (0.00 sec)

5)檢視索引

#方式一:
mysql> show index from city;

#方式二:
mysql> desc city;
+-----+
| Key |
+-----+
| PRI |		#主鍵索引
| MUL |		#普通索引
| UNI |		#唯一鍵索引
| MUL |
+-----+

6)刪除索引

mysql> alter table city drop index index_District;
Query OK, 0 rows affected (0.03 sec)
Records: 0  Duplicates: 0  Warnings: 0

目錄

1.索引作用

1)索引就好比一本書的目錄,它能讓你更快的找到自己想要的內容。
2)讓獲取的資料更有目的性,從而提高資料庫檢索資料的效能。

2. 索引的種類(演算法)

​ 1)BTREE:B+樹索引
2)HASH:HASH索引
3)FULLTEXT:全文索引
4)RTREE:R樹索引

B-tree
B+Tree 在範圍查詢方面提供了更好的效能(> < >= <= like)
B*Tree

3. 索引管理

索引建立在表的列上(欄位)的。
在where後面的列建立索引才會加快查詢速度。
pages<---索引(屬性)<----查資料。

3.1 索引分類

主鍵索引
普通索引
唯一索引

3.2 管理索引
#建立索引
alter table test add index index_name(name);
#建立索引
create index index_name on test(name);
#檢視索引
desc table;
#檢視索引
show index from table;
#刪除索引
alter table test drop key index_name;
#新增唯一性索引
alter table student add unique key uni_xxx(xxx);
#查看錶中資料行數
select count(*) from city;
#檢視去重資料行數
select count(distinct name) from city;
3.3 唯一索引
db01 [world]>alter table city add unique index idx_uni1(name);
ERROR 1062 (23000): Duplicate entry 'San Jose' for key 'idx_uni1'

統計city表中,以省的名字為分組,統計組的個數

select district,count(id) from city group by district;
需求: 找到world下,city表中 name列有重複值的行,最後刪掉重複的行
db01 [world]>select name,count(id) as cid from city group by name  having cid>1 order by cid desc;
db01 [world]>select * from city where name='suzhou';
3.4 字首索引

根據欄位的前N個字元建立索引

alter table test add index idx_name(name(10));
注意:數字列不能用作字首索引。

避免對大列建索引

如果有,就使用字首索引

3.5 聯合索引

多個欄位建立一個索引

例:
where a.女生 and b.身高 and c.體重 and d.身材好
index(a,b,c)
特點:字首生效特性
a,ab,ac,abc,abcd 可以走索引或部分走索引
b bc bcd cd c d ba ... 不走索引

原則:把最常用來做為條件查詢的列放在最前面

#建立people表
create table people (id int,name varchar(20),age tinyint,money int ,gender enum('m','f'));
#建立聯合索引
alter table people add index  idx_gam(gender,age,money);

4. 執行計劃分析explain

4.1 介紹

(1) 獲取到的是優化器選擇完成的,他認為代價最小的執行計劃. 作用: 語句執行前,先看執行計劃資訊,可以有效的防止效能較差的語句帶來的效能問題. 如果業務中出現了慢語句,我們也需要藉助此命令進行語句的評估,分析優化方案。

(2) select 獲取資料的方法

  1. 全表掃描(應當儘量避免,因為效能低) 2. 索引掃描 3. 獲取不到資料
4.2 全表掃描

1.全表掃描1)在explain語句結果中type為ALL

2)什麼時候出現全表掃描?

2.1 業務確實要獲取所有資料

2.2 不走索引導致的全表掃描

  • ​ 2.2.1 沒索引
  • ​ 2.2.2 索引建立有問題
  • ​ 2.2.3 語句有問題

生產中,mysql在使用全表掃描時的效能是極其差的,所以MySQL儘量避免出現全表掃描

4.3索引掃描

1 常見的索引掃描型別:
1)index
2)range
3)ref
4)eq_ref
5)const
6)system
7)null

從上到下,效能從最差到最好,我們認為至少要達到range級別

index:Full Index Scan,index與ALL區別為index型別只遍歷索引樹。
range:索引範圍掃描,對索引的掃描開始於某一點,返回匹配值域的行。顯而易見的索引範圍掃描是帶有between或者where子句裡帶有<,>查詢。

mysql> alter table city add index idx_city(population);
mysql> explain select * from city where population>30000000;

ref:使用非唯一索引掃描或者唯一索引的字首掃描,返回匹配某個單獨值的記錄行。

mysql> alter table city drop key idx_code;
mysql> explain select * from city where countrycode='chn';
mysql> explain select * from city where countrycode in ('CHN','USA');
mysql> explain select * from city where countrycode='CHN' union all select * from city where countrycode='USA';

eq_ref:類似ref,區別就在使用的索引是唯一索引,對於每個索引鍵值,表中只有一條記錄匹配,簡單來說,就是多表連線中使用primary key或者 unique key作為關聯條件A

join B 
on A.sid=B.sid

const、system:當MySQL對查詢某部分進行優化,並轉換為一個常量時,使用這些型別訪問。

如將主鍵置於where列表中,MySQL就能將該查詢轉換為一個常量

mysql> explain select * from city where id=1000;

NULL:MySQL在優化過程中分解語句,執行時甚至不用訪問表或索引,例如從一個索引列裡選取最小值可以通過單獨索引查詢完成。

mysql> explain select * from city where id=1000000000000000000000000000;

5. 建立索引的原則

為了使索引的使用效率更高,在建立索引時,必須考慮在哪些欄位上建立索引和建立什麼型別的索引。

那麼索引設計原則又是怎樣的?

5.1 索引設計原則

5.1.1 選擇唯一性索引

唯一性索引的值是唯一的,可以更快速的通過該索引來確定某條記錄。

例如,學生表中學號是具有唯一性的欄位。為該欄位建立唯一性索引可以很快的確定某個學生的資訊。
如果使用姓名的話,可能存在同名現象,從而降低查詢速度。

優化方案:
(1) 如果非得使用重複值較多的列作為查詢條件(例如:男女),可以將表邏輯拆分
(2) 可以將此列和其他的查詢類,做聯和索引
select count(*) from world.city;
select count(distinct countrycode) from world.city;
select count(distinct countrycode,population ) from world.city;

注意:如果重複值較多,可以考慮採用聯合索引

5.1.2 為經常需要排序、分組和聯合操作的欄位建立索引

例如:
經常需要ORDER BY、GROUP BY、DISTINCT和UNION等操作的欄位,排序操作會浪費很多時間。
如果為其建立索引,可以有效地避免排序操作

5.1.3 為常作為查詢條件的欄位建立索引

如果某個欄位經常用來做查詢條件,那麼該欄位的查詢速度會影響整個表的查詢速度。

因此,為這樣的欄位建立索引,可以提高整個表的查詢速度。

3.1 經常查詢

3.2 列值的重複值少

注:如果經常作為條件的列,重複值特別多,可以建立聯合索引

5.1.4 儘量使用字首來索引

如果索引欄位的值很長,最好使用值的字首來索引。

例如,TEXT和BLOG型別的欄位,進行全文檢索
會很浪費時間。如果只檢索欄位的前面的若干個字元,這樣可以提高檢索速度。

5.1.5 限制索引的數目

索引的數目不是越多越好。每個索引都需要佔用磁碟空間,索引越多,需要的磁碟空間就越大。
修改表時,對索引的重構和更新很麻煩。越多的索引,會使更新表變得很浪費時間。

5.1.6 刪除不再使用或者很少使用的索引
表中的資料被大量更新,或者資料的使用方式被改變後,原有的一些索引可能不再需要。資料庫管理
員應當定期找出這些索引,將它們刪除,從而減少索引對更新操作的影響。

5.2 不走索引的情況

5.2.1沒有查詢條件,或者查詢條件沒有建立索引

#全表掃描
select * from table;
select  * from tab where 1=1;

在業務資料庫中,特別是資料量比較大的表,是沒有全表掃描這種需求。

1)對使用者檢視是非常痛苦的。

2)對伺服器來講毀滅性的。

3)SQL改寫成以下語句:

#情況1
#全表掃描
select * from table;
#需要在price列上建立索引
selec  * from tab  order by  price  limit 10;
#情況2
#name列沒有索引
select * from table where name='zhangsan'; 
1、換成有索引的列作為查詢條件
2、將name列建立索引

5.2.2 查詢結果集是原表中的大部分資料,應該是25%以上

mysql> explain select * from city where population>3000 order by population;

1)如果業務允許,可以使用limit控制。

2)結合業務判斷,有沒有更好的方式。如果沒有更好的改寫方案就儘量不要在mysql存放這個資料了,放到redis裡面。

5.2.3 索引本身失效,統計資料不真實

索引有自我維護的能力。

對於表內容變化比較頻繁的情況下,有可能會出現索引失效。
重建索引就可以解決

5.2.4 查詢條件使用函式在索引列上或者對索引列進行運算,運算包括(+,-,*等)

#例子
錯誤的例子:select * from test where id-1=9; 
正確的例子:select * from test where id=10;

5.2.5 隱式轉換導致索引失效.這一點應當引起重視.也是開發中經常會犯的錯誤

mysql> create table test (id int ,name varchar(20),telnum varchar(10));
mysql> insert into test values(1,'zs','110'),(2,'l4',120),(3,'w5',119),(4,'z4',112);
mysql> explain select * from test where telnum=120;
mysql> alter table test add index idx_tel(telnum);
mysql> explain select * from test where telnum=120;
mysql> explain select * from test where telnum=120;
mysql> explain select * from test where telnum='120';

5.2.6 <> ,not in 不走索引

mysql> select * from tab where telnum <> '1555555';
mysql> explain select * from tab where telnum <> '1555555';

單獨的>,<,in 有可能走,也有可能不走,和結果集有關,儘量結合業務新增limit

or或in儘量改成union

EXPLAIN  SELECT * FROM teltab WHERE telnum IN ('110','119');
#改寫成
EXPLAIN SELECT * FROM teltab WHERE telnum='110'
UNION ALL
SELECT * FROM teltab WHERE telnum='119'

5.2.7 like "%_" 百分號在最前面不走

#走range索引掃描
EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '31%';
#不走索引
EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '%110';

%linux%類的搜尋需求,可以使用Elasticsearch -------> ELK

5.2.8單獨引用聯合索引裡非第一位置的索引列

CREATE TABLE t1 (id INT,NAME VARCHAR(20),age INT ,sex ENUM('m','f'),money INT);
ALTER TABLE t1 ADD INDEX t1_idx(money,age,sex);
DESC t1
SHOW INDEX FROM t1
#走索引的情況測試
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30  AND sex='m';
#部分走索引
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30;
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30  AND sex='m'; 
#不走索引
EXPLAIN SELECT  NAME,age,sex,money FROM t1 WHERE age=20
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE age=30 AND sex='m';
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE sex='m';