2. 程式人生 > >MySQL · 捉蟲動態 · MySQL字符集相關變數介紹及binlog中字符集相關缺陷分析

MySQL · 捉蟲動態 · MySQL字符集相關變數介紹及binlog中字符集相關缺陷分析

阿新 • • 發佈：2019-01-25

MySQL字符集相關變數介紹及binlog中字符集相關缺陷分析

MySQL支援多種字符集（character set）提供使用者儲存資料，同時允許用不同排序規則（collation）做比較。

本文基於MySQL5.7介紹了字符集相關變數的使用，通過例子描述了這些變數具體意義。分析了MySQL binlog中字符集相關處理的缺陷，這些缺陷會導致複製中斷或者主備不一致。最後給出了修復這些缺陷的方法。

MySQL字符集相關基礎知識介紹

character_set_system

character_set_system為元資料的字符集，即所有的元資料都使用同一個字符集。試想如果元資料採用不同字符集，INFORMATION_SCHEMA中的相關資訊在不同行之間就很難展示。同時該字符集要能夠支援多種語言，方便不同語言人群使用自己的語言命名database、table、column。MySQL選擇UTF-8作為元資料編碼，用原始碼固定。

sql/mysqld.cc
int mysqld_main(int argc, char **argv)
{
  ...
  system_charset_info= &my_charset_utf8_general_ci;
}
> select @@global.character_set_system;
+-------------------------------+
| @@global.character_set_system |
+-------------------------------+
| utf8                          |
+-------------------------------+

MySQL會將identifier轉換為system_charset_info(utf8)。

sql/sql_lex.cc
static int lex_one_token(YYSTYPE *yylval, THD *thd)
{
 case MY_LEX_IDENT:
   ...
 lip->body_utf8_append_literal
   ...
}

void Lex_input_stream::body_utf8_append_literal(THD *thd,
                                                const LEX_STRING *txt,
                                                const CHARSET_INFO *txt_cs,
                                                const char *end_ptr)
{
  ...
 

  if (!my_charset_same(txt_cs, &my_charset_utf8_general_ci))
  {
    hd->convert_string(&utf_txt,
                       &my_charset_utf8_general_ci,
                       txt->str, txt->length,
                       txt_cs);
  }
  else
  {
    utf_txt.str= txt->str;
    utf_txt.length= txt->length;
  }
  ...
}

sql/sql_yacc.yy

IDENT_sys:
IDENT { $$= $1; }
| IDENT_QUOTED
{
  THD *thd= YYTHD;

  if (thd->charset_is_system_charset)
  {
    ...
  }
  else
  {
    if (thd->convert_string(&$$, system_charset_info,
                        $1.str, $1.length, thd->charset()))
      MYSQL_YYABORT;
  }
}
;

character_set_server/collation_server

當create database沒有指定charset/collation就會用character_set_server/collation_server，這兩個變數可以動態設定，有session/global級別。

在原始碼中character_set_server/collation_server實際對應一個變數，因為一個collation對應著一個charset，所以原始碼中只記錄CHARSET_INFO結構的collation_server即可。當修改character_set_server，會選擇對應charset的預設collation。對於其他同時有charset和collation的變數，原始碼記錄也都是記錄collation。

static Sys_var_struct Sys_character_set_server(
       "character_set_server", "The default character set",
       SESSION_VAR(collation_server), NO_CMD_LINE,
       offsetof(CHARSET_INFO, csname), DEFAULT(&default_charset_info),
       NO_MUTEX_GUARD, IN_BINLOG, ON_CHECK(check_charset_not_null));

static Sys_var_struct Sys_collation_server(
       "collation_server", "The server default collation",
       SESSION_VAR(collation_server), NO_CMD_LINE,
       offsetof(CHARSET_INFO, name), DEFAULT(&default_charset_info),
       NO_MUTEX_GUARD, IN_BINLOG, ON_CHECK(check_collation_not_null));

通過下面case可以看到通過設定session中不同的character_set_server使建立database的預設charset和collation不同。

> set character_set_server='utf8';

> create database cs_test1;

> select * from SCHEMATA where SCHEMA_NAME='cs_test1';
+--------------+-------------+----------------------------+------------------------+----------+
| CATALOG_NAME | SCHEMA_NAME | DEFAULT_CHARACTER_SET_NAME | DEFAULT_COLLATION_NAME | SQL_PATH |
+--------------+-------------+----------------------------+------------------------+----------+
| def          | cs_test1    | utf8                       | utf8_general_ci        | NULL     |
+--------------+-------------+----------------------------+------------------------+----------+

> set character_set_server='latin1';

> create database cs_test2;

> select * from SCHEMATA where SCHEMA_NAME='cs_test2';
+--------------+-------------+----------------------------+------------------------+----------+
| CATALOG_NAME | SCHEMA_NAME | DEFAULT_CHARACTER_SET_NAME | DEFAULT_COLLATION_NAME | SQL_PATH |
+--------------+-------------+----------------------------+------------------------+----------+
| def          | cs_test2    | latin1                     | latin1_swedish_ci      | NULL     |
+--------------+-------------+----------------------------+------------------------+----------+

character_set_database/collation_database

該變數值session級別表示當前database的charset/collation，在後面的原始碼版本中該變數可能修正為只讀，不建議修改該值。其global級別變數後面也會移除。

> use cs_test1;

> select @@character_set_database;
+--------------------------+
| @@character_set_database |
+--------------------------+
| utf8                     |
+--------------------------+

> use cs_test2;

> select @@character_set_database;
+--------------------------+
| @@character_set_database |
+--------------------------+
| latin1                   |
+--------------------------+

character_set_client

客戶端傳送到server的字串使用的字符集，server會按照該變數值來解析客戶端發來的語句。如果指定值和語句實際編碼字符集不符就會解析出錯，報語法錯誤或者得到非預期結果，例如下面的兩個case。

case1:實際使用utf8編碼且包含中文字元，但設定character_set_client為latin1。

> set character_set_client='latin1';

> create table 字符集(c1 varchar(10));
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '­—符集(c1 varchar(10))' at line 1

> set character_set_client='utf8';

> create table 字符集(c1 varchar(10));
Query OK, 0 rows affected (0.14 sec)


case2:實際使用utf8編碼且包含中文字元，但設定character_set_client為gbk。

> create database cs_test;

> use cs_test;

> set character_set_client='gbk';

> create table 收費(c1 varchar(10));

> show tables;
+-------------------+
| Tables_in_cs_test |
+-------------------+
| 鏀惰垂            |
+-------------------+

> set character_set_client='utf8';

> create table 收費(c1 varchar(10));

> show tables;
+-------------------+
| Tables_in_cs_test |
+-------------------+
| 收費              |
| 鏀惰垂            |
+-------------------+
2 rows in set (0.00 sec)

character_set_connection/collation_connection

沒有指定字符集的常量字串使用時的字符集，例如下面兩個case。

case1中一個設定為utf8_general_ci比較時候忽略大小寫，導致’a’=’A’結果為1，如果設定為utf8_bin不忽略大小寫，’a’ = ‘A’的結果就是0。

case2中當設定character_set_connection為’latin1’的時候，’你好’ = ‘我好’返回結果為1，如果設定為’utf8’，返回結果就是0。設定為’latin1’返回結果為1的原因是utf8編碼的utf8字元是無法轉換為latin1字元的。這裡MySQL就把’你好’和’我好’都轉換成了’??’。

case3中character_set_connection的不同導致create table語句中column的實際default value不同。

case1:設定collation_connection是否忽略大小寫導致結果不一致。

> set collation_connection=utf8_general_ci;

> select 'a' = 'A';
+-----------+
| 'a' = 'A' |
+-----------+
|         1 |
+-----------+

> set collation_connection=utf8_bin;

> select 'a' = 'A';
+-----------+
| 'a' = 'A' |
+-----------+
|         0 |
+-----------+

case2:設定character_set_connection不同導致結果不一致。

> set character_set_connection='latin1';
Query OK, 0 rows affected (0.00 sec)

> select '你好' = '我好';
+---------------------+
| '你好' = '我好'     |
+---------------------+
|                   1 |
+---------------------+
1 row in set, 2 warnings (0.00 sec)

> set character_set_connection='utf8';
Query OK, 0 rows affected (0.00 sec)

> select '你好' = '我好';
+---------------------+
| '你好' = '我好'     |
+---------------------+
|                   0 |
+---------------------+


> set character_set_connection='latin1';


> select '你好';
+----+
| ?? |
+----+
| ?? |
+----+

case3:設定character_set_connection導致實際default value不同。

> set character_set_connection='utf8';

> create table cs_t(c1 varchar(10) default '你好')charset=utf8;

> insert into cs_t values();

> select * from cs_t;
+--------+
| c1     |
+--------+
| 你好   |
+--------+

> set character_set_connection='latin1';

> create table cs_t1(c1 varchar(10) default '你好')charset=utf8;

> insert into cs_t1 values();

> select * from cs_t1;
+------+
| c1   |
+------+
| ??   |
+------+

character_set_results

查詢結果和錯誤資訊的字符集，server會把返回給客戶端的結果轉換為對應字符集。例如下面case，當設定character_set_results為’latin1’的時候，會導致返回的中文變成’?’。

> set character_set_results='utf8';

> select '你好';
+--------+
| 你好   |
+--------+
| 你好   |
+--------+

> set character_set_results='latin1';

> select '你好';
+----+
| ?? |
+----+
| ?? |
+----+

> create table cs_test(c1 varchar(10)) charset=utf8;

> insert into cs_test values('你好'),('我好');

> select * from cs_test;
+------+
| c1   |
+------+
| ??   |
| ??   |
+------+


> set character_set_results='utf8';


> select * from cs_test;
+--------+
| c1     |
+--------+
| 你好   |
| 我好   |
+--------+

binlog 中字符集相關缺陷

binlog當前字符集相關實現

對於很多DDL語句，binlog都是直接記錄客戶端發來的字串，對於這些語句只要記錄語句執行時候的環境變數就可以在備庫正確執行。binlog中Query_log_event記錄了character_set_client、collation_connection和collation_server，程式碼如下。記錄這三個變數的原因讀者可以參考前面各個變數的介紹case。

int THD::binlog_query(THD::enum_binlog_query_type qtype, const char *query_arg,
                      size_t query_len, bool is_trans, bool direct,
                      bool suppress_use, int errcode)
{
  ...
  case THD::STMT_QUERY_TYPE:
  /*
    The MYSQL_BIN_LOG::write() function will set the STMT_END_F flag and
    flush the pending rows event if necessary.
  */
  {
    Query_log_event qinfo(this, query_arg, query_len, is_trans, direct,
                          suppress_use, errcode);
    /*
      Binlog table maps will be irrelevant after a Query_log_event
      (they are just removed on the slave side) so after the query
      log event is written to the binary log, we pretend that no
      table maps were written.
     */
    int error= mysql_bin_log.write_event(&qinfo);
    binlog_table_maps= 0;
    DBUG_RETURN(error);
  }
  ...
}

Query_log_event::Query_log_event(THD* thd_arg, const char* query_arg,
         size_t query_length, bool using_trans,
         bool immediate, bool suppress_use,
                                 int errcode, bool ignore_cmd_internals)
{
  ...
  int2store(charset, thd_arg->variables.character_set_client->number);
  int2store(charset+2, thd_arg->variables.collation_connection->number);
  int2store(charset+4, thd_arg->variables.collation_server->number);
  ...
}

例如前面建立表cs_t1的case我們可以看到binlog如下。

> set character_set_connection='latin1';
> create table cs_t1(c1 varchar(10) default '你好')charset=utf8;

SET TIMESTAMP=1516089074/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=8,@@session.collation_server=8/*!*/;
create table cs_t1(c1 varchar(10) default '你好')charset=utf8

binlog字符集相關缺陷

對於Query_log_event如果記錄的query僅僅是客戶端的輸入，上面記錄字符集變數的方法沒有問題。但如果query是server內部生成或者拼接成的，上面直接從thread中獲取變數值得方法就可能存在問題。

例如下面的testcase，這裡為便於觀察和理解case沒有使用mysql-test方式，後面有mysql-test。這裡主庫執行成功，成功建立了表t和檢視’收費明細表’，但備庫在建立檢視的時候卻報語法錯誤。

用gbk編碼寫如下sql文字
cs_test.sql

use test;
set @@session.character_set_client=gbk;
set @@session.collation_connection=gbk_chinese_ci;
create table t(c1 int);
create view `收費明細表` as select * from t;

在主庫執行
> source path/cs_test.sql;

> set character_set_results='gbk';

> use test;

> show tables;
+----------------+
| Tables_in_test |
+----------------+
| 收費明細表             |
| t              |
+----------------+

備庫

> show slave status\G
...
Last_SQL_Errno: 1064
Last_SQL_Error: Error 'You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '`閺鎯板瀭閺勫海綺忕悰鈺? AS select * from t' at line 1' on query. Default database: 'test'. Query: 'CREATE ALGORITHM=UNDEFINED DEFINER=`root`@`localhost` SQL SECURITY DEFINER VIEW `鏀惰垂鏄庣粏琛╜ AS select * from t'
...

缺陷分析，MySQL記錄create view的binlog程式碼如下。由前面基礎知識可以知道對於db、table這些元資料MySQL會先轉換為system_charset_info(utf8)。因此在下面程式碼中append_identifier新增的db name、table name均為utf8編碼的’收費明細表’，但是views->source.str又是client端原始的gbk編碼方式，binlog_query記錄的是thd中的character_set_client。即binlog中的query可能是由system_charset_info和character_set_client兩種編碼方式組成的字串。

sql/sql_view.cc
bool mysql_create_view(THD *thd, TABLE_LIST *views,
                       enum_view_create_mode mode)
{
  ...
  if (views->db && views->db[0] &&
    (thd->db().str == NULL || strcmp(views->db, thd->db().str)))
  {
    append_identifier(thd, &buff, views->db,
                      views->db_length);
                      buff.append('.');
  }
  append_identifier(thd, &buff, views->table_name,
                    views->table_name_length);
  if (lex->view_list.elements)
  {
    List_iterator_fast<LEX_STRING> names(lex->view_list);
    LEX_STRING *name;
    int i;

    for (i= 0; (name= names++); i++)
    {
      buff.append(i ? ", " : "(");
      append_identifier(thd, &buff, name->str, name->length);
    }
    buff.append(')');
  }
  buff.append(STRING_WITH_LEN(" AS "));
  buff.append(views->source.str, views->source.length);

  int errcode= query_error_code(thd, TRUE);
  thd->add_to_binlog_accessed_dbs(views->db);
  if (thd->binlog_query(THD::STMT_QUERY_TYPE,
                        buff.ptr(), buff.length(), FALSE, FALSE, FALSE, errcode))
    res= TRUE;
  ...
}

在MySQL原始碼中搜索binlog_query還可以找到多處類似的bug，見後面的testcase。

--disable_warnings
--source include/master-slave.inc
--enable_warnings

# case1:建立gbk編碼中文名檢視

create table t(c1 int);
SET @@session.character_set_client=gbk;
set @@session.collation_connection=gbk_chinese_ci;
set @@session.collation_server=utf8_general_ci;
create view `收費明細` as select * from t;
drop view `收費明細`;
show tables;

--sync_slave_with_master

connection slave;
show tables;


connection master;
drop table t;

# case2:建立gbk編碼中文名檢視，且view body中包含中文
connection master;
SET @@session.character_set_client=gbk;
create table 檢視(c1 int);
create view 檢視資訊 as select * from 檢視;
drop view 檢視資訊;
# case3: drop table 語句會是generated by server.
drop table 檢視;
--sync_slave_with_master

# case4:記憶體表，重啟後再次訪問時會生成delete from tableName語句.
connection master;
SET @@session.character_set_client=utf8;
set @@session.collation_connection=utf8_general_ci;
set @@session.collation_server=utf8_general_ci;
create table `收費明細表`(c1 int) engine=memory;
create view tv as select * from `收費明細表`;
--connection slave
-- source include/stop_slave.inc

--let $rpl_server_number= 1
--source include/rpl_restart_server.inc
# access memory table after restarting server cause binlog 'delete from tableName'
connection master;
SET @@session.character_set_client=gbk;
set @@session.collation_connection=gbk_chinese_ci;
set @@session.collation_server=utf8_general_ci;
select * from tv;



--connection slave
-- source include/start_slave.inc
connection master;
--sync_slave_with_master
connection slave;

# case5:中文名的procedure

# procedure with chinese when charset not utf.
connection master;
delimiter $$;
create procedure 收費明細()
begin
  select 'hello world';
end $$
delimiter ;$$
drop procedure `收費明細`;

connection master;
SET @@session.character_set_client=utf8;
set @@session.collation_connection=utf8_general_ci;
set @@session.collation_server=utf8_general_ci;
drop view tv;
drop table `收費明細表`;
--sync_slave_with_master

connection slave;
show tables;


# case6: create table like/as

set character_set_client = utf8;
set character_set_connection = utf8;
set character_set_database = utf8;
set character_set_results = utf8;
set character_set_server = utf8;

CREATE TABLE `t1` (
  `id` int(11) NOT NULL,
  `orderType` char(6) NOT NULL DEFAULT '已建立',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

create temporary table `tm` (c1 varchar(10) default '你好');

show create table t1;

## switch client charset
set character_set_client = latin1;
set character_set_connection = latin1;
set collation_server = utf8_bin;
CREATE TABLE t2 SELECT * FROM t1;
create table t3 like tm;
show create table t2;
show create table t3;

--sync_slave_with_master

connection slave;
show tables;
set character_set_client = utf8;
set character_set_connection = utf8;
set character_set_database = utf8;
set character_set_results = utf8;
set character_set_server = utf8;
show create table t1;
show create table t2;
show create table t3;

connection master;
drop table t1;
drop table t2;
drop table t3;

--sync_slave_with_master

--source include/rpl_end.inc

修復方法

對於create view/create procedure等一個query包含兩種編碼的可以將system_charset_info的部分轉換為thread中的character_set_client。這裡的轉換需要考慮character_set_client不支援utf8字元的問題，當轉換失敗需要報錯，否則主備會不一致。

對於完全由server生成的query:delete from和drop table語句，其query實際可以理解為system_charset_info，這種語句就可以直接使binlog記錄system_charset_info，而不是character_set_client。

該bug在MariaDB中也存在，可以見MDEV-14249，參考bug連結中的fix diff或者MariaDB的修復。

相關推薦

MySQL · 捉蟲動態 · MySQL字符集相關變數介紹及binlog中字符集相關缺陷分析

MySQL字符集相關變數介紹及binlog中字符集相關缺陷分析 MySQL支援多種字符集（character set）提供使用者儲存資料，同時允許用不同排序規則（collation）做比較。 本文基於MySQL5.7介紹了字符集相關變數的使用，通過例子描述了

對於SAP的月結相關流程介紹及操作講解

FI期末結帳流程包括應收帳款、應付帳款、固定資產、管理會計結帳、總帳結帳等一系列結帳過程，對於年結增加了餘額結轉及固定資產年度改變等動作，通過月結及年結處理，出具各種會計報表；  　　具體流程如下：  　　(1) 財務部門  　　 1 確定當月薪資已預提完畢 

Ripple結點和相關共識介紹及思考

1. RPCA概述目前，針對決拜占庭將軍問題，已經有幾種可行的解決方案，比如比特幣與以太坊採用的POW演算法，HyperLedger採用的PBFT演算法。然而，在這種分散式支付系統中，由於節點間需要同步溝通，導致共識效率比較低。在RPCA演算法中，為了降低這種同步溝通的成本，

取樣方法（二）MCMC相關演算法介紹及程式碼實現

0.引子 書接前文，在取樣方法（一）中我們講到了拒絕取樣、重要性取樣一系列的蒙特卡洛取樣方法，但這些方法在高維空間時都會遇到一些問題，因為很難找到非常合適的可採樣Q分佈，同時保證取樣效率以及精準度。 本文將會介紹取樣方法中最重要的一族演算法，MCMC（Mar

ArrayList相關方法介紹及原始碼分析

目錄 ArrayList簡介： ArrayList 相關方法介紹 程式碼表示 相關方法原始碼分析 ArrayList簡介：

MySQL創建子視圖並查看的時候，字符集報錯問題

charset com 命令 sql命令 技術 blog 命令行模式 .com img 進入命令行模式， 如果MySQL數據庫已經安裝好，可以使用下列SQL命令查看MySQL當前的字符集設置： mysql> show variables like ‘cha

MySQL 相關知識細節及解析

開始 細節 strong 相關 方式 新建 delet 使用 mysql 1，刪除表中所有記錄使用delete from 表名；還是用truncate table 表名 刪除方式：delete 一條一條刪除，不清空auto_increment記錄數

mysql 日誌文件mysql-bin文件清除方法，和mysql-bin相關文件的配置

設置 row exp ted 基本 安全 ret 保留 span 默認情況下mysql會一直保留mysql-bin文件，這樣到一定時候，磁盤可能會被撐滿，這時候是否可以刪除這些文件呢，是否可以安全刪除，是個問題。 首先要說明一下，這些文件都是mysql的日誌文件，如果不做主

mysql字符集和排序介紹

mysq 簡體 binary set 服務器 客服 result system nic 客服端字符集： character_set_client utf8mb4連接字符集： character_set_connection utf8mb4數據庫字符集： character_

mysql中字符集和排序規則說明

存儲 blog character 語言 general utf 比較 說明 target 數據庫需要適應各種語言和字符就需要支持不同的字符集（Character Set），每種字符集也有各自的排序規則（Collation）。 一.字符集 字符集，即用於定義字

mysql數據庫相關基礎與數據庫的相關操作

insert語句 gpo 規範 format dev clas 單獨使用 數據查詢 存儲 mysql是目前主流的數據庫管理系統之一，目前還是免費的。 數據庫的發展史，基本概念就不再贅述，總之數據庫就是存儲數據的倉庫，而我們所見到的所有其實都可以歸類成數據。 什麽是sql？

MYSQL 按時間動態查詢資料sql

在開發種使用時間動態查詢資料的需求很多，下面展示mysql的查詢方式： 對一個表種的一個時間欄位查詢： select * from mw_bill where YEAR(recharge_time)=2018 and MONTH(recharge_time)=09; recharge_t

MySQL中utf8字符集、排序規則及utf8mb4_bin列大小寫不敏感方法

轉載：https://my.oschina.net/u/1245414/blog/1831347 一、utf8mb4 和 utf8 比較 utf8mb4: A UTF-8 encoding of the Unicode character set using one to four

mysql 儲存過程動態sql

DROP PROCEDURE IF EXISTS PRO_STA_SYSTEM_ORDER_STATE; DELIMITER // CREATE DEFINER=`root`@`%` PROCEDURE `PRO_STA_SYSTEM_ORDER_STATE`(OUT O_RESULT_

踩坑經歷（六）MySQL之生成動態SQL語句

delimiter $$ drop procedure if exists test_tb; create procedure test_tb() begin #DECLARE t_error INTEGER DEFAULT 0; -- DECLARE u

MySQL修改表的預設字符集和修改表字段的預設字符集

修改表的預設字符集: ALTER TABLE table_name DEFAULT CHARACTER SET character_name; 修改表字段的預設字符集: ALTER TABLE table_name CHANGE field&n

阿里雲linux伺服器------第三章：配置php，mysql環境實現動態網站

在第二章中我們講述瞭如何配置靜態網站，接下來我們配置動態網站需要的環境 第一步：配置php環境，開啟putty連線到自己的伺服器執行以下命令   安裝php yum install php php-devel 重啟apache使php生效 y 安裝php的擴充套

docker mysql 檔案掛載和MySQL字符集設定

docker run -p 3306:3306 --name mysql -v /usr/local/mysql/my.cnf:/etc/mysql/my.cnf -v /usr/local/mysql/logs:/logs -v /usr/local/mysql/data:

CentOS 7.x安裝MySQL 5.6的詳細步驟、基本配置及相關說明

MySQL安裝包內自帶了一個安裝指令碼，此處以mysql-5.6.42-linux-glibc2.12-x86_64.tar.gz為例。 這裡使用的作業系統為CentOS-7-x86_64-Minimal-1810，執行前需要安裝依賴： yum install perl autoco

Mysql中鎖相關解讀

        以下是個人對mysql資料庫中鎖相關的一些理解，其中如MVCC、next-key鎖等具體的解釋請搜尋相關資料。資料庫中的鎖並不能用於保證在併發情況下業務資料的安全，還是需要在程式中控制資