1. 程式人生 > 其它 >MySQL修改資料型別的問題總結(r10筆記第74天)

MySQL修改資料型別的問題總結(r10筆記第74天)

昨天快下班的時候,突然開發的同事找我說有個緊急需求,負責這個業務的DBA同事回家了,想讓我幫忙看看,執行個SQL語句,幾秒鐘就好。我一聽,就本著人道主義的精神留下來處理,但是發現似乎留給我的是一個大坑。 瞭解了問題之後,讓我有些後背發涼,這個表根據開發同事反饋有20億的資料,這得多大的一個表啊,當前的問題是這個表裡的主鍵id資料型別是int,因為資料型別的限制已經達到了最大值,現在插入不了資料了。希望我幫忙處理一下,把資料型別修改為bigint. 我們簡單來了解一下MySQL的資料型別。 對於資料型別有下面的一些總結,更詳細可以參見之前寫的一篇。MySQL資料型別(r3筆記第87天)

所以現在的int資料型別已經達到了最大值2 147 483 647。 修改資料型別,擴充套件一般是可行的,但是這個環境MySQL版本還比較低,所以pt-osc的工具是別想了,而且20億的資料就算處理也得耗上不少的時間。 簡答瞭解了下問題,我一直糾結這個修改資料型別的操作影響時長。 20億的資料做這樣的操作,想必經歷的人也不會太多,偏偏當了友情支援,我登入到指定的環境,仔細一看,這個表原來沒有20億的資料,只是id遞增到了20億的級別,表裡有幾百萬的資料,對應的資料檔案看有500M左右,所以這個問題讓我懸著的心終於踏實了一些。

# ll -h activity_actor_info_log*
-rw-rw---- 1 mysql mysql 8.7K Sep 29  2014 activity_actor_info_log.frm
-rw-rw---- 1 mysql mysql 560M Nov  4 19:05 activity_actor_info_log.ibd這個修改資料型別的操作持續了大概1分多鐘就結束了。

提供的語句如下:

> ALTER TABLE activity_actor_info_log modify id  BIGINT;
Query OK, 3144626 rows affected (1 min 22.64 sec)
Records: 3144626  Duplicates: 0  Warnings: 0

檢視執行緒的情況,可以看到存在這麼一個copy to tmp table的操作,證明在後臺重建表資料。

修改完成之後檢視,發現有個地方不對勁,怎麼沒有了auto_increment的屬性。

> show create table activity_dj_actor_info_logG
*************************** 1. row ***************************
       Table: activity_dj_actor_info_log
Create Table: CREATE TABLE `activity_dj_actor_info_log` (
  `id` bigint(20) NOT NULL DEFAULT '0',
  `cnMaster` varchar(50) NOT NULL,
。。。
  PRIMARY KEY (`id`),
  UNIQUE KEY `dss_cnMaster` (`cnMaster`,`serverId`,`guid`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1 row in set (0.00 sec)使用下面的方式修改,讓欄位id遞增,竟然丟擲了錯誤。
> ALTER TABLE activity_dj_actor_info_log modify id  BIGINT AUTO_INCREMENT;
ERROR 1062 (23000): ALTER TABLE causes auto_increment resequencing, resulting in duplicate entry '1' for key 'PRIMARY'

就是這個錯誤讓我糾結了半天。 而且稍後繼續嘗試,修改auto_increment的值,竟然沒有反應。

> ALTER TABLE activity_dj_actor_info_log AUTO_INCREMENT=2147483649;
Query OK, 3144627 rows affected (1 min 20.65 sec)
Records: 3144627  Duplicates: 0  Warnings: 0查看錶定義的情況:
> show create table activity_dj_actor_info_logG
*************************** 1. row ***************************
       Table: activity_dj_actor_info_log
Create Table: CREATE TABLE `activity_dj_actor_info_log` (
  `id` bigint(20) NOT NULL DEFAULT '0',
  `cnMaster` varchar(50) NOT NULL,
 。。。
  PRIMARY KEY (`id`),
  UNIQUE KEY `dss_cnMaster` (`cnMaster`,`serverId`,`guid`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8

這問題就很糾結了,修改成功,但是查看錶定義沒有生效,檢視資料字典裡的遞增序列值還是NULL,證明自增序列沒有生效。

> SELECT AUTO_INCREMENT FROM information_schema.tables WHERE table_name="activity_dj_actor_info_log";
+----------------+
| AUTO_INCREMENT |
+----------------+
|           NULL |
+----------------+
2 rows in set (0.00 sec)在經過幾次嘗試之後,最後是採用下面的方式才修復了這個問題。
> alter table `activity_dj_actor_info_log` change `id` `id` bigint  
NOT NULL AUTO_INCREMENT , drop primary key,add primary key(id);
ERROR 1062 (23000): ALTER TABLE causes auto_increment resequencing, resulting in duplicate entry '1' for key 'PRIMARY'
> alter table `activity_dj_actor_info_log`  drop primary key;
Query OK, 3144627 rows affected (1 min 13.75 sec)
Records: 3144627  Duplicates: 0  Warnings: 0

> alter table `activity_dj_actor_info_log` change `id` `id` bigint  NOT NULL AUTO_INCREMENT , add primary key(id);
Query OK, 3144627 rows affected (1 min 32.32 sec)
Records: 3144627  Duplicates: 0  Warnings: 0

而修復之後,再次檢視auto_increment就沒有問題了。

> show create table activity_dj_actor_info_logG
*************************** 1. row ***************************
       Table: activity_dj_actor_info_log
Create Table: CREATE TABLE `activity_dj_actor_info_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `cnMaster` varchar(50) NOT NULL,
  。。。
  PRIMARY KEY (`id`),
  UNIQUE KEY `dss_cnMaster` (`cnMaster`,`serverId`,`guid`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2150192178 DEFAULT CHARSET=utf8和開發的同事簡單溝通之後,沒過一會檢視就發現數值是遞增了。
> select max(id) from activity_dj_actor_info_log;
+------------+
| max(id)    |
+------------+
| 2150195418 |
+------------+

而對於這個問題,自己也簡單總結了下,其實最開始處理的時候就不嚴謹,導致了後面的不斷修復,如果一步到位就不會有這麼多的麻煩了。 所以在本地有簡單測試了下。

CREATE TABLE `activity_dj_actor_info_log` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `cnMaster` varchar(50) NOT NULL,
。。。
  PRIMARY KEY (`id`),
  UNIQUE KEY `dss_cnMaster` (`cnMaster`,`serverId`,`guid`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2147483647 DEFAULT CHARSET=utf8;插入一部分測試資料。
> insert into activity_dj_actor_info_log select *from activity_log.activity_dj_actor_info_log limit 1,1000;
Query OK, 1000 rows affected (0.07 sec)
Records: 1000  Duplicates: 0  Warnings: 0修改表字段資料型別
> alter table activity_dj_actor_info_log modify  `id` bigint  NOT NULL AUTO_INCREMENT;
Query OK, 1000 rows affected (0.43 sec)
Records: 1000  Duplicates: 0  Warnings: 0再次檢視遞增序列就修改完善了。
> show create table activity_dj_actor_info_log;
| Table                      | Create Table       
| activity_dj_actor_info_log | CREATE TABLE `activity_dj_actor_info_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `cnMaster` varchar(50) NOT NULL,
  。。。
  PRIMARY KEY (`id`),
  UNIQUE KEY `dss_cnMaster` (`cnMaster`,`serverId`,`guid`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=2147483647 DEFAULT CHARSET=utf8 
1 row in set (0.00 sec)在這一點上,Oracle的處理和MySQL還是存在一些區別,還是需要嚴格區別對待。