2. 程式人生 > >MySQL 上億大表優化實踐

MySQL 上億大表優化實踐

阿新 • • 發佈：2019-05-08
原則 優化 順序 lock slave inno -c slow 其它

目錄

  • 背景
  • 分析
    • select xxx_record語句
    • delete xxx_record語句
  • 測試
  • 實施
  • 索引優化後
  • delete大表優化為小批量刪除
  • 總結

背景

XX實例（一主一從）xxx告警中每天淩晨在報SLA報警，該報警的意思是存在一定的主從延遲（若在此時發生主從切換，需要長時間才可以完成切換，要追延遲來保證主從數據的一致性）

XX實例的慢查詢數量最多（執行時間超過1s的sql會被記錄），XX應用那方每天晚上在做刪除一個月前數據的任務

分析

使用pt-query-digest工具分析最近一周的mysql-slow.log
pt-query-digest --since=148h mysql-slow.log | less
結果第一部分
技術分享圖片

最近一個星期內，總共記錄的慢查詢執行花費時間為25403s，最大的慢sql執行時間為266s，平均每個慢sql執行時間5s，平均掃描的行數為1766萬

結果第二部分
技術分享圖片

select arrival_record操作記錄的慢查詢數量最多有4萬多次，平均響應時間為4s，delete arrival_record記錄了6次，平均響應時間258s

select xxx_record語句

select arrival_record 慢查詢語句都類似於如下所示，where語句中的參數字段是一樣的，傳入的參數值不一樣

select count(*) from arrival_record where product_id=26 and receive_time between ‘2019-03-25 14:00:00‘ and ‘2019-03-25 15:00:00‘ and receive_spend_ms>=0\G

技術分享圖片
select arrival_record 語句在mysql中最多掃描的行數為5600萬、平均掃描的行數為172萬，推斷由於掃描的行數多導致的執行時間長

查看執行計劃

explain select count() from arrival_record where product_id=26 and receive_time between ‘2019-03-25 14:00:00‘ and ‘2019-03-25 15:00:00‘ and receive_spend_ms>=0\G;

************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: arrival_record
partitions: NULL
type: ref
possible_keys: IXFK_arrival_record
key: IXFK_arrival_record
key_len: 8
ref: const
rows: 32261320
filtered: 3.70
Extra: Using index condition; Using where
1 row in set, 1 warning (0.00 sec)

用到了索引IXFK_arrival_record，但預計掃描的行數很多有3000多w行

show index from arrival_record;
+----------------+------------+---------------------+--------------+--------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |
+----------------+------------+---------------------+--------------+--------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| arrival_record | 0 | PRIMARY | 1 | id | A | 107990720 | NULL | NULL | | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 1 | product_id | A | 1344 | NULL | NULL | | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 2 | station_no | A | 22161 | NULL | NULL | YES | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 3 | sequence | A | 77233384 | NULL | NULL | | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 4 | receive_time | A | 65854652 | NULL | NULL | YES | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 5 | arrival_time | A | 73861904 | NULL | NULL | YES | BTREE | | |
+----------------+------------+---------------------+--------------+--------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

show create table arrival_record;
..........
arrival_spend_ms bigint(20) DEFAULT NULL,
total_spend_ms bigint(20) DEFAULT NULL,
PRIMARY KEY (id),
KEY IXFK_arrival_record (product_id,station_no,sequence,receive_time,arrival_time) USING BTREE,
CONSTRAINT FK_arrival_record_product FOREIGN KEY (product_id) REFERENCES product (id) ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB AUTO_INCREMENT=614538979 DEFAULT CHARSET=utf8 COLLATE=utf8_bin |
---

  • 該表總記錄數約1億多條，表上只有一個復合索引，product_id字段基數很小，選擇性不好
  • 傳入的過濾條件 where product_id=26 and receive_time between ‘2019-03-25 14:00:00‘ and ‘2019-03-25 15:00:00‘ and receive_spend_ms>=0 沒有station_nu字段，使用不到復合索引 IXFK_arrival_record的 product_id,station_no,sequence,receive_time 這幾個字段
  • 根據最左前綴原則，select arrival_record只用到了復合索引IXFK_arrival_record的第一個字段product_id，而該字段選擇性很差，導致掃描的行數很多，執行時間長
  • receive_time字段的基數大，選擇性好，可對該字段單獨建立索引，select arrival_record sql就會使用到該索引

現在已經知道了在慢查詢中記錄的select arrival_record where語句傳入的參數字段有 product_id，receive_time，receive_spend_ms，還想知道對該表的訪問有沒有通過其它字段來過濾了？

神器tcpdump出場的時候到了

使用tcpdump抓包一段時間對該表的select語句

tcpdump -i bond0 -s 0 -l -w - dst port 3316 | strings | grep select | egrep -i 'arrival_record' >/tmp/select_arri.log

獲取select 語句中from 後面的where條件語句

IFS_OLD=$IFS
IFS=$'\n'
for i in `cat /tmp/select_arri.log `;do echo ${i#*'from'}; done | less
IFS=$IFS_OLD

arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=17 and arrivalrec0_.station_no=‘56742‘
arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=22 and arrivalrec0_.station_no=‘S7100‘
arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=24 and arrivalrec0_.station_no=‘V4631‘
arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=22 and arrivalrec0_.station_no=‘S9466‘
arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=24 and arrivalrec0_.station_no=‘V4205‘
arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=24 and arrivalrec0_.station_no=‘V4105‘
arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=24 and arrivalrec0_.station_no=‘V4506‘
arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=24 and arrivalrec0_.station_no=‘V4617‘
arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=22 and arrivalrec0_.station_no=‘S8356‘
arrival_record arrivalrec0_ where arrivalrec0_.sequence=‘2019-03-27 08:40‘ and arrivalrec0_.product_id=22 and arrivalrec0_.station_no=‘S8356‘

  • select 該表 where條件中有product_id,station_no,sequence字段，可以使用到復合索引IXFK_arrival_record的前三個字段
    ---

綜上所示，優化方法為，刪除復合索引IXFK_arrival_record，建立復合索引idx_sequence_station_no_product_id，並建立單獨索引indx_receive_time

delete xxx_record語句

技術分享圖片

該delete操作平均掃描行數為1.1億行，平均執行時間是262s

delete語句如下所示，每次記錄的慢查詢傳入的參數值不一樣

delete from arrival_record where receive_time < STR_TO_DATE(‘2019-02-23‘, ‘%Y-%m-%d‘)\G

執行計劃

explain select * from arrival_record where receive_time < STR_TO_DATE(‘2019-02-23‘, ‘%Y-%m-%d‘)\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: arrival_record
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 109501508
filtered: 33.33
Extra: Using where
1 row in set, 1 warning (0.00 sec)

  • 該delete語句沒有使用索引（沒有合適的索引可用），走的全表掃描，導致執行時間長
  • 優化方法也是 建立單獨索引indx_receive_time(receive_time)

測試

拷貝arrival_record表到測試實例上進行刪除重新索引操作
XX實例arrival_record表信息

du -sh /datas/mysql/data/3316/cq_new_cimiss/arrival_record*
12K /datas/mysql/data/3316/cq_new_cimiss/arrival_record.frm
48G /datas/mysql/data/3316/cq_new_cimiss/arrival_record.ibd

select count() from cq_new_cimiss.arrival_record;
+-----------+
| count() |
+-----------+
| 112294946 |
+-----------+
1億多記錄數

SELECT
table_name,
CONCAT(FORMAT(SUM(data_length) / 1024 / 1024,2),‘M‘) AS dbdata_size,
CONCAT(FORMAT(SUM(index_length) / 1024 / 1024,2),‘M‘) AS dbindex_size,
CONCAT(FORMAT(SUM(data_length + index_length) / 1024 / 1024 / 1024,2),‘G‘) AS table_size(G),
AVG_ROW_LENGTH,table_rows,update_time
FROM
information_schema.tables
WHERE table_schema = ‘cq_new_cimiss‘ and table_name=‘arrival_record‘;

+----------------+-------------+--------------+------------+----------------+------------+---------------------+
| table_name | dbdata_size | dbindex_size | table_size(G) | AVG_ROW_LENGTH | table_rows | update_time |
+----------------+-------------+--------------+------------+----------------+------------+---------------------+
| arrival_record | 18,268.02M | 13,868.05M | 31.38G | 175 | 109155053 | 2019-03-26 12:40:17 |
+----------------+-------------+--------------+------------+----------------+------------+---------------------+

磁盤占用空間48G，mysql中該表大小為31G，存在17G左右的碎片，大多由於刪除操作造成的（記錄被刪除了，空間沒有回收)

備份還原該表到新的實例中，刪除原來的復合索引，重新添加索引進行測試

mydumper並行壓縮備份

 user=root
  passwd=xxxx
 socket=/datas/mysql/data/3316/mysqld.sock
 db=cq_new_cimiss
 table_name=arrival_record
 backupdir=/datas/dump_$table_name
 mkdir -p $backupdir
 
   nohup echo `date +%T` && mydumper -u $user -p $passwd -S $socket  -B $db -c  -T $table_name  -o $backupdir  -t 32 -r 2000000 && echo `date +%T` &

並行壓縮備份所花時間（52s）和占用空間（1.2G，實際該表占用磁盤空間為48G，mydumper並行壓縮備份壓縮比相當高！）

Started dump at: 2019-03-26 12:46:04
........

Finished dump at: 2019-03-26 12:46:56

du -sh   /datas/dump_arrival_record/
1.2G    /datas/dump_arrival_record/

拷貝dump數據到測試節點
scp -rp /datas/dump_arrival_record [email protected]:/datas

多線程導入數據

time myloader -u root -S /datas/mysql/data/3308/mysqld.sock -P 3308 -p root -B test -d /datas/dump_arrival_record -t 32

real 126m42.885s
user 1m4.543s
sys 0m4.267s

邏輯導入該表後磁盤占用空間

du -h -d 1 /datas/mysql/data/3308/test/arrival_record.
12K /datas/mysql/data/3308/test/arrival_record.frm
30G /datas/mysql/data/3308/test/arrival_record.ibd
沒有碎片，和mysql的該表的大小一致*

cp -rp /datas/mysql/data/3308 /datas

分別使用online DDL和 pt-osc工具來做刪除重建索引操作
先刪除外鍵，不刪除外鍵，無法刪除復合索引，外鍵列屬於復合索引中第一列

nohup bash /tmp/ddl_index.sh &
2019-04-04-10:41:39 begin stop mysqld_3308
2019-04-04-10:41:41 begin rm -rf datadir and cp -rp datadir_bak
2019-04-04-10:46:53 start mysqld_3308
2019-04-04-10:46:59 online ddl begin
2019-04-04-11:20:34 onlie ddl stop
2019-04-04-11:20:34 begin stop mysqld_3308
2019-04-04-11:20:36 begin rm -rf datadir and cp -rp datadir_bak
2019-04-04-11:22:48 start mysqld_3308
2019-04-04-11:22:53 pt-osc begin
2019-04-04-12:19:15 pt-osc stop
online ddl 花費時間為34 分鐘，pt-osc花費時間為57 分鐘，使用onlne ddl時間約為pt-osc工具時間的一半

做DDL 參考
技術分享圖片

實施

由於是一主一從實例，應用是連接的vip，刪除重建索引采用online ddl來做。停止主從復制後，先在從實例上做（不記錄binlog），主從切換，再在新切換的從實例上做（不記錄binlog)

function red_echo () {

        local what="$*"
        echo -e "$(date +%F-%T)  ${what}"
}

function check_las_comm(){
    if [ "$1" != "0" ];then
        red_echo "$2"
        echo "exit 1"
        exit 1
    fi
}

red_echo "stop slave"
mysql -uroot -p$passwd --socket=/datas/mysql/data/${port}/mysqld.sock -e"stop slave"
check_las_comm "$?" "stop slave failed"

red_echo "online ddl begin"
 mysql -uroot -p$passwd --socket=/datas/mysql/data/${port}/mysqld.sock -e"set sql_log_bin=0;select now() as  ddl_start;ALTER TABLE $db_.\`${table_name}\` DROP FOREIGN KEY FK_arrival_record_product,drop index IXFK_arrival_record,add index idx_product_id_sequence_station_no(product_id,sequence,station_no),add index idx_receive_time(receive_time);select now() as ddl_stop" >>${log_file} 2>& 1
 red_echo "onlie ddl stop"
 red_echo "add foreign key"
 mysql -uroot -p$passwd --socket=/datas/mysql/data/${port}/mysqld.sock -e"set sql_log_bin=0;ALTER TABLE $db_.${table_name} ADD CONSTRAINT _FK_${table_name}_product FOREIGN KEY (product_id) REFERENCES cq_new_cimiss.product (id) ON DELETE NO ACTION ON UPDATE NO ACTION;" >>${log_file} 2>& 1
 check_las_comm "$?" "add foreign key error"
 red_echo "add foreign key stop"

red_echo "start slave"
mysql -uroot -p$passwd --socket=/datas/mysql/data/${port}/mysqld.sock -e"start slave"
check_las_comm "$?" "start slave failed"

執行時間

2019-04-08-11:17:36 stop slave
mysql: [Warning] Using a password on the command line interface can be insecure.
ddl_start
2019-04-08 11:17:36
ddl_stop
2019-04-08 11:45:13
2019-04-08-11:45:13 onlie ddl stop
2019-04-08-11:45:13 add foreign key
mysql: [Warning] Using a password on the command line interface can be insecure.
2019-04-08-12:33:48 add foreign key stop
2019-04-08-12:33:48 start slave
刪除重建索引花費時間為28分鐘，添加外鍵約束時間為48分鐘

再次查看delete 和select語句的執行計劃

explain select count() from arrival_record where receive_time < STR_TO_DATE(‘2019-03-10‘, ‘%Y-%m-%d‘)\G
************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: arrival_record
partitions: NULL
type: range
possible_keys: idx_receive_time
key: idx_receive_time
key_len: 6
ref: NULL
rows: 7540948
filtered: 100.00
Extra: Using where; Using index

explain select count() from arrival_record where product_id=26 and receive_time between ‘2019-03-25 14:00:00‘ and ‘2019-03-25 15:00:00‘ and receive_spend_ms>=0\G;
************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: arrival_record
partitions: NULL
type: range
possible_keys: idx_product_id_sequence_station_no,idx_receive_time
key: idx_receive_time
key_len: 6
ref: NULL
rows: 291448
filtered: 16.66
Extra: Using index condition; Using where
都使用到了idx_receive_time 索引，掃描的行數大大降低

索引優化後

delete 還是花費了77s時間

delete from arrival_record where receive_time < STR_TO_DATE('2019-03-10', '%Y-%m-%d')\G

技術分享圖片

delete 語句通過receive_time的索引刪除300多萬的記錄花費77s時間*

delete大表優化為小批量刪除

應用端已優化成每次刪除10分鐘的數據（每次執行時間1s左右），xxx中沒在出現SLA（主從延遲告警）
技術分享圖片

另一個方法是通過主鍵的順序每次刪除20000條記錄

#得到滿足時間條件的最大主鍵ID
#通過按照主鍵的順序去 順序掃描小批量刪除數據
#先執行一次以下語句
 SELECT MAX(id) INTO @need_delete_max_id FROM `arrival_record` WHERE receive_time<'2019-03-01' ;
 DELETE FROM arrival_record WHERE id<@need_delete_max_id LIMIT 20000;
 select ROW_COUNT();  #返回20000


#執行小批量delete後會返回row_count(), 刪除的行數
#程序判斷返回的row_count()是否為0，不為0執行以下循環，為0退出循環，刪除操作完成
 DELETE FROM arrival_record WHERE id<@need_delete_max_id LIMIT 20000;
 select ROW_COUNT();
#程序睡眠0.5s

總結

  • 表數據量太大時，除了關註訪問該表的響應時間外，還要關註對該表的維護成本（如做DDL表更時間太長，delete歷史數據）
  • 對大表進行DDL操作時，要考慮表的實際情況（如對該表的並發表，是否有外鍵）來選擇合適的DDL變更方式
  • 對大數據量表進行delete，用小批量刪除的方式，減少對主實例的壓力和主從延遲

MySQL 上億大表優化實踐

相關推薦

MySQL 上億大表優化實踐

原則 優化 順序 lock slave inno -c slow 其它 目錄 背景 分析 select xxx_record語句 delete xxx_record語句

Mysql千萬級大表優化

數據庫服務 時間段 系統 時也 導致 slave 如何 1.5 傳統 Mysql的單張表的最大數據存儲量尚沒有定論，一般情況下mysql單表記錄超過千萬以後性能會變得很差。因此，總結一些相關的Mysql千萬級大表的優化策略。 1.優化sql以及索引 1.1優化sql

MySQL千萬級大表優化解決方案

MySQL千萬級大表優化解決方案 非原創，純屬記錄一下。 背景 無意間看到了這篇文章，作者寫的很棒，於是乎，本人自私一把，把乾貨儲存下來。:-) 問題概述 使用阿里雲rds for MySQL資料庫（就是MySQL5.6版本），有個使用者上網記錄表6個月的資料量近2000萬，保留最近一年的資料量達到

Mysql千萬級大表優化策略

sid 屬於 基於 卡住 行數 arch 行數據 power 基本原理 1.優化sql以及索引 1.1優化sql 1、有索引但未被用到的情況（不建議） (1)避免like的參數以通配符開頭時 盡量避免Like的參數以通配符開頭，否則數據庫引擎會放棄使用索引而進

優秀後端架構師必會知識：史上最全MySQL大表優化方案總結

本文原作者“ manong”，原創發表於segmentfault，原文連結：segmentfault.com/a/1190000006158186 1、引言 MySQL作為開源技術的代表作之一，是網際網路得以廣泛流行的重要基礎技術之一。 國外 GitHub、Airbnb、Yelp、

MySQL大表優化方案

基於用戶 保存 優先 完成 優化方案 想要 存儲 addition 精確 MySQL大表優化方案 mysql 168 當MySQL單表記錄數過大時，增刪改查性能都會急劇下降，可以參考以下步驟

乾貨！！！MySQL 大表優化方案（1）

當MySQL單表記錄數過大時，增刪改查效能都會急劇下降，可以參考以下步驟來優化： 單表優化 除非單表資料未來會一直不斷上漲，否則不要一開始就考慮拆分，拆分會帶來邏輯、部署、運維的各種複雜度，一般以整型值為主的表在千萬級以下，字串為主的表在五百萬以下是沒有太大問題

MySQL 大表優化方案（長文）

當MySQL單表記錄數過大時，增刪改查效能都會急劇下降，可以參考以下步驟來優化：單表優化除非單表資料未來會一直不斷上漲，否則不要一開始就考慮拆分，拆分會帶來邏輯、部署、運維的各種複雜度，一般以整型值為主的表在千萬級以下，字串為主的表在五百萬以下是沒有太大問題的。而事實上很多時候MySQL單表的效能依然有不少優

MySQL 大表優化方案

當MySQL單表記錄數過大時，增刪改查效能都會急劇下降，可以參考以下步驟來優化： 單表優化 除非單表資料未來會一直不斷上漲，否則不要一開始就考慮拆分，拆分會帶來邏輯、部署、運維的各種複雜度，一般以整型值為主的表在千萬級以下，字串為主的表在五百萬以下

Sqoop分批匯入Mysql上億條資料的表到HDFS

因資料量過大，執行sqoop跑不動或者卡記憶體，於是通過寫指令碼分批匯入到HDFS，然後再載入到Hive表中。 shell指令碼如下： #!/bin/bash source /etc/profi

MySql 日常指導，及大表優化思路

當MySQL單表記錄數過大時，增刪改查效能都會急劇下降 單表優化 除非單表資料未來會一直不斷上漲，否則不要一開始就考慮拆分，拆分會帶來邏輯、部署、運維的各種複雜度，一般以整型值為主的表在千萬級以下，字串為主的表在五百萬以下是沒有太大問題的。 而事實上很多時候

詳解MySQL大表優化方案

單表優化 除非單表資料未來會一直不斷上漲，否則不要一開始就考慮拆分，拆分會帶來邏輯、部署、運維的各種複雜度，一般以整型值為主的表在千萬級以下，字串為主的表在五百萬以下是沒有太大問題的。而事實上很多時候MySQL單表的效能依然有不少優化空間，甚至能正常支撐千萬級以上的資料量：

記錄一次MySQL兩千萬資料的大表優化解決過程，提供三種解決方案

問題概述 使用阿里雲rds for MySQL資料庫（就是MySQL5.6版本

Mysql遍歷大表（Mysql大量資料讀取記憶體溢位的解決方法）

mysql jdbc預設把select的所有結果全部取回，放到記憶體中，如果是要遍歷很大的表，則可能把記憶體撐爆。 一種辦法是：用limit，offset，但這樣你會發現取資料的越來越慢，原因是設定了offset，mysql需要將讀取位置移動到offset的位置，隨著offset增大，取資料也越來越慢

PHP + Uploadify + MySQL上傳大檔案出現HTTP Error （500）

網頁程式碼，裝入Uploadify控制元件： <script src="uploadify/jquery.uploadify.min.js" type="text/javascript"></script><script src="uploadify/swfobject.js"

京東618：一箇中心五個原則，談談物流系統的大促優化實踐

作者:者文明 編輯:木環、郭蕾 在京東的訂單流鏈路中，可以簡單的劃分為訂單前和訂單後兩部分，我們在京東主站上搜索商品、瀏覽商品詳情、把商品加入購物車、提交併支付訂單等環節屬於訂單前，訂單提交之後，訂單資訊流就進入訂單後的物流系統部分。每逢 618 大促期間，大家可能會更多的聚焦到網站 PV、秒殺系

漫談千億級資料優化實踐：一次資料優化實錄

0x00 前言 即使沒有資料傾斜，千億級的資料查詢對於系統也是一種巨大負擔，對於資料開發來說，如何來優化它，既是挑戰，也是機遇！ 在上一篇文章 《漫談千億級資料優化實踐：資料傾斜（純乾貨）》中，我們分享了一些在千億級資料優化實踐中和資料傾斜相關的內容

毫秒級從百億大表任意維度篩選資料，是怎麼做到的.

文章概要 1 業務背景 隨著閒魚業務的發展，使用者規模達到數億級，使用者維度的資料指標，達到上百個之多。如何從億級別的資料中，快速篩選出符合期望的使用者人群，進行精細化人群運營，是技術需要解決的問題。業界的很多方案往往需要分鐘級甚至小時級才能生成查詢結果。本文提供了一種解決大資料場景

MYSQL線上資料庫大表歸檔方法

 前言 作為一個企業或者DBA，我們通常會有這種想法，資料是一個公司的核心命脈，應該需要永久儲存，很多時候DBA和開發溝通的時候，開發人員也會這麼告訴我們，這份資料非常重要，資料需要永久儲存。然而，如果將資料庫的資料永久儲存，那麼遲早有一天，你會擁有一個非常大的資料庫。

漫談千億級資料優化實踐：資料傾斜

前言 資料傾斜是大資料領域繞不開的攔路虎，當你所需處理的資料量到達了上億甚至是千億條的時候，資料傾斜將是橫在你面前一道巨大的坎。 邁的過去，將會海闊天空！邁不過去，就要做好準備：很可能有幾周甚至幾月都要頭疼於資料傾斜導致的各類詭異的問題。 鄭重宣告： 話題比較大