MySQL 處理重複資料

你可以在 MySQL 資料表中設定指定的欄位為PRIMARY KEY（主鍵）或者UNIQUE（唯一）索引來保證資料的唯一性。

建表時防止重複資料產生：

下表中無索引及主鍵，所以該表允許出現多條重複記錄。

1 CREATE TABLE person_tbl
2 (
3     first_name CHAR(20),
4     last_name CHAR(20),
5     sex CHAR(10)
6 );

如果你想設定表中欄位 first_name，last_name 資料不能重複，你可以設定雙主鍵模式來設定資料的唯一性， 如果你設定了雙主鍵，那麼那個鍵的預設值不能為 NULL，可設定為 NOT NULL。如下所示：

1 CREATE TABLE person_tbl
2 (
3    first_name CHAR(20) NOT NULL,
4    last_name CHAR(20) NOT NULL,
5    sex CHAR(10),
6    PRIMARY KEY (last_name, first_name)
7 );

INSERT IGNORE INTO 與 INSERT INTO 的區別

如果我們設定了唯一索引，那麼在插入重複資料時，SQL 語句將無法執行成功,並丟擲錯。

INSERT IGNORE INTO 與 INSERT INTO 的區別就是 INSERT IGNORE INTO 會忽略資料庫中已經存在的資料，如果資料庫沒有資料，就插入新的資料，如果有資料的話就跳過這條資料。這樣就可以保留資料庫中已經存在資料，達到在間隙中插入資料的目的。

以下例項使用了 INSERT IGNORE INTO，執行後不會出錯，也不會向資料表中插入重複資料：

1 mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
2     -> VALUES( 'Jay', 'Thomas');
3 Query OK, 1 row affected (0.00 sec)
4 mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
5     -> VALUES( 'Jay', 'Thomas');
6 Query OK, 0
 
 rows affected (0.00 sec)

INSERT IGNORE INTO 當插入資料時，在設定了記錄的唯一性後，如果插入重複資料，將不返回錯誤，只以警告形式返回。 而 REPLACE INTO 如果存在 primary 或 unique 相同的記錄，則先刪除掉。再插入新記錄。

另一種設定資料的唯一性方法是新增一個 UNIQUE 索引，如下所示：

1 CREATE TABLE person_tbl
2 (
3    first_name CHAR(20) NOT NULL,
4    last_name CHAR(20) NOT NULL,
5    sex CHAR(10),
6    UNIQUE (last_name, first_name)
7 );

統計重複資料

以下我們將統計表中 first_name 和 last_name的重複記錄數：

1 mysql> SELECT COUNT(*) as repetitions, last_name, first_name
2     -> FROM person_tbl
3     -> GROUP BY last_name, first_name
4     -> HAVING repetitions > 1;

以上查詢語句將返回 person_tbl 表中重複的記錄數。 一般情況下，查詢重複的值，請執行以下操作：

1.確定哪一列包含的值可能會重複。
2.在列選擇列表使用COUNT(*)列出的那些列。
3.在GROUP BY子句中列出的列。
4.HAVING子句設定重複數大於1。

過濾重複資料

如果你需要讀取不重複的資料可以在 SELECT 語句中使用 DISTINCT 關鍵字來過濾重複資料。

1 mysql> SELECT DISTINCT last_name, first_name
2     -> FROM person_tbl;

你也可以使用 GROUP BY 來讀取資料表中不重複的資料：

1 mysql> SELECT last_name, first_name
2     -> FROM person_tbl
3     -> GROUP BY (last_name, first_name);

刪除重複資料

如果你想刪除資料表中的重複資料，你可以使用以下的SQL語句：

1 mysql> CREATE TABLE tmp SELECT last_name, first_name, sex FROM person_tbl  GROUP BY (last_name, first_name, sex);
2 mysql> DROP TABLE person_tbl;
3 mysql> ALTER TABLE tmp RENAME TO person_tbl;

當然你也可以在資料表中新增 INDEX（索引） 和 PRIMAY KEY（主鍵）這種簡單的方法來刪除表中的重複記錄。方法如下：

1 mysql> ALTER IGNORE TABLE person_tbl
2     -> ADD PRIMARY KEY (last_name, first_name);

轉自：https://www.runoob.com/mysql/mysql-handling-duplicates.html