MySQL 大批量插入,如何過濾掉重複資料?
阿新 • • 發佈:2021-06-28
CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COLLATE=utf8_bin; INSERT INTO `student` (`id`, `name`, `age`) VALUES ('1', 'cat', '12'); INSERT INTO `student` (`id`, `name`, `age`) VALUES ('2', 'dog', '13'); INSERT INTO `student` (`id`, `name`, `age`) VALUES ('3', 'camel', '25'); INSERT INTO `student` (`id`, `name`, `age`) VALUES ('4', 'cat', '32'); INSERT INTO `student` (`id`, `name`, `age`) VALUES ('5', 'dog', '42');
目標:我們要去掉name相同的資料。
先看看哪些資料重複了
SELECT name,count( 1 ) FROM student GROUP BY NAME HAVING count(1 ) > 1;
輸出:
name count(1)
cat 2
dog 2
name為cat和dog的資料重複了,每個重複的資料有兩條;
Select * From 表 Where 重複欄位 In (Select 重複欄位 From 表 Group By 重複欄位 Having Count(1)>1)
刪除全部重複資料,一條不留
直接刪除會報錯
DELETE
FROM
student
WHERE
NAME IN (
SELECT NAME
FROM
student
GROUP BY
NAME
HAVING
count( 1 ) > 1)
報錯:
1093 - You can't specify target table 'student' for update in FROM clause, Time: 0.016000s
原因是:更新這個表的同時又查詢了這個表,查詢這個表的同時又去更新了這個表,可以理解為死鎖。mysql不支援這種更新查詢同一張表的操作
解決辦法:把要更新的幾列資料查詢出來做為一個第三方表,然後篩選更新。
DELETE
FROM
student
WHERE
NAME IN (
SELECT
t.NAME
FROM
( SELECT NAME FROM student GROUP BY NAME HAVING count( 1 ) > 1 ) t)
刪除表中刪除重複資料,僅保留一條
在刪除之前,我們可以先查一下,我們要刪除的重複資料是啥樣的
SELECT * FROM student WHERE id NOT IN ( SELECT t.id FROM ( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t )
啥意思呢,就是先通過name分組,查出id最小的資料,這些資料就是我們要留下的火種,那麼再查詢出id不在這裡面的,就是我們要刪除的重複資料。
開始刪除重複資料,僅留一條
很簡單,剛才的select換成delete即可
DELETE
FROM
student
WHERE
id NOT IN (
SELECT
t.id
FROM
( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t
)
https://mp.weixin.qq.com/s/fszuGvCEjLA7pphF8TG8Vw