1. 程式人生 > 其它 >MySQL 大批量插入,如何過濾掉重複資料?

MySQL 大批量插入,如何過濾掉重複資料?

CREATE TABLE `student` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;


INSERT INTO `student` (`id`, `name`, `age`) VALUES ('1', 'cat', '12');
INSERT INTO `student` (`id`, `name`, `age`) VALUES (
'2', 'dog', '13'); INSERT INTO `student` (`id`, `name`, `age`) VALUES ('3', 'camel', '25'); INSERT INTO `student` (`id`, `name`, `age`) VALUES ('4', 'cat', '32'); INSERT INTO `student` (`id`, `name`, `age`) VALUES ('5', 'dog', '42');

目標:我們要去掉name相同的資料。

先看看哪些資料重複了

SELECT name,count( 1 ) 
FROM
 student 
GROUP BY
NAME 
HAVING
 count( 
1 ) > 1;

輸出:

name count(1) 
cat 2
dog 2

name為cat和dog的資料重複了,每個重複的資料有兩條;

Select * From 表 Where 重複欄位 In (Select 重複欄位 From 表 Group By 重複欄位 Having Count(1)>1)

刪除全部重複資料,一條不留

直接刪除會報錯

DELETE 
FROM
 student 
WHERE
 NAME IN (
 SELECT NAME 
 FROM
  student 
 GROUP BY
 NAME 
HAVING
 count( 1 ) > 1)

報錯:

1093 - You can't specify target table 'student' for update in FROM clause, Time: 0.016000s

原因是:更新這個表的同時又查詢了這個表,查詢這個表的同時又去更新了這個表,可以理解為死鎖。mysql不支援這種更新查詢同一張表的操作

解決辦法:把要更新的幾列資料查詢出來做為一個第三方表,然後篩選更新。

DELETE 
FROM
 student 
WHERE
 NAME IN (
 SELECT
  t.NAME 
FROM
 ( SELECT NAME FROM student GROUP BY NAME HAVING count( 1 ) > 1 ) t)

刪除表中刪除重複資料,僅保留一條

在刪除之前,我們可以先查一下,我們要刪除的重複資料是啥樣的

SELECT
 * 
FROM
 student 
WHERE
 id NOT IN (
 SELECT
  t.id 
 FROM
 ( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t 
 )

啥意思呢,就是先通過name分組,查出id最小的資料,這些資料就是我們要留下的火種,那麼再查詢出id不在這裡面的,就是我們要刪除的重複資料。

開始刪除重複資料,僅留一條

很簡單,剛才的select換成delete即可

DELETE 
FROM
 student 
WHERE
 id NOT IN (
 SELECT
  t.id 
 FROM
 ( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t 
 )

https://mp.weixin.qq.com/s/fszuGvCEjLA7pphF8TG8Vw