MySQL資料表合併去重的簡單實現方法
阿新 • • 發佈:2020-01-09
場景:
爬取的資料生成資料表,結構與另一個主表相同,需要進行合併+去重
解決:(直接舉例)
首先建立兩個表pep,pep2,其中pep是主表
CREATE TABLE IF NOT EXISTS `pep/pep2`( `id` INT UNSIGNED AUTO_INCREMENT,`no` VARCHAR(100) NOT NULL,PRIMARY KEY ( `id` ) )ENGINE=InnoDB DEFAULT CHARSET=utf8;
然後向pep中插入兩條資料,pep2中插入一條與pep中相同的一條資料
insert into pep(no) values('abc'); insert into pep(no) values('caa'); insert into pep2(no) values('abc');
將pep2的資料插入pep中
insert into pep (no) select no from pep2;
分組去重建立新的臨時表tmp
create table tmp select id,no from pep group by no;
注意:建立完這個表的id欄位型別已經不是主鍵自增
可能也會報錯 ```Syntax error or access violation: 1055 Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'XXX.Y.ZZZZ' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by ``` 解決:執行以下兩個命令: ``` mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'; mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION'; ```
刪除pep表,並將tmp表重新命名為pep
drop table pep; alter table tmp rename to pep;
檢視desc結構和select * from pep發現id的欄位型別變了,這裡需要改回原來的型別;
alter table pep add primary key (id); alter table pep modify id int auto_increment;
還有可以使用join來做去重,更快的還可以新增一個欄位(可以是幾個欄位+起來的的md5值),給這個欄位建立一個唯一索引unique,以後插入資料的時候,自動回過濾掉重複的資料。
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對我們的支援。