使用 Python 處理3萬多條資料只要幾秒鐘

阿新 • • 發佈：2020-01-20

應用場景：工作中經常遇到大量的資料需要整合、去重、按照特定格式匯出等情況。如果用 Excel 操作，不僅費時費力，還不準確，有麼有更高效的解決方案呢？

本文以17個 txt 文字，3萬多條資料為例，使用 Python 連線 MySQL 資料庫，實現快速操作。

別人加班乾的活，我的 Python 小助手幾秒鐘就搞定了！

本文主要包括以下三方面內容：

資料寫入
資料去重
資料匯出

將資料寫入 MySQL 資料庫

下圖所示檔案是本文的資料來源：

我們的設想是：編寫一個小程式，扔在這個資料夾裡，雙擊後就可以自動讀取每個 txt 文件中的資料，並寫入資料庫。

程式碼如下：

import pymysql
import os
conn = pymysql.connect(host='localhost',user='root',password='123456',db='qq',charset='utf8')
cur = conn.cursor()
cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment,qq varchar(20)NOT NULL,PRIMARY KEY (id));")
conn.commit()
path = os.getcwd()
files = os.listdir(path)
i = 0
for file in files:
 f = open(file,'r',encoding = 'UTF-8')
 next(f)
 for line in f:
 i += 1
 #print(line)
 sql = "insert into qq(qq) values(%s);"
 cur.execute(sql,line)
 print("插入第",i,"條資料！")
 conn.commit()
 f.close()
cur.close()
conn.close()

執行效果：

重點程式碼解釋：

這段程式碼用到了 pymysql 和 os 兩個庫。

pymysql：用來操作 MySQL 資料庫；
os：用來遍歷所在資料夾下的所有檔案。

現將主要程式碼解釋如下：

1、遍歷任意資料夾下所有檔名稱
程式寫好後，使用 pyinstaller 打包成 exe 程式，並放在要操作的資料夾下面。

通過 path = os.getcwd() 命令，獲取該 exe 檔案所在目錄。

通過 files = os.listdir(path) 命令，獲取 exe 檔案所在目錄下的所有檔名稱，並存入 files 列表中。

這樣我們就獲得了所有的 txt 檔名稱，你可以任意命名你的 txt 檔名，程式都能讀出來。

2、將資料寫入資料庫

（1）連線資料庫，並在資料庫中建立新表

A. 連線到我的 qq 資料庫

conn = pymysql.connect(host='localhost',charset='utf8')

B. 建立新表 qq

在 qq 資料庫中建立新表，表名稱為 qq ，包含 2 個欄位：id 欄位為主鍵、自動遞增；qq 欄位為字元型，用於儲存資料。

cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment,PRIMARY KEY (id))")

（2）將資料寫入資料庫

這裡使用了兩層迴圈：

for file in files:
 f = open(file,"條資料！")
 conn.commit()
 f.close()

第一層迴圈是用來依次開啟上述 17 個 txt 檔案。

第二層迴圈是依次讀取每個 txt 檔案的每一行，並將改行資料插入資料庫表 qq 的 qq欄位。

至此就完成了資料的匯入，總共32073條資料。

資料清洗

這裡以去除重複值為例，簡單介紹一下資料清洗。

1、建立一個新表，用來儲存清洗後的資料

可以在 cmd 視窗下登陸 MySQL，開啟 qq 資料庫，執行下列操作：

CREATE TABLE qq_dist ( id int(5) NOT NULL auto_increment,PRIMARY KEY (id));

這樣就建立了新表 qq_dist,用來儲存清洗後的資料，便於後期呼叫。

2、清洗資料

登陸 MySQL 後，執行下列操作：

insert into qq_dis(qq) select distinct qq from qq;

將從 qq 表中查找出的不重複的 qq 欄位內容，插入到 qq_dist 表中的 qq 欄位。

將資料按照特定格式匯出

案例：將清洗後的資料的第101-200行匯出到新的 txt 文字中。

程式碼如下：

import pymysql
conn = pymysql.connect(host='localhost',db='wxid',charset='utf8')
print("寫入中，請等待……")
cur = conn.cursor()
sql = "select wxid from wd_dis limit 100,100;"
cur.execute(sql)
conn.commit()
alldata = cur.fetchall()
f = open('data101-200.txt','a')
i = 0
for data in alldata:
 i += 1
 f.write(data[0])
 f.flush()
f.close
cur.close()
conn.close()
print("寫入完成,共寫入{}條資料！".format(i))

重點程式碼解釋：

1、 limit

MySQL 中 limit m,n 函式的含義是：從第 m+1 行開始讀取 n 行。

所以，本案例中讀取第101-200行，就是 limit 100,100

2、flush()

flush() 函式一定要加上，它可以將緩衝區的資料寫入檔案中。否則就會出現生成的 txt 文件為空白的錯誤。

總結

以上所述是小編給大家介紹的使用 Python 處理3萬多條資料只要幾秒鐘，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回覆大家的。在此也非常感謝大家對我們網站的支援！
如果你覺得本文對你有幫助，歡迎轉載，煩請註明出處，謝謝！