資料處理小工具:Excel 批量資料檔案拆分/整合器...
阿新 • • 發佈:2022-03-05
需求分析:
現在有一大堆的Excel資料檔案,需要根據每個Excel資料檔案裡面的Sheet批量將資料檔案合併成為一個彙總後的Excel資料檔案。或者是將一個彙總後的Excel資料檔案按照Sheet拆分成很多個Excel資料檔案。根據上面的需求,我們先來進行UI介面的佈局設計。
完整原始碼請滑到文章最後獲取,感謝大家的支援!
匯入UI介面設計相關的PyQt5模組
from PyQt5.QtWidgets import *
from PyQt5.QtCore import *
from PyQt5.QtGui import *
應用操作相關的模組
import sys import os
excel 資料處理模組
import openpyxl as pxl
import pandas as pd
看一下 UI 介面的功能和佈局,感覺還可以...
下面是佈局相關的程式碼塊例項
def init_ui(self): self.setWindowTitle('Excel資料彙總/拆分器 公眾號:[Python 集中營]') self.setWindowIcon(QIcon('資料.ico')) self.brower = QTextBrowser() self.brower.setReadOnly(True) self.brower.setFont(QFont('宋體', 8)) self.brower.setPlaceholderText('批量資料處理進度顯示區域...') self.brower.ensureCursorVisible() self.excels = QLineEdit() self.excels.setReadOnly(True) self.excels_btn = QPushButton() self.excels_btn.setText('載入批檔案') self.excels_btn.clicked.connect(self.excels_btn_click) self.oprate_type = QLabel() self.oprate_type.setText('操作型別') self.oprate_combox = QComboBox() self.oprate_combox.addItems(['資料合併', '資料拆分']) self.data_type = QLabel() self.data_type.setText('合併/拆分') self.data_combox = QComboBox() self.data_combox.addItems(['按照Sheet拆分']) self.new_file_path = QLineEdit() self.new_file_path.setReadOnly(True) self.new_file_path_btn = QPushButton() self.new_file_path_btn.setText('新檔案路徑') self.new_file_path_btn.clicked.connect(self.new_file_path_btn_click) self.thread_ = DataThread(self) self.thread_.trigger.connect(self.update_log) self.thread_.finished.connect(self.finished) self.start_btn = QPushButton() self.start_btn.setText('開始資料彙總/拆分') self.start_btn.clicked.connect(self.start_btn_click) form = QFormLayout() form.addRow(self.excels, self.excels_btn) form.addRow(self.oprate_type, self.oprate_combox) form.addRow(self.data_type, self.data_combox) form.addRow(self.new_file_path, self.new_file_path_btn) vbox = QVBoxLayout() vbox.addLayout(form) vbox.addWidget(self.start_btn) hbox = QHBoxLayout() hbox.addWidget(self.brower) hbox.addLayout(vbox) self.setLayout(hbox)
槽函式 update_log,將執行過程通過文字瀏覽器的方式實時展示,方便檢視程式的執行。
def update_log(self, text):
cursor = self.brower.textCursor()
cursor.movePosition(QTextCursor.End)
self.brower.append(text)
self.brower.setTextCursor(cursor)
self.brower.ensureCursorVisible()
槽函式 excels_btn_click,繫結到檔案載入按鈕,處理原始檔的載入過程。
def excels_btn_click(self):
paths = QFileDialog.getOpenFileNames(self, '選擇檔案', os.getcwd(), 'Excel File(*.xlsx)')
files = paths[0]
path_strs = ''
for file in files:
path_strs = path_strs + file + ';'
self.excels.setText(path_strs)
self.update_log('已經完成批檔案路徑載入!')
槽函式 new_file_path_btn_click,選擇新檔案要儲存的路徑。
def new_file_path_btn_click(self):
directory = QFileDialog.getExistingDirectory(self, '選擇資料夾', os.getcwd())
self.new_file_path.setText(directory)
槽函式 start_btn_click,繫結到開始按鈕上,使用開始按鈕啟動子執行緒工作。
def start_btn_click(self):
self.start_btn.setEnabled(False)
self.thread_.start()
函式 finished,這個函式是用來接收子執行緒傳過來的執行完成的訊號,通過判斷使子執行緒執行完成時讓開始按鈕處於可以點選的狀態。
def finished(self, finished):
if finished is True:
self.start_btn.setEnabled(True)
下面是最重要的邏輯處理部分,將所有的邏輯處理相關的部分全部放到子執行緒中去執行。
class DataThread(QThread):
trigger = pyqtSignal(str)
finished = pyqtSignal(bool)
def __init__(self, parent=None):
super(DataThread, self).__init__(parent)
self.parent = parent
self.working = True
def __del__(self):
self.working = False
self.wait()
def run(self):
self.trigger.emit('啟動批量處理子執行緒...')
oprate_type = self.parent.oprate_combox.currentText().strip()
data_type = self.parent.data_combox.currentText().strip()
files = self.parent.excels.text().strip()
new_file_path = self.parent.new_file_path.text()
if data_type == '按照Sheet拆分' and oprate_type == '資料合併':
self.merge_data(files=files, new_file_path=new_file_path)
elif data_type == '按照Sheet拆分' and oprate_type == '資料拆分':
self.split_data(files=files, new_file_path=new_file_path)
else:
pass
self.trigger.emit('資料處理完成...')
self.finished.emit(True)
def merge_data(self, files, new_file_path):
num = 1
new_file = new_file_path + '/資料彙總.xlsx'
writer = pd.ExcelWriter(new_file)
for file in files.split(';'):
if file.strip() != '':
web_sheet = pxl.load_workbook(file)
sheets = web_sheet.sheetnames
for sheet in sheets:
sheet_name = sheet.title()
self.trigger.emit('準備處理工作表名稱:' + str(sheet.title()))
data_frame = pd.read_excel(file, sheet_name=sheet_name)
sheet_name = sheet_name + 'TO資料合併' + str(num)
data_frame.to_excel(writer, sheet_name, index=False)
num = num + 1
else:
self.trigger.emit('當前路徑為空,繼續...')
writer.save()
writer.close()
def split_data(self, files, new_file_path):
num = 1
for file in files.split(';'):
if file.strip() != '':
web_sheet = pxl.load_workbook(file)
sheets = web_sheet.sheetnames
for sheet in sheets:
sheet_name = sheet.title()
self.trigger.emit('準備處理工作表名稱:' + str(sheet.title()))
data_frame = pd.read_excel(file, sheet_name=sheet_name)
writer = pd.ExcelWriter(new_file_path + '/資料拆分' + str(num) + '.xlsx')
data_frame.to_excel(writer, '資料拆分', index=False)
writer.save()
writer.close()
num = num + 1
else:
self.trigger.emit('當前路徑為空,繼續...')
上面就是主要的程式碼塊實現過程,有需要的可以參考一下。歡迎大佬在評論區進行留言。
搞了一個程式執行效果圖,看一下執行效果。
公眾號內回覆 "Excel批量資料檔案拆分與合併",獲取完整原始碼,直接執行即可。
【往期精選】
辦公自動化:PDF檔案合併器,將多個PDF檔案進行合併...
GUI猜數字遊戲,直接開玩...
手把手教你做一個數據圖表生成器(附原始碼)...
動態指標時鐘:利用pyqt5製作指標鐘錶顯示實時時間
python 日誌中最亮的仔,是喜歡的花裡胡哨吖...
歡迎關注作者公眾號【Python 集中營】,專注於後端程式設計,每天更新技術乾貨,不定時分享各類資料!