遍歷資料夾內所有的CSV檔案,並且合併為同一個CSV
阿新 • • 發佈:2018-11-05
import pandas as pd import os ### 讀取檔案中的資料內容。 os.listdir(u"F:/公司/03_Study/01_爬蟲") Folder_Path = u"F:/公司/03_Study/01_爬蟲" # 要拼接的資料夾及其完整路徑,注意不要包含中文 SaveFile_Path =u"F:/公司/03_Study/01_爬蟲" # 拼接後要儲存的檔案路徑 SaveFile_Name = u'all.csv' # 合併後要儲存的檔名 # 將該資料夾下的所有檔名存入一個列表 file_list = os.listdir(u"F:/公司/03_Study/01_爬蟲") # 讀取第一個CSV檔案幷包含表頭 df = pd.read_csv(Folder_Path + '\\' + file_list[0]) # 編碼預設UTF-8,若亂碼自行更改 # 將讀取的第一個CSV檔案寫入合併後的檔案儲存 df.to_csv(SaveFile_Path + '\\' + SaveFile_Name, index=False) # 迴圈遍歷列表中各個CSV檔名,並追加到合併後的檔案 for i in range(1, len(file_list)): df = pd.read_csv(Folder_Path + '\\' + file_list[i]) df.to_csv(SaveFile_Path + '\\' + SaveFile_Name, index=False, header=False, mode='a+') #讀取全部是資料 all_date = pd.read_csv(u"F:/公司/03_Study/01_爬蟲/all.csv") all_date = all_date[['date','time_v','Award_number']] all_date.to_csv(u"F:/公司/03_Study/01_爬蟲/source_data.csv")