1. 程式人生 > >遍歷資料夾內所有的CSV檔案,並且合併為同一個CSV

遍歷資料夾內所有的CSV檔案,並且合併為同一個CSV

import pandas as pd
import os
### 讀取檔案中的資料內容。
os.listdir(u"F:/公司/03_Study/01_爬蟲")
Folder_Path = u"F:/公司/03_Study/01_爬蟲"  # 要拼接的資料夾及其完整路徑,注意不要包含中文
SaveFile_Path =u"F:/公司/03_Study/01_爬蟲"  # 拼接後要儲存的檔案路徑
SaveFile_Name = u'all.csv'   # 合併後要儲存的檔名
# 將該資料夾下的所有檔名存入一個列表
file_list = os.listdir(u"F:/公司/03_Study/01_爬蟲")

# 讀取第一個CSV檔案幷包含表頭
df = pd.read_csv(Folder_Path + '\\' + file_list[0])  # 編碼預設UTF-8,若亂碼自行更改
# 將讀取的第一個CSV檔案寫入合併後的檔案儲存
df.to_csv(SaveFile_Path + '\\' + SaveFile_Name, index=False)

# 迴圈遍歷列表中各個CSV檔名,並追加到合併後的檔案
for i in range(1, len(file_list)):
    df = pd.read_csv(Folder_Path + '\\' + file_list[i])
    df.to_csv(SaveFile_Path + '\\' + SaveFile_Name, index=False, header=False, mode='a+')

#讀取全部是資料
all_date = pd.read_csv(u"F:/公司/03_Study/01_爬蟲/all.csv")
all_date = all_date[['date','time_v','Award_number']]
all_date.to_csv(u"F:/公司/03_Study/01_爬蟲/source_data.csv")