這篇文章主要介紹了Python拆分大型CSV檔案程式碼例項,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

#!/usr/bin/env python3
# -*- coding:utf-8 -*-
# @FileName :Test.py
# @Software PyCharm

import os
import pandas as pd

# filename為檔案路徑，file_num為拆分後的檔案行數
# 根據是否有表頭執行不同程式，預設有表頭的
def Data_split(filename,file_num,header=True):
  if header:
    # 設定每個檔案需要有的行數,初始化為1000W
    chunksize=10000
    data1=pd.read_table(filename,chunksize=chunksize,sep=',',encoding='gbk')
    # print(data1)
    # num表示總行數
    num=0
    for chunk in data1:
      num+=len(chunk)
    # print(num)
    # chunksize表示每個檔案需要分配到的行數
    chunksize=round(num/file_num+1)
    # print(chunksize)
    # 分離檔名與副檔名os.path.split(filename)
    head,tail=os.path.split(filename)
    data2=pd.read_table(filename,encoding='gbk')
    i=0
    for chunk in data2:
      chunk.to_csv('{0}_{1}{2}'.format(head,i,tail),header=None,index=False)
      print('儲存第{0}個數據'.format(i))
      i+=1
  else:
    # 獲得每個檔案需要的行數
    chunksize=10000
    data1=pd.read_table(filename,')
    num=0
    for chunk in data1:
      num+=len(chunk)
      chunksize=round(num/file_num+1)

      head,tail=os.path.split(filename)
      data2=pd.read_table(filename,')
      i=0
      for chunk in data2:
        chunk.to_csv('{0}_{1}{2}'.foemat(head,index=False)
        print('儲存第{0}個數據'.format(i))
        i+=1

filename='檔案路徑'
#num為拆分為的檔案個數
Data_split(filename,num,header=True)

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。