這兩天在測試過程中，遇到這樣的問題：

資料量很大，一份csv檔案的資料與另外一個檔案的資料進行對比，但是csv中的檔案資料量很大，並且進行統計 ，如果手動單個去對比，會很花時間，吃力不討好，還容易出錯。

比如說，這樣的資料

需要對AskPrice值相同對應的AskQuantity 統計出來。

直接上指令碼 ：

import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum() 
df_sum.to_csv('D:\test\orderBook2.csv') 

然後執行得到：

這對於大資料量的處理特別方便。

補充知識：python處理csv檔案（場景分類）

最近做一個關於場景分類的比賽，總共有20類，不到2萬張圖片，首先要做的就是把20類圖片分到每個資料夾下。

import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比賽\未來杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
  for j in i:
    list_0.append(j)
for name in filename:
  list_file.append(name[0:-4])
 
for name in list_file:
  if name in list_0:
    flag.append(True)
  else:
    flag.append(False)
 
for name in list_file:
  if flag[list_file.index(name)]:
    oldname = u'F:\工作\比賽\未來杯\image_scene_training\data\\'+name+'.jpg'
    newname = u'F:\工作\比賽\未來杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
    shutil.copyfile(oldname,newname)

unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte

1:升級pip python -m pip install --upgrade pip

2:改python檔案內容：找到lib\site-packages\pip\compat\__init__.py

return s.decode('utf-8')

將‘utf-8'改成'gbk'

以上這篇python 實現讀取csv資料,分類求和 再寫進 csv就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支援我們。