pandas處理csv檔案的方法步驟
阿新 • • 發佈:2020-10-19
一、我的需求
對於這樣的一個 csv 表,需要將其
(1)將營業部名稱和日期和股票程式碼進行拼接
(2)對於除了買入金額不同的的資料需要將它們的買入金額相加,每個買入金額乘以買賣序號的符號表示該營業名稱對應的買入金額
比如:xx公司,20190731,1,股票1,4000,C20201010,xxxx
我這裡想要的結果是:xx公司2019713C20201010,4000
二、程式碼
(1)首先由於檔案是 gbk,所以讀取是需要注意 encoding
(2)日期是int型別,所以需要轉化為 字串
import pandas as pd import numpy as np #讀取資料 filename = "test.csv" # 讀取 excel 表,根據檔案的編碼指定編碼方式 data = pd.read_csv(filename,encoding='gbk') # 將所有內容轉為字串 # data = data.applymap(str) # 將日期這一列轉為字串 data['日期'] = data['日期'].apply(str) # print(data.loc[0,'營業部名稱']) # print(data.loc[0,'日期']) # print(data.loc[0,'股票程式碼']) # print(data.loc[0,'買賣序號']) # print(data.loc[0,'買入金額']) # 拼接:營業部名稱+日期+股票程式碼 data['name_date_code'] = data['營業部名稱'] + data['日期'] + data['股票程式碼'] # 取"買賣序號"的符號和買入金額相乘 # np.sign 獲取序號對應的符號 data['buy'] = np.sign(data['買賣序號']) * data['買入金額'] data = data.drop(['營業部名稱','日期','買賣序號','股票名','買入金額','股票程式碼','data_stock'],axis=1) # 將 name_date_code 相同的行,金額相加 buy_sum = data.groupby('name_date_code')['buy'].sum() # 將相加的金額加入資料data,缺失資料用0填充 data['buy_sum'] = data.loc[:,'name_date_code'].map(buy_sum).fillna(0) # 將買入金額刪掉,只剩下兩列資料 data = data.drop(['buy'],axis=1) # 刪除重複行 data = data.drop_duplicates() # 寫入資料,同樣需要注意指定編碼格式 data.to_csv("YYBD_result.csv",encoding='gbk',index=False)
三、總結
(1)編碼格式,正常是 utf-8 的不用指定,用預設的即可
(2)pandas 讀取一行資料
# data.iloc 取一整行 print(data.iloc[0])
(3)pandas 處理資料確實很厲害,字串拼接,型別轉換,刪除重複行,真方便
到此這篇關於pandas處理csv檔案的方法步驟的文章就介紹到這了,更多相關pandas處理csv檔案內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們!