pandas常用函式
阿新 • • 發佈:2019-02-05
import numpy as np import pandas as pd import matplotlib.pyplot as plt ---------------numpy----------------------- arr = np.array([1,2,3], dtype=np.float64) np.zeros((3,6)) np.empty((2,3,2)) np.arange(15) arr.dtype arr.ndim arr.shape arr.astype(np.int32) #np.float64 np.string_ np.unicode_ arr * arr arr - arr 1/arr arr= np.arange(32).reshape((8,4)) arr[1:3, : ] #正常切片 arr[[1,2,3]] #花式索引 arr.T arr.transpose((...)) arr.swapaxes(...) #轉置 arr.dot #矩陣內積 np.sqrt(arr) np.exp(arr) randn(8)#正態分佈值 np.maximum(x,y) np.where(cond, xarr, yarr) #當cond為真,取xarr,否則取yarr arr.mean() arr.mean(axis=1) #算術平均數 arr.sum() arr.std() arr.var() #和、標準差、方差 arr.min() arr.max() #最小值、最大值 arr.argmin() arr.argmax() #最小索引、最大索引 arr.cumsum() arr.cumprod() #所有元素的累計和、累計積 arr.all() arr.any() # 檢查陣列中是否全為真、部分為真 arr.sort() arr.sort(1) #排序、1軸向上排序 arr.unique() #去重 np.in1d(arr1, arr2) #arr1的值是否在arr2中 np.load() np.loadtxt() np.save() np.savez() #讀取、儲存檔案 np.concatenate([arr, arr], axis=1) #連線兩個arr,按行的方向 ---------------pandas----------------------- ser = Series() ser = Series([...], index=[...]) #一維陣列, 字典可以直接轉化為series ser.values ser.index ser.reindex([...], fill_value=0) #陣列的值、陣列的索引、重新定義索引 ser.isnull() pd.isnull(ser) pd.notnull(ser) #檢測缺失資料 ser.name= ser.index.name= #ser本身的名字、ser索引的名字 ser.drop('x') #丟棄索引x對應的值 ser +ser #算術運算 ser.sort_index() ser.order() #按索引排序、按值排序 df = DataFrame(data, columns=[...], index=[...]) #表結構的資料結構,既有行索引又有列索引 df.ix['x'] #索引為x的值 對於series,直接使用ser['x'] del df['ly'] #用del刪除第ly列 df.T #轉置 df.index.name df.columns.name df.values df.drop([...]) df + df df1.add(df2, fill_vaule=0) #算術運算 df -ser #df與ser的算術運算 f=lambda x: x.max()-x.min() df.apply(f) df.sort_index(axis=1, ascending=False) #按行索引排序 df.sort_index(by=['a','b']) #按a、b列索引排序 ser.rank() df.rank(axis=1) #排序,增設一個排名值 df.sum() df.sum(axis=1) #按列、按行求和 df.mean(axis=1, skipna=False) #求各行的平均值,考慮na的存在 df.idxmax() #返回最大值的索引 df.cumsum() #累計求和 df.describe() ser.describe() #返回count mean std min max等值 ser.unique() #去重 ser.value_counts() df.value_counts() #返回一個series,其索引為唯一值,值為頻率 ser.isin(['x', 'y']) #判斷ser的值是否為x,y,得到布林值 ser.dropna() ser.isnull() ser.notnull() ser.fillna(0) #處理缺失資料,df相同 df.unstack() #行列索引和值互換 df.unstack().stack() df.swaplevel('key1','key2') #接受兩個級別編號或名稱,並互換 df.sortlevel(1) #根據級別1進行排序,df的行、列索引可以有兩級 df.set_index(['c','d'], drop=False) #將c、d兩列轉換為行,因drop為false,在列中仍保留c,d read_csv read_table read_fwf #讀取檔案分隔符為逗號、分隔符為製表符('\t')、無分隔符(固定列寬) pd.read_csv('...', nrows=5) #讀取檔案前5行 pd.read_csv('...', chunksize=1000) #按塊讀取,避免過大的檔案佔用記憶體 pd.load() #pd也有load方法,用來讀取二進位制檔案 pd.ExcelFile('...xls').parse('Sheet1') # 讀取excel檔案中的sheet1 df.to_csv('...csv', sep='|', index=False, header=False) #將資料寫入csv檔案,以|為分隔符,預設以,為分隔符, 禁用列、行的標籤 pd.merge(df1, df2, on='key', suffixes=('_left', '_right')) #合併兩個資料集,類似資料庫的inner join, 以二者共有的key列作為鍵,suffixes將兩個key分別命名為key_left、key_right pd.merge(df1, df2, left_on='lkey', right_on='rkey') #合併,類似資料庫的inner join, 但二者沒有同樣的列名,分別指出,作為合併的參照 pd.merge(df1, df2, how='outer') #合併,但是是outer join;how='left'是笛卡爾積,how='inner'是...;還可以對多個鍵進行合併 df1.join(df2, on='key', how='outer') #也是合併 pd.concat([ser1, ser2, ser3], axis=1) #連線三個序列,按行的方向 ser1.combine_first(ser2) df1.combine_first(df2) #把2合併到1上,並對齊 df.stack() df.unstack() #列旋轉為行、行旋轉為列 df.pivot() df.duplicated() df.drop_duplicates() #判斷是否為重複資料、刪除重複資料 df[''].map(lambda x: abs(x)) #將函式對映到df的指定列 ser.replace(-999, np.nan) #將-999全部替換為nan df.rename(index={}, columns={}, inplace=True) #修改索引,inplace為真表示就地修改資料集 pd.cut(ser, bins) #根據面元bin判斷ser的各個資料屬於哪一個區段,有labels、levels屬性 df[(np.abs(df)>3).any(1)] #輸出含有“超過3或-3的值”的行 permutation take #用來進行隨機重排序 pd.get_dummies(df['key'], prefix='key') #給df的所有列索引加字首key df[...].str.contains() df[...].str.findall(pattern, flags=re.IGNORECASE) df[...].str.match(pattern, flags=...) df[...].str.get() #向量化的字串函式 ----繪圖 ser.plot() df.plot() #pandas的繪圖工具,有引數label, ax, style, alpha, kind, logy, use_index, rot, xticks, xlim, grid等,詳見page257 kind='kde' #密度圖 kind='bar' kind='barh' #垂直柱狀圖、水平柱狀圖,stacked=True為堆積圖 ser.hist(bins=50) #直方圖 plt.scatter(x,y) #繪製x,y組成的散點圖 pd.scatter_matrix(df, diagonal='kde', color='k', alpha='0.3') #將df各列分別組合繪製散點圖 ----聚合分組 groupby() 預設在axis=0軸上分組,也可以在1組上分組;可以用for進行分組迭代 df.groupby(df['key1']) #根據key1對df進行分組 df['key2'].groupby(df['key1']) #根據key1對key2列進行分組 df['key3'].groupby(df['key1'], df['key2']) #先根據key1、再根據key2對key3列進行分組 df['key2'].groupby(df['key1']).size() #size()返回一個含有分組大小的series df.groupby(df['key1'])['data1'] 等價於 df['data1'].groupby(df['key1']) df.groupby(df['key1'])[['data1']] 等價於 df[['data1']].groupby(df['key1']) df.groupby(mapping, axis=1) ser(mapping) #定義mapping字典,根據字典的分組來進行分組 df.groupby(len) #通過函式來進行分組,如根據len函式 df.groupby(level='...', axis=1) #根據索引級別來分組 df.groupby([], as_index=False) #禁用索引,返回無索引形式的資料 df.groupby(...).agg(['mean', 'std']) #一次使用多個聚合函式時,用agg方法 df.groupby(...).transform(np.mean) #transform()可以將其內的函式用於各個分組 df.groupby().apply() #apply方法會將待處理的物件拆分成多個片段,然後對各片段呼叫傳入的函式,最後嘗試將各片段組合到一起 ----透視交叉 df.pivot_table(['',''], rows=['',''], cols='', margins=True) #margins為真時會加一列all pd.crosstab(df.col1, df.col2, margins=True) #margins作用同上 ---------------matplotlib--------------- fig=plt.figure() #影象所在的基物件 ax=fig.add_subplot(2,2,1) #2*2的影象,當前選中第1個 fig, axes = plt.subplots(nrows, nclos, sharex, sharey) #建立影象,指定行、列、共享x軸刻度、共享y軸刻度 plt.subplots_adjust(left=None, bottom=None, right=None, top=None, wspace=None, hspace=None) #調整subplot之間的距離,wspace、hspace用來控制寬度、高度百分比 ax.plot(x, y, linestyle='--', color='g') #依據x,y座標畫圖,設定線型、顏色 ax.set_xticks([...]) ax.set_xticklabels([...]) #設定x軸刻度 ax.set_xlabel('...') #設定x軸名稱 ax.set_title('....') #設定圖名 ax.legend(loc='best') #設定圖例, loc指定將圖例放在合適的位置 ax.text(x,y, 'hello', family='monospace', fontsize=10) #將註釋hello放在x,y處,字型大小為10 ax.add_patch() #在圖中新增塊 plt.savefig('...png', dpi=400, bbox_inches='tight') #儲存圖片,dpi為解析度,bbox=tight表示將裁減空白部分 ------------------------------------------ from mpl_toolkits.basemap import Basemap import matplotlib.pyplot as plt #可以用來繪製地圖 -----------------時間序列-------------------------- pd.to_datetime(datestrs) #將字串型日期解析為日期格式 pd.date_range('1/1/2000', periods=1000) #生成時間序列 ts.resample('D', how='mean') #取樣,將時間序列轉換成以每天為固定頻率的, 並計算均值;how='ohlc'是股票四個指數; #重取樣會聚合,即將短頻率(日)變成長頻率(月),對應的值疊加; #升取樣會插值,即將長頻率變為短頻率,中間產生新值 ts.shift(2, freq='D') ts.shift(-2, freq='D') #後移、前移2天 now+Day() now+MonthEnd() import pytz pytz.timezone('US/Eastern') #時區操作,需要安裝pytz pd.Period('2010', freq='A-DEC') #period表示時間區間,叫做時期 pd.PeriodIndex #時期索引 ts.to_period('M') #時間轉換為時期 pd.rolling_mean(...) pd.rolling_std(...) #移動視窗函式-平均值、標準差