1. import numpy as np
2. import pandas as pd
3. import matplotlib.pyplot as plt
5. ---------------numpy-----------------------
6. arr = np.array([1,2,3], dtype=np.float64)
7. np.zeros((3,6)) np.empty((2,3,2)) np.arange(15)
8. arr.dtype arr.ndim arr.shape
9. arr.astype(np.int32) #np.float64 np.string_ np.unicode_
10. arr * arr arr - arr 1/arr
11. arr= np.arange(32).reshape((8,4))
12. arr[1:3, : ] #正常切片
13. arr[[1,2,3]] #花式索引
14. arr.T arr.transpose((...)) arr.swapaxes(...) #轉置
15. arr.dot #矩陣內積
16. np.sqrt(arr) np.exp(arr) randn(8)＃正態分布值 np.maximum(x,y)
17. np.where(cond, xarr, yarr) ＃當cond為真，取xarr,否則取yarr
18. arr.mean() arr.mean(axis=1) #算術平均數
19. arr.sum() arr.std() arr.var() #和、標準差、方差
20. arr.min() arr.max() #最小值、最大值
21. arr.argmin() arr.argmax() #最小索引、最大索引
22. arr.cumsum() arr.cumprod() #所有元素的累計和、累計積
23. arr.all() arr.any() # 檢查數組中是否全為真、部分為真
24. arr.sort() arr.sort(1) #排序、1軸向上排序
25. arr.unique() #去重
26. np.in1d(arr1, arr2) #arr1的值是否在arr2中
27. np.load() np.loadtxt() np.save() np.savez() ＃讀取、保存文件
28. np.concatenate([arr, arr], axis=1) ＃連接兩個arr，按行的方向
31. ---------------pandas-----------------------
32. ser = Series() ser = Series([...], index=[...]) #一維數組, 字典可以直接轉化為series
33. ser.values ser.index ser.reindex([...], fill_value=0) #數組的值、數組的索引、重新定義索引
34. ser.isnull() pd.isnull(ser) pd.notnull(ser) #檢測缺失數據
35. ser.name= ser.index.name= #ser本身的名字、ser索引的名字
36. ser.drop(‘x‘) #丟棄索引x對應的值
37. ser +ser #算術運算
38. ser.sort_index() ser.order() ＃按索引排序、按值排序
39. df = DataFrame(data, columns=[...], index=[...]) #表結構的數據結構，既有行索引又有列索引
40. df.ix[‘x‘] #索引為x的值 對於series，直接使用ser[‘x‘]
41. del df[‘ly‘] #用del刪除第ly列
42. df.T #轉置
43. df.index.name df.columns.name df.values
44. df.drop([...])
45. df + df df1.add(df2, fill_vaule=0) #算術運算
46. df -ser #df與ser的算術運算
47. f=lambda x: x.max()-x.min() df.apply(f)
48. df.sort_index(axis=1, ascending=False) #按行索引排序
49. df.sort_index(by=[‘a‘,‘b‘]) #按a、b列索引排序
50. ser.rank() df.rank(axis=1) #排序，增設一個排名值
51. df.sum() df.sum(axis=1) #按列、按行求和
52. df.mean(axis=1, skipna=False) #求各行的平均值，考慮na的存在
53. df.idxmax() #返回最大值的索引
54. df.cumsum() #累計求和
55. df.describe() ser.describe() #返回count mean std min max等值
56. ser.unique() #去重
57. ser.value_counts() df.value_counts() ＃返回一個series，其索引為唯一值，值為頻率
58. ser.isin([‘x‘, ‘y‘]) #判斷ser的值是否為x,y，得到布爾值
59. ser.dropna() ser.isnull() ser.notnull() ser.fillna(0) #處理缺失數據，df相同
60. df.unstack() #行列索引和值互換 df.unstack().stack()
61. df.swaplevel(‘key1‘,‘key2‘) #接受兩個級別編號或名稱，並互換
62. df.sortlevel(1) #根據級別1進行排序，df的行、列索引可以有兩級
63. df.set_index([‘c‘,‘d‘], drop=False) #將c、d兩列轉換為行,因drop為false，在列中仍保留c,d
64. read_csv read_table read_fwf #讀取文件分隔符為逗號、分隔符為制表符(‘\t‘)、無分隔符（固定列寬）
65. pd.read_csv(‘...‘, nrows=5) #讀取文件前5行
66. pd.read_csv(‘...‘, chunksize=1000) #按塊讀取，避免過大的文件占用內存
67. pd.load() #pd也有load方法，用來讀取二進制文件
68. pd.ExcelFile(‘...xls‘).parse(‘Sheet1‘) # 讀取excel文件中的sheet1
69. df.to_csv(‘...csv‘, sep=‘|‘, index=False, header=False) #將數據寫入csv文件，以｜為分隔符，默認以，為分隔符, 禁用列、行的標簽
70. pd.merge(df1, df2, on=‘key‘, suffixes=(‘_left‘, ‘_right‘)) #合並兩個數據集,類似數據庫的inner join, 以二者共有的key列作為鍵,suffixes將兩個key分別命名為key_left、key_right
71. pd.merge(df1, df2, left_on=‘lkey‘, right_on=‘rkey‘) #合並，類似數據庫的inner join, 但二者沒有同樣的列名，分別指出，作為合並的參照
72. pd.merge(df1, df2, how=‘outer‘) #合並，但是是outer join；how=‘left‘是笛卡爾積，how=‘inner‘是...;還可以對多個鍵進行合並
73. df1.join(df2, on=‘key‘, how=‘outer‘) #也是合並
74. pd.concat([ser1, ser2, ser3], axis=1) #連接三個序列，按行的方向
75. ser1.combine_first(ser2) df1.combine_first(df2) #把2合並到1上，並對齊
76. df.stack() df.unstack() #列旋轉為行、行旋轉為列
77. df.pivot()
78. df.duplicated() df.drop_duplicates() #判斷是否為重復數據、刪除重復數據
79. df[‘‘].map(lambda x: abs(x)) #將函數映射到df的指定列
80. ser.replace(-999, np.nan) #將－999全部替換為nan
81. df.rename(index={}, columns={}, inplace=True) #修改索引，inplace為真表示就地修改數據集
82. pd.cut(ser, bins) #根據面元bin判斷ser的各個數據屬於哪一個區段，有labels、levels屬性
83. df[(np.abs(df)>3).any(1)] #輸出含有“超過3或－3的值”的行
84. permutation take #用來進行隨機重排序
85. pd.get_dummies(df[‘key‘], prefix=‘key‘) #給df的所有列索引加前綴key
86. df[...].str.contains() df[...].str.findall(pattern, flags=re.IGNORECASE) df[...].str.match(pattern, flags=...) df[...].str.get() #矢量化的字符串函數
88. ----繪圖
89. ser.plot() df.plot() #pandas的繪圖工具，有參數label, ax, style, alpha, kind, logy, use_index, rot, xticks, xlim, grid等，詳見page257
90. kind=‘kde‘ #密度圖
91. kind=‘bar‘ kind=‘barh‘ #垂直柱狀圖、水平柱狀圖，stacked=True為堆積圖
92. ser.hist(bins=50) #直方圖
93. plt.scatter(x,y) #繪制x,y組成的散點圖
94. pd.scatter_matrix(df, diagonal=‘kde‘, color=‘k‘, alpha=‘0.3‘) #將df各列分別組合繪制散點圖
96. ----聚合分組
97. groupby() 默認在axis=0軸上分組，也可以在1組上分組；可以用for進行分組叠代
98. df.groupby(df[‘key1‘]) #根據key1對df進行分組
99. df[‘key2‘].groupby(df[‘key1‘]) #根據key1對key2列進行分組
100. df[‘key3‘].groupby(df[‘key1‘], df[‘key2‘]) #先根據key1、再根據key2對key3列進行分組
101. df[‘key2‘].groupby(df[‘key1‘]).size() #size()返回一個含有分組大小的series
102. df.groupby(df[‘key1‘])[‘data1‘] 等價於 df[‘data1‘].groupby(df[‘key1‘])
103. df.groupby(df[‘key1‘])[[‘data1‘]] 等價於 df[[‘data1‘]].groupby(df[‘key1‘])
104. df.groupby(mapping, axis=1) ser(mapping) #定義mapping字典，根據字典的分組來進行分組
105. df.groupby(len) #通過函數來進行分組，如根據len函數
106. df.groupby(level=‘...‘, axis=1) #根據索引級別來分組
107. df.groupby([], as_index=False) #禁用索引，返回無索引形式的數據
108. df.groupby(...).agg([‘mean‘, ‘std‘]) #一次使用多個聚合函數時，用agg方法
109. df.groupby(...).transform(np.mean) #transform()可以將其內的函數用於各個分組
110. df.groupby().apply() #apply方法會將待處理的對象拆分成多個片段，然後對各片段調用傳入的函數，最後嘗試將各片段組合到一起
112. ----透視交叉
113. df.pivot_table([‘‘,‘‘], rows=[‘‘,‘‘], cols=‘‘, margins=True) #margins為真時會加一列all
114. pd.crosstab(df.col1, df.col2, margins=True) #margins作用同上
117. ---------------matplotlib---------------
118. fig=plt.figure() ＃圖像所在的基對象
119. ax=fig.add_subplot(2,2,1) #2*2的圖像，當前選中第1個
120. fig, axes = plt.subplots(nrows, nclos, sharex, sharey) #創建圖像，指定行、列、共享x軸刻度、共享y軸刻度
121. plt.subplots_adjust(left=None, bottom=None, right=None, top=None, wspace=None, hspace=None)
122. #調整subplot之間的距離，wspace、hspace用來控制寬度、高度百分比
123. ax.plot(x, y, linestyle=‘--‘, color=‘g‘) #依據x,y坐標畫圖，設置線型、顏色
124. ax.set_xticks([...]) ax.set_xticklabels([...]) #設置x軸刻度
125. ax.set_xlabel(‘...‘) #設置x軸名稱
126. ax.set_title(‘....‘) ＃設置圖名
127. ax.legend(loc=‘best‘) #設置圖例， loc指定將圖例放在合適的位置
128. ax.text(x,y, ‘hello‘, family=‘monospace‘, fontsize=10) #將註釋hello放在x,y處，字體大小為10
129. ax.add_patch() #在圖中添加塊
130. plt.savefig(‘...png‘, dpi=400, bbox_inches=‘tight‘) #保存圖片，dpi為分辨率，bbox＝tight表示將裁減空白部分
135. ------------------------------------------
136. from mpl_toolkits.basemap import Basemap
137. import matplotlib.pyplot as plt
138. #可以用來繪制地圖
141. -----------------時間序列--------------------------
142. pd.to_datetime(datestrs) #將字符串型日期解析為日期格式
143. pd.date_range(‘1/1/2000‘, periods=1000) #生成時間序列
144. ts.resample(‘D‘, how=‘mean‘) #采樣，將時間序列轉換成以每天為固定頻率的, 並計算均值；how=‘ohlc‘是股票四個指數；
145. ＃重采樣會聚合，即將短頻率（日）變成長頻率（月），對應的值疊加；
146. ＃升采樣會插值，即將長頻率變為短頻率，中間產生新值
147. ts.shift(2, freq=‘D‘) ts.shift(-2, freq=‘D‘) #後移、前移2天
148. now+Day() now+MonthEnd()
149. import pytz pytz.timezone(‘US/Eastern‘) #時區操作，需要安裝pytz
150. pd.Period(‘2010‘, freq=‘A-DEC‘) ＃period表示時間區間，叫做時期
151. pd.PeriodIndex #時期索引
152. ts.to_period(‘M‘) #時間轉換為時期
153. pd.rolling_mean(...) pd.rolling_std(...) #移動窗口函數－平均值、標準差
     

numpy pandas matplotlib