一、匯入模組

import time,random
import pandas as pd
import numpy as np

二、用法

說明：

df物件為 df=pd.DataFrame(dict)
s物件為 s=pd.Series(data=dict)

1、匯入資料

pd.read_csv(filename)：從CSV檔案匯入資料
pd.read_table(filename)：從限定分隔符的文字檔案匯入資料
pd.read_excel(filename)：從Excel檔案匯入資料
pd.read_sql(query, connection_object)：從SQL表/庫匯入資料
pd.read_json(json_string)：從JSON格式的字串匯入資料
pd.read_html(url)：解析URL、字串或者HTML檔案，抽取其中的tables表格
pd.read_clipboard()：從你的貼上板獲取內容，並傳給read_table()
pd.DataFrame(dict)：從字典物件匯入資料，Key是列名，Value是資料
 

2、匯出資料

df.to_csv(filename)：匯出資料到CSV檔案
df.to_excel(filename)：匯出資料到Excel檔案
df.to_sql(table_name, connection_object)：匯出資料到SQL表
df.to_json(filename)：以Json格式匯出資料到文字檔案

3、建立測試物件

pd.DataFrame(np.random.rand(20,5))：建立20行5列的隨機陣列成的DataFrame物件
pd.Series(my_list)：從可迭代物件my_list建立一個Series物件
df.index = pd.date_range('1900/1/30', periods=df.shape[0])：增加一個日期索引
 

4、檢視、檢查資料

df.head(n)：檢視DataFrame物件的前n行
df.tail(n)：檢視DataFrame物件的最後n行
df.shape()：檢視行數和列數
df.info()：檢視索引、資料型別和記憶體資訊
df.describe()：檢視數值型列的彙總統計
s.value_counts(dropna=False)：檢視Series物件的唯一值和計數
df.apply(pd.Series.value_counts)：檢視DataFrame物件中每一列的唯一值和計數

5、資料選取

df[col]：根據列名，並以Series的形式返回列
df[[col1, col2]]：以DataFrame形式返回多列
s.iloc[0]：按位置選取資料
s.loc['index_one']：按索引選取資料
df.iloc[0,:]：返回第一行
df.iloc[0,0]：返回第一列的第一個元素
df.values[:,:-1]:返回除了最後一列的其他列的所以資料
df.query('[1, 2] not in c'): 返回c列中不包含1，2的其他資料集
 

6、資料清理

df.columns = ['a','b','c']：重新命名列名
pd.isnull()：檢查DataFrame物件中的空值，並返回一個Boolean陣列
pd.notnull()：檢查DataFrame物件中的非空值，並返回一個Boolean陣列
df.dropna()：刪除所有包含空值的行
df.dropna(axis=1)：刪除所有包含空值的列
df.dropna(axis=1,thresh=n)：刪除所有小於n個非空值的行
df.fillna(x)：用x替換DataFrame物件中所有的空值
s.astype(float)：將Series中的資料型別更改為float型別
s.replace(1,'one')：用‘one’代替所有等於1的值
s.replace([1,3],['one','three'])：用'one'代替1，用'three'代替3
df.rename(columns=lambda x: x + 1)：批量更改列名
df.rename(columns={'old_name': 'new_ name'})：選擇性更改列名
df.set_index('column_one')：更改索引列
df.rename(index=lambda x: x + 1)：批量重新命名索引

7、資料處理 :Filter、Sort和GroupBy

df[df[col] > 0.5]：選擇col列的值大於0.5的行
df.sort_values(col1)：按照列col1排序資料，預設升序排列
df.sort_values(col2, ascending=False)：按照列col1降序排列資料
df.sort_values([col1,col2], ascending=[True,False])：先按列col1升序排列，後按col2降序排列資料
df.groupby(col)：返回一個按列col進行分組的Groupby物件
df.groupby([col1,col2])：返回一個按多列進行分組的Groupby物件
df.groupby(col1)[col2]：返回按列col1進行分組後，列col2的均值
df.pivot_table(index=col1, values=[col2,col3], aggfunc=max)：建立一個按列col1進行分組，並計算col2和col3的最大值的資料透視表
df.groupby(col1).agg(np.mean)：返回按列col1分組的所有列的均值
data.apply(np.mean)：對DataFrame中的每一列應用函式np.mean
data.apply(np.max,axis=1)：對DataFrame中的每一行應用函式np.max

8、資料合併

df1.append(df2)：將df2中的行新增到df1的尾部
df.concat([df1, df2],axis=1)：將df2中的列新增到df1的尾部
df1.join(df2,on=col1,how='inner')：對df1的列和df2的列執行SQL形式的join

9、資料統計

df.describe()：檢視資料值列的彙總統計
df.mean()：返回所有列的均值
df.corr()：返回列與列之間的相關係數
df.count()：返回每一列中的非空值的個數
df.max()：返回每一列的最大值
df.min()：返回每一列的最小值
df.median()：返回每一列的中位數
df.std()：返回每一列的標準差

三、通過pandas模組將資料寫入到excel中

#!/usr/bin/env python
#-*- coding:utf-8 -*-

import random
import pandas as pd

data={
    '客戶編碼':[],
    '客戶名稱':[],
    '聯絡人':[],
    '手機':[],
    '郵箱':[],
}
for i in range(1,51):
    data['客戶編碼'].append('000'+str(i))
    data['客戶名稱'].append('測試'+str(i))
    data['聯絡人'].append('張'+str(i))
    data['手機'].append('13' +str(random.randrange(4,10))+''.join( str(random.choice(range(10))) for _ in range(8) ))
    data['郵箱'].append('125'+''.join( str(random.choice(range(4))) for _ in range(6) ) + '@qq.com')

df = pd.DataFrame(data)
df.to_excel('test.xls')      #將資料寫入到excel中

四、知識擴充套件

1、生成隨機手機號碼

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import random

#隨機產生5個手機號：以13開頭，後面跟一位1~9之間的任意一位數字，後面是8位隨機數字
for i in range(5):
  print('13' +
     str(random.randrange(1,10))+
     ''.join( str(random.choice(range(10))) for _ in range(8) )
     )

2、生成隨機帶有小數為3位的數字

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import random

#隨機產生3個數字：產生一個0~1之間的隨機小數(random.random())，乘1000,
#四捨五入到小數後3位，加上隨機產生的30~59之間的數字
for i in range(3):
    print(round(random.random()* 1000,3 ) + random.sample(range(30,60,3),2)[0])

3、生成隨機名字

#!/usr/bin/env python
#-*- coding:utf-8 -*-
import random

#生成三位數的名字
first=['張','王','李','馮','楊','何','趙','閔']
middle=['三','盼','亮','樹','瓊','增','潤','維']
last=['豐','源','柳','亮','平','磊','迪','哲']

for i in range(5):
    print(random.choice(first) + random.choice(middle) + random.choice(last))