目錄

• 什麼是pandas
• 一、如何讀取資料庫-read_sql
• 二、如何篩選資料
• 三、如何連表-merge
• 四、如何刪除一行或一列-drop
• 五、如何分組統計-groupyby
• 六、如何排序-sort_values/sort_index
• 七、如何重建索引-groupby(as_index=False)/reset_index
• 八、如何翻轉dataframe-T
• 九、如何重新命名列-rename
• 十、如何強制轉換型別-astype
• 十一、groupby只有一列時如何count-size
• 十二、如何操作時間-.dt.
• 十三、如何操作字串-.str.
• 十四、如何進行資料透視-pivot/pivot_table
• 十五、如何進行視覺化-plot

什麼是pandas

pandas 是基於NumPy 的一種工具，該工具是為了解決資料分析任務而建立的。
Pandas納入了大量庫和一些標準的資料模型，提供了大量能使我們快速便捷地處理資料的函式和方法。
主要包含兩種資料型別：Series和DataFrame

• Series可以理解為dict的升級版本，主陣列存放numpy資料型別，index資料存放索引
• DataFrame相當於多維的Series，有兩個索引陣列，分別是行索引和列索引，可以理解成Series組成的字典

相關幫助文件

• 十分鐘入門教程
• DataFrame文件
• Series文件

一、如何讀取資料庫-read_sql

示例程式碼如下

from sqlalchemy import create_engine
import pandas as pd

username = '使用者名稱'
password = '密碼'
host = '連線地址'
db = '資料庫'
port = 埠號

link = f'''mysql+pymysql://{username}:{password}@{host}:{port}/{db}?charset=utf8'''
engine = create_engine(link, pool_recycle=3600)
 

核心方法read_sql

log:pd.DataFrame = pd.read_sql("SELECT * FROM log ORDER BY id DESC ",engine)

執行結果如下

二、如何篩選資料

• 篩選建立時間大於某個時間點的記錄

import datetime
log[log['create_time'] > '2020-01-15 16:14:22']

• 篩選指定列的DataFrame
  直接傳遞陣列給給DataFrame

logs[['user_id','type']]

• 獲取一列Series

logs['type']

• iloc和loc
  iloc[行，列]是根據行號和列號獲取，loc[行索引 ,列索引]是根據索引名獲取
  

三、如何連表-merge

現在我需要將user_id對應的使用者名稱找出來，示例程式碼如下

#查詢出所有的使用者,以便將log和users做join
users:pd.DataFrame=pd.read_sql("SELECT * FROM users",engine)
users

• users和log的欄位太多，先做一下篩選

log=log[['type','user_id','project_id','create_time']]
users=users[['id','username','real_name']]

執行join，使用merge方法，how指定左連，left_on指定左表使用的欄位， right_on指定右表使用的欄位

log.merge(users,how='left',left_on='user_id',right_on='id')

四、如何刪除一行或一列-drop

drop方法，axis為0代表行，1代表列

renameRes.drop('建立時間',axis=1)

五、如何分組統計-groupyby

dropRes.groupby(['type','real_name']).count()

六、如何排序-sort_values/sort_index

by指定欄位，ascending指定升序還是降序

log.sort_values(by='user_id',ascending=False)

七、如何重建索引-groupby(as_index=False)/reset_index

預設groupby後的結果是行索引是groupby的欄位

log.merge(users,how='left',left_on='user_id',right_on='id').groupby('type').count()

groupby指定引數as_index

log.merge(users,how='left',left_on='user_id',right_on='id').groupby('type',as_index=False).count()

另外，還可以count完後直接呼叫reset_index方法

log.merge(users,how='left',left_on='user_id',right_on='id').groupby('type').count().reset_index()

八、如何翻轉dataframe-T

log.T

九、如何重新命名列-rename

使用rename方法，傳遞一個字典即可，如下

pd.DataFrame = res[['type','username','real_name','create_time']].rename({'create_time':'建立時間'},axis=1)

十、如何強制轉換型別-astype

log['create_time'].astype(str)

十一、groupby只有一列時如何count-size

count是必須依賴其他列做統計的，當只有一列的時候如何還使用count，是看不出統計欄位的，正確的方法應該是使用size

test4=pd.read_sql("SELECT `type` FROM log LIMIT 100",engine)
test4.groupby('type').size()

十二、如何操作時間-.dt.

例如，要將create_time轉為YY-MM-DD格式，可以使用函式.dt.date

log['create_time'].dt.date

具體方法可以參考Series的API文件的Datetime操作

十三、如何操作字串-.str.

例如，轉為大寫

log['type'].str.upper()

具體方法可以參考Series的API文件的字串操作

十四、如何進行資料透視-pivot/pivot_table

簡單的理解就是一個更高階的groupby功能

df = pd.DataFrame({'foo': ['one', 'one', 'one', 'two', 'two',
                            'two'],
                    'bar': ['A', 'B', 'C', 'A', 'B', 'C'],
                    'baz': [1, 2, 3, 4, 5, 6],
                    'zoo': ['x', 'y', 'z', 'q', 'w', 't']})
df.pivot(index='foo', columns='bar', values='baz')

pivot_table支援分組後再聚合操作

df = pd.DataFrame({"A": ["foo", "foo", "foo", "foo", "foo",
                          "bar", "bar", "bar", "bar"],
                    "B": ["one", "one", "one", "two", "two",
                          "one", "one", "two", "two"],
                    "C": ["small", "large", "large", "small",
                          "small", "large", "small", "small",
                          "large"],
                    "D": [1, 2, 2, 3, 3, 4, 5, 6, 7],
                    "E": [2, 4, 5, 5, 6, 6, 8, 9, 9]}
                 )

根據ABC分組，計算D的值，AB為行索引，C為列索引再使用sum函式，如下

df.pivot_table(values='D', index=['A', 'B'], columns=['C'], aggfunc=np.sum, fill_value=0)

十五、如何進行視覺化-plot

一般使用matplotlib進行繪圖
例如，統計所有的操作日誌最多的前三個，繪製直方圖
先取出這些資料，如下

#獲取所有操作型別最多的10條資料
countRes=log.groupby('type',as_index=False).count().drop(['create_time','project_id'],axis=1).rename({'user_id':'count'},axis=1).sort_values(by='count',ascending=False).head(10)

為了讓圖是遞增的狀態，我們反轉一下

countRes=countRes.iloc[::-1]

再使用matplotlib繪製直方圖

import matplotlib.pyplot as plt
plt.barh(countRes['type'],countRes['count'])

相關推薦