Python使用Pandas庫實現MySQL資料庫的讀寫
本次分享將介紹如何在Python中使用Pandas庫實現MySQL資料庫的讀寫。首先我們需要了解點ORM方面的知識
ORM技術
物件關係對映技術，即ORM（Object-Relational Mapping）技術，指的是把關係資料庫的表結構對映到物件上，通過使用描述物件和資料庫之間對映的元資料，將程式中的物件自動持久化到關係資料庫中。
在Python中，最有名的ORM框架是SQLAlchemy。Java中典型的ORM中介軟體有:Hibernate,ibatis,speedframework。
SQLAlchemy
SQLAlchemy是Python程式語言下的一款開源軟體。提供了SQL工具包及物件關係對映（ORM）工具，使用MIT許可證發行
SQLAlchemy模組提供了create_engine()函式用來初始化資料庫連線，SQLAlchemy用一個字串表示連線資訊：
'資料庫型別+資料庫驅動名稱://使用者名稱:口令@機器地址:埠號/資料庫名
Pandas讀寫MySQL資料庫
我們需要以下三個庫來實現Pandas讀寫MySQL資料庫：
- pandas
- sqlalchemy
- pymysql
其中，pandas模組提供了read_sql_query（）函式實現了對資料庫的查詢，to_sql（）函式實現了對資料庫的寫入。並不需要實現新建MySQL資料表。
sqlalchemy模組實現了與不同資料庫的連線，而pymysql模組則使得Python能夠操作MySQL資料庫。
我們將使用MySQL資料庫中的mydb資料庫以及employee表，內容如下：
注意：
1.根據庫的文件，我們看到to_sql函式支援兩類mysql引擎一個是sqlalchemy，另一個是sqlliet3.沒錯，在你寫入庫的時候，pymysql是不能用的！！！
mysqldb也是不能用的，你只能使用sqlalchemy或者sqlliet3！！鑑於sqllift3已經很久沒有更新了，筆者這裡建議使用sqlalchemy！！
2.to_sql函式並不在pd之中，而是在io.sql之中，是sql指令碼下的一個類！！！所以to_sql的最好寫法就是：
pd.io.sql.to_sql(df1,tablename,con=conn,if_exists='repalce')
下面將介紹一個簡單的例子來展示如何在pandas中實現對MySQL資料庫的讀寫：
import pandas as pd
from sqlalchemy import create_engine
# 初始化資料庫連線，使用pymysql模組
# MySQL的使用者：root,密碼:147369,埠：3306,資料庫：test
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
# 查詢語句，選出employee表中的所有資料
sql = ''' select * from employee; '''
# read_sql_query的兩個引數: sql語句， 資料庫連線
df = pd.read_sql_query(sql,engine)
# 輸出employee表的查詢結果
print(df)
# 新建pandas中的DataFrame,只有id,num兩列
df = pd.DataFrame({'id': [1,2,3,4],'name': ['zhangsan','lisi','wangwu','zhuliu']})
# 將新建的DataFrame儲存為MySQL中的資料表，儲存index列
df.to_sql('mydf',engine,index=True)
print('Read from and write to Mysql table successfully!')
執行結果：
這說明我們確實將pandas中新建的DataFrame寫入到了MySQL中！
將CSV檔案寫入到MySQL中
以上的例子實現了使用Pandas庫實現MySQL資料庫的讀寫，我們將再介紹一個例項：將CSV檔案寫入到MySQL中，示例的example.csv檔案如下
示例的Python程式碼如下：
# -*- coding: utf-8 -*-
# 匯入必要模組
import pandas as pd
from sqlalchemy import create_engine
# 初始化資料庫連線，使用pymysql模組
db_info = {'user': 'root','password': '123456','host': 'localhost','port': 3306,'database': 'test'
}
engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info,encoding='utf-8')
# 直接使用下一種形式也可以
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
# 讀取本地CSV檔案
df = pd.read_csv("C:/Users/fuqia/Desktop/example.csv",sep=',')
print(df)
# 將新建的DataFrame儲存為MySQL中的資料表，不儲存index列(index=False)
# if_exists:
# 1.fail:如果表存在，啥也不做
# 2.replace:如果表存在，刪了表，再建立一個新表，把資料插入
# 3.append:如果表存在，把資料插入，如果表不存在建立一個表！！
pd.io.sql.to_sql(df,'example',con=engine,index=False,if_exists='replace')
# df.to_sql('example',if_exists='replace')這種形式也可以
print("Write to MySQL successfully!")
在MySQL中檢視example表格
補充：engine.execute(sql)可以直接執行sql語句：
from sqlalchemy import create_engine
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS example"
engine.execute(sql)
如果用pymysql，則必須用cursor，讀者可以對比一下。
import pymysql
from sqlalchemy import create_engine
conn = pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='123456',db='test')
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql = "DROP TABLE IF EXISTS test_input"
cursor = conn.cursor()
cursor.execute(sql)
總結
本文主要介紹了ORM技術以及SQLAlchemy模組，並且展示了兩個Python程式的例項，介紹瞭如何使用Pandas庫實現MySQL資料庫的讀寫。
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。