1. 程式人生 > >python和mysql互動詳解---- (pandas)讀csv檔案,executemny批量寫入db中

python和mysql互動詳解---- (pandas)讀csv檔案,executemny批量寫入db中

主要用到pandas從csv檔案中抓資料,pandas抓出的資料是dataframe格式的,而且有的可能是Nan,抓出df格式的資料需要再處理,才能批處理的寫入資料庫中,executemany批出的格式不能是df,這裡處理成list

import pymysql
import codecs
import pandas as pd
# 開啟資料庫連線
def get_conn():
    conn = pymysql.connect(host='xxxxx', port=3306, user='xx', passwd='xx', db='資料庫名字', charset='utf8')
    return conn

def insert(cur, sql, args):
    cur.executemany(sql, args)

#從csv中讀檔案成資料
def read_csv(filename):
    #pandas讀取csv獲取dataframe格式的資料
    df = pd.read_csv(filename) 
    #將df中的Nan替換成none
    df = df.where(df.notnull(), None)
    #將df格式的資料轉化為list格式
    dataList = df.values.tolist()
    return dataList

#將檔案寫入DB中        
def fileToDb(dataList,dbTableName):
    conn = get_conn()
    cur = conn.cursor()
    n = len(dataList[0])
    str_s = ','.join(['%s' for _ in range(n)])
    sql = 'insert into {}  values({})'.format(dbTableName,str_s)
      
    insert(cur, sql=sql, args=dataList)

    conn.commit()
    cur.close()
    conn.close()

呼叫函式

dataList = read_csv('orders.csv')
fileToDb(dataList,'ordersfinal')