python和mysql互動詳解---- (pandas)讀csv檔案,executemny批量寫入db中
阿新 • • 發佈:2018-11-16
主要用到pandas從csv檔案中抓資料,pandas抓出的資料是dataframe格式的,而且有的可能是Nan,抓出df格式的資料需要再處理,才能批處理的寫入資料庫中,executemany批出的格式不能是df,這裡處理成list
import pymysql import codecs import pandas as pd # 開啟資料庫連線 def get_conn(): conn = pymysql.connect(host='xxxxx', port=3306, user='xx', passwd='xx', db='資料庫名字', charset='utf8') return conn def insert(cur, sql, args): cur.executemany(sql, args) #從csv中讀檔案成資料 def read_csv(filename): #pandas讀取csv獲取dataframe格式的資料 df = pd.read_csv(filename) #將df中的Nan替換成none df = df.where(df.notnull(), None) #將df格式的資料轉化為list格式 dataList = df.values.tolist() return dataList #將檔案寫入DB中 def fileToDb(dataList,dbTableName): conn = get_conn() cur = conn.cursor() n = len(dataList[0]) str_s = ','.join(['%s' for _ in range(n)]) sql = 'insert into {} values({})'.format(dbTableName,str_s) insert(cur, sql=sql, args=dataList) conn.commit() cur.close() conn.close()
呼叫函式
dataList = read_csv('orders.csv')
fileToDb(dataList,'ordersfinal')