本文例項講述了Python3爬蟲學習之MySQL資料庫儲存爬取的資訊。分享給大家供大家參考，具體如下：

資料庫儲存爬取的資訊（MySQL）

爬取到的資料為了更好地進行分析利用，而之前將爬取得資料存放在txt檔案中後期處理起來會比較麻煩，很不方便，如果資料量比較大的情況下，查詢更加麻煩，所以我們通常會把爬取的資料儲存到資料庫中便於後期分析利用。

這裡，資料庫選擇MySQL，採用pymysql 這個第三方庫來處理python和mysql資料庫的存取，python連線mysql資料庫的配置資訊

db_config ={
  'host': '127.0.0.1','port': 3306,'user': 'root','password': '','db': 'pytest','charset': 'utf8'
}

以爬取簡書首頁文章標題以及url為例，先分析抓取目標資訊，

如上圖，文章題目在a標籤中，且url（href）只含有後半部分，所以在儲存的時候，最好把它補全。

mysql：新建一個數據庫pytest，建立一張名為titles的表，表中欄位分別為id(int自增)，title(varchar)，url(varchar),如下：

進行資料庫操作的思路為：獲得資料庫連線（connection）->獲得遊標（cursor）->執行sql語句（execute）->事物提交(commit)->關閉資料據庫連線（close），具體程式碼實現如下：

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
import pymysql
# mysql連線資訊（字典形式）
db_config ={
  'host': '127.0.0.1','charset': 'utf8'
}
# 獲得資料庫連線
connection = pymysql.connect(**db_config)
# 資料庫配置，獲得連線（引數方式）
# connection = pymysql.connect(host='127.0.0.1',#            port=3306,#            user='root',#            password='',#            db='pytest',#            charset='utf8')
url = r'http://www.jianshu.com/'
# 模擬瀏覽器頭
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
page = request.Request(url,headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
soup = BeautifulSoup(page_info,'html.parser')
urls = soup.find_all('a','title')
try:
  # 獲得資料庫遊標
  with connection.cursor() as cursor:
    sql = 'insert into titles(title,url) values(%s,%s)'
    for u in urls:
      # 執行sql語句
      cursor.execute(sql,(u.string,r'http://www.jianshu.com'+u.attrs['href']))
  # 事務提交
  connection.commit()
finally:
  # 關閉資料庫連線
  connection.close()

程式碼執行結果：

更多關於Python相關內容可檢視本站專題：《Python Socket程式設計技巧總結》、《Python正則表示式用法總結》、《Python資料結構與演算法教程》、《Python函式使用技巧總結》、《Python字串操作技巧彙總》、《Python入門與進階經典教程》及《Python檔案與目錄操作技巧彙總》

希望本文所述對大家Python程式設計有所幫助。