實驗環境

1.安裝Python 3.7

2.安裝requests,bs4，pymysql 模組

實驗步驟1.安裝環境及模組

可參考https://www.jb51.net/article/194104.htm

2.編寫程式碼

# 51cto 部落格頁面資料插入mysql資料庫
# 匯入模組
import re
import bs4
import pymysql
import requests

# 連線資料庫賬號密碼
db = pymysql.connect(host='172.171.13.229',user='root',passwd='abc123',db='test',port=3306,charset='utf8')
# 獲取遊標
cursor = db.cursor()

def open_url(url):
  # 連線模擬網頁訪問
  headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) '
           'Chrome/57.0.2987.98 Safari/537.36'}
  res = requests.get(url,headers=headers)
  return res

# 爬取網頁內容
def find_text(res):
  soup = bs4.BeautifulSoup(res.text,'html.parser')

  # 部落格名
  titles = []
  targets = soup.find_all("a",class_="tit")
  for each in targets:
    each = each.text.strip()
    if "置頂" in each:
      each = each.split(' ')[0]
    titles.append(each)

  # 閱讀量
  reads = []
  read1 = soup.find_all("p",class_="read fl on")
  read2 = soup.find_all("p",class_="read fl")
  for each in read1:
    reads.append(each.text)
  for each in read2:
    reads.append(each.text)

  # 評論數
  comment = []
  targets = soup.find_all("p",class_='comment fl')
  for each in targets:
    comment.append(each.text)

  # 收藏
  collects = []
  targets = soup.find_all("p",class_='collect fl')
  for each in targets:
    collects.append(each.text)

   # 釋出時間
  dates=[]
  targets = soup.find_all("a",class_='time fl')
  for each in targets:
    each = each.text.split('：')[1]
    dates.append(each)

  # 插入sql 語句
  sql = """insert into blog (blog_title,read_number,comment_number,collect,dates)
  values( '%s','%s','%s');"""
  # 替換頁面 \xa0
  for titles,reads,comment,collects,dates in zip(titles,dates):
    reads = re.sub('\s','',reads)
    comment = re.sub('\s',comment)
    collects = re.sub('\s',collects)
    cursor.execute(sql % (titles,collects，dates))
    db.commit()
    pass

# 統計總頁數
def find_depth(res):
  soup = bs4.BeautifulSoup(res.text,'html.parser')
  depth = soup.find('li',class_='next').previous_sibling.previous_sibling.text
  return int(depth)

# 主函式
def main():
  host = "https://blog.51cto.com/13760351"
  res = open_url(host) # 開啟首頁連結
  depth = find_depth(res) # 獲取總頁數

  # 爬取其他頁面資訊
  for i in range(1,depth + 1):
    url = host + '/p' + str(i) # 完整連結
    res = open_url(url) # 開啟其他連結
    find_text(res) # 爬取資料

  # 關閉遊標
  cursor.close()
  # 關閉資料庫連線
  db.close()

if __name__ == '__main__':
  main()

3..MySQL建立對應的表

CREATE TABLE `blog` (
 `row_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主鍵',`blog_title` varchar(52) DEFAULT NULL COMMENT '部落格標題',`read_number` varchar(26) DEFAULT NULL COMMENT '閱讀數量',`comment_number` varchar(16) DEFAULT NULL COMMENT '評論數量',`collect` varchar(16) DEFAULT NULL COMMENT '收藏數量',`dates` varchar(16) DEFAULT NULL COMMENT '釋出日期',PRIMARY KEY (`row_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

4.執行程式碼，檢視效果:

改進版：

改進內容：

1.資料庫裡面的某些欄位只保留數字即可

2.預設爬取的內容都是字串，存放資料庫的某些欄位，最好改為整型，方便後面資料庫操作

1.程式碼如下：

import re
import bs4
import pymysql
import requests

# 連線資料庫
db = pymysql.connect(host='172.171.13.229','html.parser')

  # 部落格標題
  titles = []
  targets = soup.find_all("a",class_='collect fl')
  for each in targets:
    collects.append(each.text)

  # 釋出時間
  dates=[]
  targets = soup.find_all("a",class_='time fl')
  for each in targets:
    each = each.text.split('：')[1]
    dates.append(each)

  # 插入sql 語句
  sql = """insert into blogs (blog_title,reads)
    reads=int(re.sub('\D',"",reads)) #匹配數字，轉換為整型
    comment = re.sub('\s',comment)
    comment = int(re.sub('\D',comment)) #匹配數字，轉換為整型
    collects = re.sub('\s',collects)
    collects = int(re.sub('\D',collects)) #匹配數字，轉換為整型
    dates = re.sub('\s',dates)
    cursor.execute(sql % (titles,dates))
    db.commit()
    pass

# 統計總頁數
def find_depth(res):
  soup = bs4.BeautifulSoup(res.text,depth + 1):
    url = host + '/p' + str(i) # 完整連結
    res = open_url(url) # 開啟其他連結
    find_text(res) # 爬取資料

  # 關閉遊標
  cursor.close()
  # 關閉資料庫連線
  db.close()

#主程式入口
if __name__ == '__main__':
  main()

2.建立對應表

CREATE TABLE `blogs` (
 `row_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主鍵',`read_number` int(26) DEFAULT NULL COMMENT '閱讀數量',`comment_number` int(16) DEFAULT NULL COMMENT '評論數量',`collect` int(16) DEFAULT NULL COMMENT '收藏數量',PRIMARY KEY (`row_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

3.執行程式碼，驗證

升級版

為了能讓小白就可以使用這個程式，可以把這個專案打包成exe格式的檔案，讓其他人，使用電腦就可以執行程式碼，這樣非常方便！

1.改進程式碼：

#末尾修改為：
if __name__ == '__main__':
  main()
  print("\n\t\t所有資料已成功存放資料庫！!! \n")
  time.sleep(5)

2.安裝打包模組pyinstaller(cmd安裝）

pip install pyinstaller -i https://pypi.tuna.tsinghua.edu.cn/simple/

3.Python程式碼打包

1.切換到需要打包程式碼的路徑下面

2.在cmd視窗執行 pyinstaller -F test03.py （test03為專案名稱）

4.檢視exe包

在打包後會出現dist目錄，打好包就在這個目錄裡面

5.執行exe包，檢視效果

檢查資料庫

總結：

1.這一篇部落格，是在上一篇的基礎上改進的，步驟是先爬取首頁的資訊，再爬取其他頁面資訊，最後在改進細節，打包exe檔案

2.我們爬取網頁資料大多數還是存放到資料庫的，所以這種方法很實用。

3.其實在此部落格的基礎上還是可以改進的，重要的是掌握方法即可。

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。