Python 爬蟲從入門到進階之路（十三）
阿新 • • 發佈：2019-07-08
之前的文章我們介紹了一下 BeautifulSoup4 模組，接下來我們就利用 BeautifulSoup4 模組爬取《糗事百科》的糗事。
之前我們已經分別利用 re 模組和 Xpath 模組爬取過糗百，我們只需要在其基礎上做一些修改就可以了，為了保證專案的完整性，我們重新再來一遍。
我們要爬取的網站連結是 https://www.qiushibaike.com/text/page/1/ 。
我們通過瀏覽器開發者工具的控制檯發現我們想要的資料在 <div class="content">......</div> 內：
根據上面的分析我們可以寫出程式碼如下：
1 import urllib.request
2 from bs4 import BeautifulSoup
3 import ssl
4
5 # 取消代理驗證
6 ssl._create_default_https_context = ssl._create_unverified_context
7
8
9 url = "https://www.qiushibaike.com/text/page/1/"
10 # User-Agent頭
11 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
12 headers = {'User-Agent': user_agent}
13 req = urllib.request.Request(url, headers=headers)
14 response = urllib.request.urlopen(req)
15 # 獲取每頁的HTML原始碼字串
16 html = response.read().decode('utf-8')
17 # 解析html 為 Beautiful Soup 物件
18 soup = BeautifulSoup(html, "lxml")
19 content_list = soup.select('div.content')
20 print(content_list)最終我們列印結果如下：
從上面的輸出結果可以看出我們已經拿到了我們想要的資料，並且是一個列表型別，我們對列表進行操作扥別拿到糗事再儲存到本地即可。
1 for item in item_list:
2 item = item.get_text().replace("\n", "")
3 self.writePage(item)
上面就可以實現一個獲取 糗事百科 的糗事的簡單爬蟲，但是隻能爬取單個頁面的內容，通過分析 url 我們發現 https://www.qiushibaike.com/text/page/1/ 中最後的 1 即為頁碼，我們就可以根據這個頁碼逐一爬取更多頁面的內容，最終的程式碼如下：
1 import urllib.request
2 from bs4 import BeautifulSoup
3 import ssl
4
5 # 取消代理驗證
6 ssl._create_default_https_context = ssl._create_unverified_context
7
8
9 class Spider:
10 def __init__(self):
11 # 初始化起始頁位置
12 self.page = 1
13 # 爬取開關，如果為True繼續爬取
14 self.switch = True
15
16 def loadPage(self):
17 """
18 作用：開啟頁面
19 """
20 url = "https://www.qiushibaike.com/text/page/" + str(self.page) + "/"
21 # User-Agent頭
22 user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36'
23 headers = {'User-Agent': user_agent}
24 req = urllib.request.Request(url, headers=headers)
25 response = urllib.request.urlopen(req)
26 # 獲取每頁的HTML原始碼字串
27 html = response.read().decode('utf-8')
28 # 解析html 為 Beautiful Soup 物件
29 soup = BeautifulSoup(html, "lxml")
30 content_list = soup.select('div.content')
31 # 呼叫dealPage() 處理糗事裡的雜七雜八
32 self.dealPage(content_list)
33
34 def dealPage(self, item_list):
35 """
36 @brief 處理得到的糗事列表
37 @param item_list 得到的糗事列表
38 @param page 處理第幾頁
39 """
40 for item in item_list:
41 item = item.get_text().replace("\n", "")
42 self.writePage(item)
43
44 def writePage(self, text):
45 """
46 @brief 將資料追加寫進檔案中
47 @param text 檔案內容
48 """
49 myFile = open("./qiushi.txt", 'a') # 追加形式開啟檔案
50 myFile.write(text + "\n\n")
51 myFile.close()
52
53 def startWork(self):
54 """
55 控制爬蟲執行
56 """
57 # 迴圈執行，直到 self.switch == False
58 while self.switch:
59 # 使用者確定爬取的次數
60 self.loadPage()
61 command = input("如果繼續爬取，請按回車（退出輸入quit)")
62 if command == "quit":
63 # 如果停止爬取，則輸入 quit
64 self.switch = False
65 # 每次迴圈，page頁碼自增1
66 self.page += 1
67 print("爬取結束！")
68
69
70 if __name__ == '__main__':
71 # 定義一個Spider物件
72 qiushiSpider = Spider()
73 qiushiSpider.startWork()
最終會在本地新增一個 qiushi.txt 的檔案，結果如下：
&n