在做爬蟲工作之前，永遠先做好筆記：

確定要爬取的url，爬取的具體內容是什麼，用什麼形式展現爬取到的內容。

部落格的標題大家也看到了，爬取的是貼吧的原始碼，也就是說任何貼吧的原始碼都能爬。

不光第一頁還要爬，第二頁第三頁……都要爬。

確定了上面的內容，那就可以開始程式碼的編寫了。

我最近在玩穿越火線，那就爬穿越火線吧：

首先獲取穿越火線貼吧的標準url：

"https://tieba.baidu.com/f?kw=穿越火線" 分析頁碼不同時url的區別： 第一頁："https://tieba.baidu.com/f?kw=穿越火線&ie=utf-8&pn=0" 第二頁："https://tieba.baidu.com/f?kw=穿越火線&ie=utf-8&pn=50" 第三頁："https://tieba.baidu.com/f?kw=穿越火線&ie=utf-8&pn=100" 對比分析，我們可以知道pn的值等於（頁碼-1）*50。 那麼收集headers資訊，就可以開始了： import requests   class TiebaSpider:     def __init__(self,tieba_name):        #實現能夠爬取任意貼吧的功能，所以貼吧的名字需要做一個變量出來。         self.tieba_name=tieba_name         self.url="https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"         self.headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6814.400QQBrowser/10.3.3005.400"}

    def get_url_list(self):#構造url列表         url_list=[]         for i in range(3):  #能夠爬取三頁，i是0，1，2。             url_list.append(self.url.format(i*50))         return url_list
    def parse_url(self,url):#傳送請求，獲取響應         response=requests.get(url,headers=self.headers)         return response.content.decode()  #顯示原始碼
    def save_html(self,html_str,page_num):#儲存html字串到檔案         file_path="{}-第{}頁.html".format(self.tieba_name,page_num)         with open(file_path,"w",encoding="utf-8") as f:  #建立檔案。指定unicode編碼為utf-8，很關鍵的一步。         f.write(html_str)

    def run(self):#實現主要邏輯     #1.構造url列表         url_list=self.get_url_list()     #2.遍歷，傳送請求，獲取相應         for url in url_list:             html_str=self.parse_url(url)  #把原始碼儲存到html_str變數之中。     #3.儲存html字串             page_num=url_list.index(url)+1     #用index檢查是否存在url，並報出索引位置，是從0開始的。             self.save_html(html_str,page_num)             print(url,"爬取成功！")

if __name__=="__main__":     tieba_spider=TiebaSpider("穿越火線")      #建立一個穿越火線吧的例項，這樣做可以爬任意的貼吧。     tieba_spider.run()    敲爬蟲程式碼的時候，思緒一定要清晰，先打好run()的主要功能，再去一一分別實現出來