前言

在瞭解了python的語法之後，我就開始嘗試寫第一個爬蟲，並且在網上也找了很多教程，發現有幾個模組在Python爬取網頁時，特別常用，例如：BeautfulSoup,Requests, csv, re。BeautfulSoup是一個方便解析html的模組，具體使用可以看Beautiful Soup 4.2.0 中文文件。Requests是一個模擬傳送請求的模組，具體使用可看Requests的開發介面。關於後兩個是Python自帶的模組，cvs的作用是資料的儲存，一般是.cvs檔案，re是Python中的正則表示式模組，一般用於對資料的再處理，兩者的具體使用可看The Python Standard Library

。

網頁爬蟲流程

在瞭解了爬蟲需要的模組後，我們就來學習一下，做一個簡單的網頁爬蟲的流程一般是什麼：

在這裡我們的小程式的流程基本上是一致的。

爬蟲

至於爬什麼網站，我選擇了爬取簡書，你也可以選取其他一些網站，像知乎，豆瓣等等。在簡書中有個模組是@IT·網際網路，我們就選擇它了，在它之中有個“熱門”選項，我們就來爬取它其中的內容，獲取熱門文章的“題目”，“閱讀人數”，“連結地址”，“評論條數”，“喜歡人數”，“打賞人數”，這樣我們就可以通過文章的“閱讀人數”，“評論條數”，“喜歡人數”，“打賞人數”選擇排序，選擇更加有價值的文章閱讀。

開啟“開發者工具”，在“network”下會點選“熱門”，第一個裡面就包含請求的url

清空network中的資訊，我們再滑動滾動條，因為是ajax請求，所以我們會在XHR選項發現一個帶有引數的url地址http://www.jianshu.com/c/V2CqjW?order_by=top&page=2,後面的page=2就是我們需要自己設定的，可以讓它遞增，獲取更多內容。

接下來我們因為需要用BeautfulSoup的通過css樣式獲取html的方法，所以我們需要找到定位的位置，獲取它的css樣式。這時我們需要開啟Elements選項卡，獲取到查詢資訊的css樣式，其中每個li

接下來我們就來編寫程式了，編寫順序可按照以下步驟進行：

1. 建儲存檔案
2. 設定正則表示式(只要數字)
3. 提供url地址
4. 設定css選擇器
5. 發請求，解析html
6. 得到特定資訊
7. 寫入檔案
8. 關閉檔案

具體程式碼如下：

from tinydb import TinyDB
import csv

#建儲存檔案
db = TinyDB('collection_cxy_hot2.json')
csvfile = open("cxy_hot2.csv", "w", encoding='utf-8') 

fieldnames = ["title", "href", "people", "commmit", "like", "money"]#設定表頭
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader()

import requests
from bs4 import BeautifulSoup
import re
reg = re.compile('(\d+)')#設定正則表示式，只要數字

#提供url地址
base_url = "http://www.jianshu.com"
hot_url="http://www.jianshu.com/c/V2CqjW?order_by=top&page=%d"
add_url=1

#設定css選擇器
title_selector = "#list-container .title"
people_selector = "div[class='meta'] > a"
commit_selector = "div[class='meta'] > a"
like_selector = "div[class='meta'] > span"
money_selector = "div[class='meta'] > span"

while(add_url < 300):
    try:
        #發請求，解析html
        first_page = requests.request('get', hot_url% add_url).content
        soup = BeautifulSoup(first_page, "lxml")

        #得到特定資訊
        collection_total = [i.get_text() for i in soup.select(title_selector)]
        if not collection_total : break#沒資訊時，break
        print(collection_total)
        collection_href = [(base_url+i.get('href')) for i in soup.select(title_selector)]
        collection_pepele = [int(reg.findall(i.get_text())[0]) for i in soup.select(people_selector)][::2]#獲取奇數項
        collection_commit = [int(reg.findall(i.get_text())[0]) for i in soup.select(commit_selector)][1::2]#獲取偶數項
        collection_like = [int(reg.findall(i.get_text())[0]) for i in soup.select(like_selector)][::2]
        collection_money = [int(reg.findall(i.get_text())[0]) for i in soup.select(money_selector)][1::2]

        for c,d,e,f,g,h in zip(collection_total, collection_href, collection_pepele, collection_commit, collection_like, collection_money):
            collection_dict = {"title":c, "href":d, "people":e, "commmit":f, "like":g, "money":h}
            #寫入檔案
            db.insert(collection_dict)
            writer.writerow(collection_dict)
        add_url += 1#爬下一頁
    except Exception as t:
        print(t)
        break
csvfile.close()#關閉檔案

然後執行爬蟲，驗證結果，結果正確。

得到的.csv檔案可能用Excel開啟會亂碼，所以在這裡提供一個可以將.json檔案轉為格式良好的.csv檔案的網站：JSON to CSV Converter Online，把.json檔案傳上去，下載下來即可。

我們開啟下載檔案，就可以通過“閱讀人數”，“評論條數”，“喜歡人數”，“打賞人數”選擇排序，選擇更加有價值的文章閱讀了。

至此一個簡單的爬蟲小程式就完成了。

後續

因為這是我的第一個爬蟲程式，程式碼之中難免會有些選取規則不合適或命名不規範，希望大家能夠多多包涵，多多指正。