@夢想橡皮擦 是你的部落格自動評論“謝謝博主分享”把我帶入了爬蟲的世界， 僅以此篇部落格表示敬意！

基礎知識：

網路爬蟲是一種高效地資訊採集利器，利用它可以快速、準確地採集網際網路上的各種資料資源，幾乎已經成為大資料時代IT從業者的必修課。簡單點說，網路爬蟲就是獲取網頁並提取和儲存資訊的自動化過程，分為下列三個步驟：獲取網頁、提取資訊、儲存資料。

1.獲取網頁

使用requests傳送GET請求獲取網頁的原始碼。以獲取百度為例：

import requests
response = requests.get('https://www.baidu.com')
print(response.text)
 

2.提取資訊

Beautiful Soup是Python的一個HTML或XML解析庫，速度快，容錯能力強，可以方便、高效地從網頁中提取資料。基本用法：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.prettify())
print(soup.title.string)

Beautiful Soup方法選擇器：

find_all()查詢符合條件的所有元素，返回所有匹配元素組成的列表。API如下：

find_all(name,attrs,recursive,text,**kwargs)
 

find()返回第一個匹配的元素。舉個栗子：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print(soup.find('div', attrs={'class': 'article-list'}))

3.儲存資料

使用Txt文件儲存，相容性好。

使用with as語法。在with控制塊結束的時候，檔案自動關閉。舉個栗子：

with open(file_name, 'a') as file_object:
    file_object.write("I love programming.\n")
    file_object.write("I love playing basketball.\n")
 

分析頁面：

要爬取的頁面是一個部落格頁面：https://blog.csdn.net/hihell/article/list/1，這位博主曾在我的部落格下面進行評論留言，讓我甚是感動。爬取部落格，只為學習，並無惡意。

使用Chrome的開發者工具（快捷鍵F12），看到這個頁面的博文列表是一個article-list，下面有許多article-item-box，對應每一篇博文。

每一篇博文下面有各種資訊：標題、連結、摘要、發表日期、閱讀量、評論量等。

需要做的就是獲取到這個頁面，然後提取各種資訊，轉存為txt即可。

編寫程式碼：

獲取網頁使用requests ，提取資訊使用Beautiful Soup，儲存使用txt就可以了。

# coding: utf-8
import re
import requests
from bs4 import BeautifulSoup

def get_blog_info():
    headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
                             'AppleWebKit/537.36 (KHTML, like Gecko) '
                             'Ubuntu Chromium/44.0.2403.89 '
                             'Chrome/44.0.2403.89 '
                             'Safari/537.36'}
    html = get_page(blog_url)
    soup = BeautifulSoup(html, 'lxml')
    article_list = soup.find('div', attrs={'class': 'article-list'})
    article_item = article_list.find_all('div', attrs={'class': 'article-item-box csdn-tracking-statistics'})
    for ai in article_item:
        title = ai.a.text.replace(ai.a.span.text, "")
        link = ai.a['href']
        date = ai.find('div', attrs={'class': 'info-box d-flex align-content-center'}).span.text
        read_num = ai.find('div', attrs={'class': 'info-box d-flex align-content-center'}).find_all('span', attrs={
            'class': 'read-num'})[0].text
        comment_num = ai.find('div', attrs={'class': 'info-box d-flex align-content-center'}).find_all('span', attrs={
            'class': 'read-num'})[1].text
        print(title.strip())
        print(link)
        print(date)
        print(read_num)
        print(comment_num)
        write_to_file(title)
        write_to_file(link)
        write_to_file('\t' + date)
        write_to_file('\t' + read_num)
        write_to_file('\t' + comment_num)


def get_page(url):
    try:
        headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '
                                 'AppleWebKit/537.36 (KHTML, like Gecko) '
                                 'Ubuntu Chromium/44.0.2403.89 '
                                 'Chrome/44.0.2403.89 '
                                 'Safari/537.36'}
        response = requests.get(blog_url, headers=headers, timeout=10)
        return response.text
    except:
        return ""


def write_to_file(content):
    with open('article.txt', 'a', encoding='utf-8') as f:
        f.write(content)


if __name__ == '__main__':
    blog_url = "https://blog.csdn.net/hihell/article/list/1"
    get_blog_info()

爬取結果：