爬蟲是一個自動提取網頁的程式，它為搜尋引擎從全球資訊網上下載網頁，是搜尋引擎的重要組成。爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的 URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入佇列,直到滿足系統的一定停止條件。爬蟲的工作流程較為複雜，需要根據一定的網頁分析算 法過濾與主題無關的連結，保留有用的連結並將其放入等待抓取的URL佇列。然後，它將根據一定的搜尋策略從佇列中選擇下一步要抓取的網頁URL，並重覆上 述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索。常見的爬 蟲框架有Scrapy

　　自定義爬蟲程式一般包含：URL管理器、網頁下載器、網頁解析器、輸出處理器。

　　以下我寫了一個爬取百度百科詞條的例項。

爬蟲主程式入口

from crawler_test.html_downloader import UrlDownLoader
from crawler_test.html_outer import HtmlOuter
from crawler_test.html_parser import HtmlParser
from crawler_test.url_manager import UrlManager

# 爬蟲主程式入口
class MainCrawler():
    def __init__(self):
        # 初始值，例項化四大處理器：url管理器，下載器，解析器，輸出器
        self.urls = UrlManager()
        self.downloader = UrlDownLoader()
        self.parser = HtmlParser()
        self.outer = HtmlOuter()

    # 開始爬蟲方法
    def start_craw(self, main_url):
        print('爬蟲開始...')
        count = 1
        self.urls.add_new_url(main_url)
        while self.urls.has_new_url():
            try:
                new_url = self.urls.get_new_url()
                print('爬蟲%d,%s' % (count, new_url))
                html_cont = self.downloader.down_load(new_url)
                new_urls, new_data = self.parser.parse(new_url, html_cont)

                # 將解析出的url放入url管理器，解析出的資料放入輸出器中
                self.urls.add_new_urls(new_urls)
                self.outer.conllect_data(new_data)

                if count >= 10:　　# 控制爬取的數量
                    break
                count += 1
            except:
                print('爬蟲失敗一條')

        self.outer.output()
        print('爬蟲結束。')


if __name__ == '__main__':
    main_url = 'https://baike.baidu.com/item/Python/407313'
    mc = MainCrawler()
    mc.start_craw(main_url)

URL管理器

# URL管理器
class UrlManager():
    def __init__(self):
        self.new_urls = set()  # 待爬取
        self.old_urls = set()  # 已爬取

    # 新增一個新的url
    def add_new_url(self, url):
        if url is None:
            return
        elif url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)

    # 批量新增url
    def add_new_urls(self, urls):
        if urls is None or len(urls) == 0:
            return
        else:
            for url in urls:
                self.add_new_url(url)

    # 判斷是否有url
    def has_new_url(self):
        return len(self.new_urls) != 0

    # 從待爬取的集合中獲取一個url
    def get_new_url(self):
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url

網頁下載器

from urllib import request

# 網頁下載器
class UrlDownLoader():
    def down_load(self, url):
        if url is None:
            return None
        else:            
            with request.urlopen(url) as rp:                 # 發請求，開啟網頁
                if rp.status != 200:
                    return None
                else:
                    return rp.read()                        # 讀取網頁內容

網頁解析器

import re
from urllib import request
from bs4 import BeautifulSoup

# 網頁解析器，使用BeautifulSoup
class HtmlParser():

    # 每個詞條中，可以有多個超連結
    # main_url指url公共部分，如“https://baike.baidu.com/”
    def _get_new_url(self, main_url, soup):
        # baike.baidu.com/
        # <a target="_blank" href="/item/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A8%8B%E5%BA%8F%E8%AE%BE%E8%AE%A1%E8%AF%AD%E8%A8%80">計算機程式設計語言</a>
        new_urls = set()

        # 解析出main_url之後的url部分
        child_urls = soup.find_all('a', href=re.compile(r'/item/(\%\w{2})+'))
        for child_url in child_urls:
            new_url = child_url['href']

            # 再拼接成完整的url
            full_url = request.urljoin(main_url, new_url)
            new_urls.add(full_url)
        return new_urls

    # 每個詞條中，只有一個描述內容，解析出資料（詞條，內容）
    def _get_new_data(self, main_url, soup):
        new_datas = {}
        new_datas['url'] = main_url
        # <dd class="lemmaWgt-lemmaTitle-title"><h1>計算機程式設計語言</h1>...
        new_datas['title'] = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1').get_text()
        # class="lemma-summary" label-module="lemmaSummary"...
        new_datas['content'] = soup.find('div', attrs={'label-module': 'lemmaSummary'},
                                         class_='lemma-summary').get_text()
        return new_datas

    # 解析出url和資料（詞條，內容）
    def parse(self, main_url, html_cont):
        if main_url is None or html_cont is None:
            return
        soup = BeautifulSoup(html_cont, 'lxml', from_encoding='utf-8')
        new_url = self._get_new_url(main_url, soup)
        new_data = self._get_new_data(main_url, soup)
        return new_url, new_data

輸出處理器

# 輸出器
class HtmlOuter():
    def __init__(self):
        self.datas = []

    # 先收集資料
    def conllect_data(self, data):
        if data is None:
            return
        self.datas.append(data)
        return self.datas

    # 輸出為HTML
    def output(self, file='output_html.html'):
        with open(file, 'w', encoding='utf-8') as fh:
            fh.write('<html>')
            fh.write('<head>')
            fh.write('<meta charset="utf-8"></meta>')
            fh.write('<title>爬蟲資料結果</title>')
            fh.write('</head>')
            fh.write('<body>')

            fh.write(
                '<table style="border-collapse:collapse; border:1px solid gray; width:80%; word-wrap:break-word; margin:20px auto;">')
            fh.write('<tr>')
            fh.write('<th style="border:1px solid black; width:35%;">URL</th>')
            fh.write('<th style="border:1px solid black; width:15%;">詞條</th>')
            fh.write('<th style="border:1px solid black; width:50%;">內容</th>')
            fh.write('</tr>')
            for data in self.datas:
                fh.write('<tr>')
                fh.write('<td style="border:1px solid black">{0}</td>'.format(data['url']))
                fh.write('<td style="border:1px solid black">{0}</td>'.format(data['title']))
                fh.write('<td style="border:1px solid black">{0}</td>'.format(data['content']))
                fh.write('</tr>')
            fh.write('</table>')

            fh.write('</body>')
            fh.write('</html>')

效果（部分）：