首先我們建立一個python檔案, tieba.py，我們要完成的是，輸入指定百度貼吧名字與指定頁面範圍之後爬取頁面html程式碼，我們首先觀察貼吧url的規律，比如：

發現規律了吧，貼吧中每個頁面不同之處，就是url最後的pn的值，其餘的都是一樣的，我們可以抓住這個規律（kw表示貼吧名，採用url編碼）。
清楚了url規則，我們便可以利用urllib進行批量式資料爬取，程式碼如下：

# -*- coding:utf-8 -*-
from urllib import request as urllib2
from urllib import parse
import random

def
 
 loadPage(url, page):
    '''
    根據url獲取伺服器響應檔案
    url:需要爬取的url
    '''
    print('---------正在下載頁面%d-------' % page)
    ua_list = [
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Mozilla/5.0 (Windows NT 6.1; rv2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11"
 
,
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
    ]
    header = random.choice(ua_list)
    request = urllib2.Request(url)
    request.add_header('User-Agent'
 
, header)
    response = urllib2.urlopen(request)
    html = response.read()
    return html

def write(html, page):
    '''
    將html檔案寫入本地
    :param html: 伺服器響應檔案內容
    :return:
    '''
    data = html
    file_name = 'tieba{}.txt'.format(page)
    print('---------正在儲存檔案%s-------'%file_name)
    # 運用with open as語句使程式碼更加簡潔 避免寫異常處理和檔案關閉語句
    with open(file_name,'w',encoding='utf-8') as file:
        file.write(data.decode())
    print('---------success!---------')


def tiebaSpider(url, kw, begin, end):
    '''
    爬取貼吧資訊
    '''
    words = {
        'kw':kw
    }
    kw = parse.urlencode(words)
    url = url % (kw)
    for page in range(begin, end + 1):
        pn = ((page-1)*50)
        ful_url = url + str(pn)
        html = loadPage(url, page)
        write(html, page)

if __name__ == '__main__':
    kw = input('請輸入爬取貼吧名:')
    beginPage = int(input('請輸入起始頁:'))
    endPage = int(input('請輸入結束頁:'))
    url = r'http://tieba.baidu.com/f?%s&pn='
    tiebaSpider(url, kw, beginPage, endPage)

控制檯結果如下：

請輸入爬取貼吧名:河南
請輸入起始頁:1
請輸入結束頁:3
---------正在下載頁面1-------
---------正在儲存檔案tieba1.txt-------
---------success!---------
---------正在下載頁面2-------
---------正在儲存檔案tieba2.txt-------
---------success!---------
---------正在下載頁面3-------
---------正在儲存檔案tieba3.txt-------
---------success!---------

Process finished with exit code 0