目標：
1、對百度貼吧的任意帖子進行爬取
2、爬取帖子指定內容
3、將爬取內容儲存到檔案

1、分析url

https://tieba.baidu.com/p/3138733512?see_lz=1&pn=1
分析：
https：傳輸協議
tieba.baidu.com：百度二級域名
p/3138733512：資源定位
see_lz=1&pn=1：引數see_lz：樓主 pn=1：第一頁

2、頁面抓取

上程式碼：

# coding=utf-8
import urllib
import urllib2
import re
#百度貼吧爬蟲類
class
 
 BDTB:
    #初始化，傳入基地址，是否看樓主的引數
    def __init__(self, baseUrl, seeLZ):
        self.baseURL = baseUrl
        self.seeLZ = '?see_lz='+str(seeLZ)
    #傳入頁碼，獲取該頁帖子的程式碼
    def getPage(self,pageNum):
        try:
            url = self.baseURL+self.seeLZ+'&pn'+str(pageNum)
            request = urllib2.Request(url)
            response = urllib2.urlopen(request)
            result =  response.read()
            print(result)
            return
 
 result
        except urllib2.URLError,e:
            if hasattr(e,"reason"):
                print u"連線百度貼吧失敗,錯誤原因",e.reason
                return None

baseURL = 'http://tieba.baidu.com/p/3138733512'
bdtb = BDTB(baseURL,1)
bdtb.getPage(1)

print(result)這句是輸出原始碼
執行程式：

3、 提取相關資訊

提取貼吧標題
谷歌瀏覽器按F12，查詢標題的html程式碼

<h3 class="core_title_txt pull-left text-overflow  " title="純原創我心中的NBA2014-2015賽季現役50大" style="width: 396px">純原創我心中的NBA2014-2015賽季現役50大</h3>

所以我們想提取 h1標籤中的內容，同時還要指定這個class確定唯一，因為h1標籤實在太多啦。
正則表示式如下：

<h3 class="core_title_txt.*?>(.*?)</h3>

獲取標題程式碼

 #獲取帖子標題
    def getTitle(self):
        page = self.getPage(1)
        pattern = re.compile('<h3 class="core_title_txt.*?>(.*?)</h3>',re.S)
        result = re.search(pattern,str(page))
        if result:
            print result.group(1)  # 測試輸出
            return result.group(1).strip()
        else:
            return None

完整程式碼：

# coding=utf-8
import urllib
import urllib2
import re
#百度貼吧爬蟲類
class BDTB:
    #初始化，傳入基地址，是否看樓主的引數
    def __init__(self, baseUrl, seeLZ):
        self.baseURL = baseUrl
        self.seeLZ = '?see_lz='+str(seeLZ)
    #傳入頁碼，獲取該頁帖子的程式碼
    def getPage(self,pageNum):
        try:
            url = self.baseURL+self.seeLZ+'&pn'+str(pageNum)
            request = urllib2.Request(url)
            response = urllib2.urlopen(request)
            result =  response.read()
            return result
        except urllib2.URLError,e:
            if hasattr(e,"reason"):
                print u"連線百度貼吧失敗,錯誤原因",e.reason
                return None
    #獲取帖子標題
    def getTitle(self):
        page = self.getPage(1)
        pattern = re.compile('<h3 class="core_title_txt.*?>(.*?)</h3>',re.S)
        result = re.search(pattern,str(page))
        if result:
            print result.group(1)  # 測試輸出
            return result.group(1).strip()
        else:
            return None
baseURL = 'http://tieba.baidu.com/p/3138733512'
bdtb = BDTB(baseURL,1)
bdtb.getPage(1)
bdtb.getTitle()

執行：