1. 程式人生 > 實用技巧 >python模組系列==5、HTMLParser

python模組系列==5、HTMLParser

簡介

  先簡略介紹一下。實際上,HTMLParser是python用來解析HTML的內建模組。它可以分析出HTML裡面的標籤、資料等等,是一種處理HTML的簡便途徑。HTMLParser採用的是一種事件驅動的模式,當HTMLParser找到一個特定的標記時,它會去呼叫一個使用者定義的函式,以此來通知程式處理。它主要的使用者回撥函式的命名都是以"handle_"開頭的,都是HTMLParser的成員函式。當我們使用時,就從HTMLParser派生出新的類,然後重新定義這幾個以"handle_"開頭的函式即可。這幾個函式包括:
(1)handle_startendtag   處理開始標籤和結束標籤(即單標籤)

(2)handle_starttag    處理開始標籤,比如<xx>
(3)handle_endtag    處理結束標籤,比如</xx>
(4)handle_charref    處理特殊字串,就是以&#開頭的,一般是內碼錶示的字元
(5)handle_entityref   處理一些特殊字元,以&開頭的,比如 &nbsp;
(6)handle_data    處理資料,就是<xx>data</xx>中間的那些資料
(7)handle_comment 處理註釋
(8)handle_decl    處理<!開頭的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
(9)handle_pi    處理形如<?instruction>的東西

例項

  OK,廢話少說,直接上手,來一個簡單的爬蟲例項——抓取貼吧圖片。

from html.parser import HTMLParser
from urllib import request


class MyHTMLParser(HTMLParser):     # 建立HTML解析類
    def __init__(self):
        HTMLParser.__init__(self)
        self.gifs_urls = []         #
建立列表,儲存gif self.jpgs_urls = [] # 建立列表,儲存jpg # 重寫HTMLParser中的內建方法 def handle_starttag(self, tags, attrs): # 處理起始標記 if tags == 'img': # 處理圖片 for attr in attrs: for t in attr: if 'gif' in t and 'https' in t: self.gifs_urls.append(t) # 新增到gif列表 elif 'jpg' in t and 'https' in t: self.jpgs_urls.append(t) # 新增到jpg列表 else: pass # 自定義的方法 def get_gifs(self): # 返回gif列表 return self.gifs_urls def get_jpgs(self): # 返回jpg列表 return self.jpgs_urls # 自定義的方法,獲取頁面 def getHTML(self,url): req=request.Request(url,method='GET') html=request.urlopen(req,timeout=30) return html.read() # 自定義的方法,批量下載圖片 def downImgs(self,img_urls,n=10,path='Image/'): count=1 for url in img_urls: request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg')) count=count+1 if count == n + 1: print('共下載%d張圖片' %(n)) return if __name__ == '__main__': Url = 'http://tieba.baidu.com/p/2256306796' HtmlParser=MyHTMLParser() Html=HtmlParser.getHTML(Url) # print(Html) HtmlParser.feed(str(Html)) #開始解析HTML,自動呼叫HTMLParser中的內建方法 HtmlParser.downImgs(HtmlParser.get_jpgs())