lxml解析網頁
1.什麽是XPath？
XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語言，可用來在 XML 文檔中對元素和屬性進行遍歷。
W3School官方文檔：http://www.w3school.com.cn/xpath/index.asp
2.XPath 開發工具
- 開源的XPath表達式編輯工具:XMLQuire(XML格式文件可用)
- Chrome插件 XPath Helper
- Firefox插件 XPath Checker
3.選取節點
XPath 使用路徑表達式來選取 XML 文檔中的節點或者節點集。這些路徑表達式和我們在常規的電腦文件系統中看到的表達式非常相似。
3.1下面列出了最常用的路徑表達式：
|
表達式 |
描述 |
|
nodename |
選取此節點的所有子節點。 |
|
/ |
從根節點選取。 |
|
// |
從匹配選擇的當前節點選擇文檔中的節點，而不考慮它們的位置。 |
|
. |
選取當前節點。 |
|
.. |
選取當前節點的父節點。 |
|
@ |
選取屬性。 |
3.2 在下面的表格中，已列出了一些路徑表達式以及表達式的結果：
|
路徑表達式 |
說明 |
|
bookstore |
選取 bookstore 元素的所有子節點。 |
|
/bookstore |
選取根元素 bookstore。註釋：假如路徑起始於正斜杠 ( / )，則此路徑始終代表到某元素的絕對路徑！ |
|
bookstore/book |
選取屬於 bookstore 的子元素的所有 book 元素。 |
|
//book |
選取所有 book 子元素，而不管它們在文檔中的位置。 |
|
bookstore//book |
選擇屬於 bookstore 元素的後代的所有 book 元素，而不管它們位於 bookstore 之下的什麽位置。 |
|
//@lang |
選取名為 lang 的所有屬性。 |
4.謂語（Predicates）
謂語用來查找某個特定的節點或者包含某個指定的值的節點，被嵌在方括號中。
在下面的表格中，列出了帶有謂語的一些路徑表達式，以及表達式的結果：
|
路徑表達式 |
結果 |
|
/bookstore/book[1] |
選取屬於 bookstore 子元素的第一個 book 元素。 |
|
/bookstore/book[last()] |
選取屬於 bookstore 子元素的最後一個 book 元素 |
|
/bookstore/book[last()-1] |
選取屬於 bookstore 子元素的倒數第二個 book 元素。 |
|
/bookstore/book[position()<3] |
選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。 |
|
//title[@lang] |
選取所有擁有名為 lang 的屬性的 title 元素。 |
|
//title[@lang=’eng’] |
選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。 |
|
/bookstore/book[price>35.00] |
選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大於 35.00。 |
|
/bookstore/book[price>35.00]/title |
選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大於 35.00。 |
|
|
|
5.選取未知節點
XPath 通配符可用來選取未知的 XML 元素。
|
通配符 |
描述 |
|
* |
匹配任何元素節點。 |
|
@* |
匹配任何屬性節點。 |
|
node() |
匹配任何類型的節點。 |
在下面的表格中，列出了一些路徑表達式，以及這些表達式的結果：
|
路徑表達式 |
結果 |
|
/bookstore/* |
選取 bookstore 元素的所有子元素。 |
|
//* |
選取文檔中的所有元素。 |
|
//title[@*] |
選取所有帶有屬性的 title 元素。 |
6.選取若幹路徑
通過在路徑表達式中使用“|”運算符，可以選取若幹個路徑。
在下面的表格中，列出了一些路徑表達式，以及這些表達式的結果：
|
路徑表達式 |
結果 |
|
//book/title | //book/price |
選取 book 元素的所有 title 和 price 元素。 |
|
//title | //price |
選取文檔中的所有 title 和 price 元素。 |
|
/bookstore/book/title | //price |
選取屬於 bookstore 元素的 book 元素的所有 title 元素，以及文檔中所有的 price 元素。 |
7.lxml庫
lxml 是 一個HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 數據。
lxml和正則一樣，也是用 C 實現的，是一款高性能的 Python HTML/XML 解析器，我們可以利用之前學習的XPath語法，來快速的定位特定元素以及節點信息。
lxml python 官方文檔：http://lxml.de/index.html
需要安裝C語言庫，可使用 pip 安裝：pip install lxml （或通過wheel方式安裝）
7.1初步使用
我們利用它來解析 HTML 代碼，簡單示例：
# 使用 lxml 的 etree 庫 from lxml import etree text = ‘‘‘ <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a> # 註意，此處缺少一個 </li> 閉合標簽 </ul> </div> ‘‘‘ #利用etree.HTML，將字符串解析為HTML文檔 html = etree.HTML(text) # 按字符串序列化HTML文檔 result = etree.tostring(html) print(result) 輸出結果： <html><body> <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> </ul> </div> </body></html>
7.2 文件讀取：lxml 可以自動修正 html 代碼，例子裏不僅補全了 li 標簽，還添加了 body，html 標簽。
除了直接讀取字符串，lxml還支持從文件裏讀取內容。我們新建一個hello.html文件：
<!-- hello.html -->
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
再利用 etree.parse() 方法來讀取文件。
# lxml_parse.py
from lxml import etree
# 讀取外部文件 hello.html
html = etree.parse(‘./hello.html‘)
result = etree.tostring(html, pretty_print=True)
print(result)
輸出結果與之前相同：
<html><body>
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</body></html>
8.XPath實例測試
# 使用 lxml 的 etree 庫 from lxml import etree text = ‘‘‘ <div> <ul> <li class="item-0"><a href="link1.html">first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a> # 註意，此處缺少一個 </li> 閉合標簽 </ul> </div> ‘‘‘ #利用etree.HTML，將字符串解析為HTML文檔 html = etree.HTML(text) #獲取所有的<li>標簽 result = html.xpath(‘//li‘) # 獲取<li> 標簽的所有 class屬性 result = html.xpath(‘//li/@class‘) #獲取<li>標簽下hre 為 link1.html 的 <a> 標簽 result = html.xpath(‘//li/a[@href="link1.html"]‘) #獲取<li> 標簽下的所有 <span> 標簽 result = html.xpath(‘//li/span‘) # 獲取 <li> 標簽下的<a>標簽裏的所有 class result = html.xpath(‘//li/a//@class‘) #獲取最後一個 <li> 的 <a> 的 href result = html.xpath(‘//li[last()]/a/@href‘) # 獲取倒數第二個元素的內容 result = html.xpath(‘//li[last()-1]/a‘) # 獲取 class 值為 item-inactive的標簽名 result = html.xpath(‘//*[@class="item-inactive"]‘) print(result)
9.爬取LOL百度貼吧的圖片
import os from lxml import etree from urllib import request,error,parse class Spider: def __init__(self): self.tiebaName = ‘lol‘ self.beginPage = int(input(‘請輸入開始頁:‘)) self.endPage = int(input(‘請輸入結束頁:‘)) self.url = ‘http://tieba.baidu.com/f‘ self.header = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"} self.userName = 1 # # 圖片編號 def tiebaSpider(self): for page in range(self.beginPage, self.endPage + 1): pn = (page - 1) * 50 data = {‘pn‘:pn, ‘kw‘:self.tiebaName} myUrl = self.url + ‘?‘ + parse.urlencode(data) # 調用 頁面處理函數 load_Page,獲取頁面所有帖子鏈接, links = self.loadPage(myUrl) # 讀取頁面內容 def loadPage(self,url): req = request.Request(url, headers=self.header) resp = request.urlopen(req).read() # 將resp解析為html文檔 html = etree.HTML(resp) # 抓取當前頁面的所有帖子的url的後半部分，也就是帖子編號 url_list = html.xpath(‘//div[@class="threadlist_lz clearfix"]/div/a/@href‘) # url_list 類型為 etreeElementString 列表 # 遍歷列表，並且合並成一個帖子地址，調用 圖片處理函數 loadImage for row in url_list: row = "http://tieba.baidu.com" + row self.loadImages(row) # 下載圖片 def loadImages(self, url): req = request.Request(url, headers=self.header) resp = request.urlopen(req).read() # 將resp解析為html文檔 html = etree.HTML(resp) # 獲取這個帖子裏所有圖片的src路徑 image_urls = html.xpath(‘//img[@class="BDE_Image"]/@src‘) # 依次取出圖片路徑，下載保存 for image in image_urls : self.writeImages(image) # 保存頁面內容 def writeImages(self, url): ‘‘‘ 將 images 裏的二進制內容存入到 userNname 文件中 ‘‘‘ print(url) print("正在存儲文件 %d ..." % self.userName) # 1. 打開文件，返回一個文件對象 path = r‘D:\zhappian‘ + ‘\\‘ + str(self.userName) + ‘.png‘ file = open(path, ‘wb‘) # 獲取圖片裏的內容 images = request.urlopen(url).read() # 調用文件對象write() 方法，將page_html的內容寫入到文件裏 file.write(images) file.close() # 計數器自增1 self.userName += 1 # 模擬 main 函數 if __name__ == "__main__": # 首先創建爬蟲對象 mySpider = Spider() # 調用爬蟲對象的方法，開始工作 mySpider.tiebaSpider()
lxml解析網頁