使用xpath爬取資料
阿新 • • 發佈：2020-12-31
使用xpath來提取資料，爬取資料的簡單語法。
下載模組
pip install lxml
匯入模組
from lxml import etree
etree的使用
h=etree.HTML(response.text)#response.text是網頁的原始碼
h.xpath('//img') #尋找所有的img結點,
h.xpath('//div').xpath('.//img')#尋找所有div下的所有img結點
xpath的語法
符號
XPath 使用路徑表示式在 XML 文件中選取節點。節點是通過沿著路徑或者 step 來選取的。
| 表示式 | 描述 |
|---|---|
| / | 從根節點選取 |
| // | 從匹配選擇的當前節點選擇文件中的節點，而不考慮它們的位置。 |
| . | 選取當前節點。 |
| . . | 選取當前節點的父節點。 |
| @ | 選取屬性。 |
| | | 在兩個中結點中選擇 |
| （） | 用()來包含| |
| * | 包含所有元素 |
| not | 取反 |
例項
| 路徑表示式 | 結果 |
|---|---|
| bookstore | 選取 bookstore 元素的所有子節點。 |
| /bookstore | 選取根元素 bookstore。註釋：假如路徑起始於正斜槓( / )，則此路徑始終代表到某元素的絕對路徑！ |
| bookstore/book | 選取屬於 bookstore 的子元素的所有 book 元素。 |
| //book | 選取所有 book 子元素，而不管它們在文件中的位置。 |
| bookstore//book | 選擇屬於 bookstore 元素的後代的所有 book 元素，而不管它們位於 bookstore 之下的什麼位置。 |
| //@lang | 選取名為 lang 的所有屬性。 |
| //*[@class] | 選取帶有class屬性的所有元素 |
| //div[@*] | 匹配任意屬性的div元素 |
| //a[not(@class)] | 匹配沒有class屬性的a元素 |
謂語
帶謂語的路徑表示式
| 路徑表示式 | 結果 |
|---|---|
| /bookstore/book[1] | 選取屬於 bookstore 子元素的第一個 book 元素。 |
| /bookstore/book[last()] | 選取屬於 bookstore 子元素的最後一個 book 元素。 |
| /bookstore/book[last()-1] | 選取屬於 bookstore 子元素的倒數第二個 book 元素。 |
| /bookstore/book[position()< 3] | 選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 選取所有擁有名為 lang 的屬性的 title 元素。 |
| //title[@lang=‘eng’] | 選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。 |
| /bookstore/book[price>35.00] | 選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大於 35.00。 |
| /bookstore/book[price>35.00]/title | 選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大於 35.00。 |
到這裡就結束了，如果對你有幫助你，歡迎點贊關注，你的點贊對我很重要