python爬蟲-XPath教程
阿新 • • 發佈:2018-12-17
XPath 教程
XPath 術語
XPath 節點
七種型別
:在 XPath 中,有七種型別的節點:元素、屬性、文字、名稱空間、處理指令、註釋以及文件(根)節點。
XML 文件是被作為節點樹來對待的。樹的根被稱為文件節點或者根節點。
節點關係
:父、子、同胞、先輩、後代
XPath 語法
XPath 使用路徑表示式來選取 XML 文件中的節點或節點集。 節點是通過沿著路徑 (path) 或者步 (steps) 來選取的。 XPath 使用路徑表示式在 XML 文件中選取節點。 節點是通過沿著路徑或者 step 來選取的。 下面列出了最有用的路徑表示式:
表示式 | 描述 |
---|---|
nodename | 選取此節點的所有子節點 |
/ | 從根節點選取 |
// | 從匹配選擇的當前節點選擇文件中的節點,而不考慮它們的位置 |
. | 選取當前節點 |
… | 選取當前節點的父節點 |
@ | 選取屬性 |
示例
<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="eng">Harry Potter</title> <price>29.99</price> </book> <book> <title lang="eng">Learning XML</title> <price>39.95</price> </book> </bookstore>
|路徑表示式 |結果| |bookstore |選取 bookstore 元素的所有子節點。| |/bookstore |選取根元素 bookstore。註釋:假如路徑起始於正斜槓( / ),則此路徑始終代表到某元素的絕對路徑!| |bookstore/book |選取屬於 bookstore 的子元素的所有 book 元素。| |//book |選取所有 book 子元素,而不管它們在文件中的位置。| |bookstore//book |選擇屬於 bookstore 元素的後代的所有 book 元素,而不管它們位於 bookstore 之下的什麼位置。| |//@lang |選取名為 lang 的所有屬性。|
謂語(Predicates)
謂語用來查詢某個特定的節點或者包含某個指定的值的節點。 謂語被嵌在方括號中。 在下面的表格中,我們列出了帶有謂語的一些路徑表示式,以及表示式的結果:
路徑表示式 | 結果 |
---|---|
/bookstore/book[1] | 選取屬於 bookstore 子元素的第一個 book 元素。 |
/bookstore/book[last()] | 選取屬於 bookstore 子元素的最後一個 book 元素。 |
/bookstore/book[last()-1] | 選取屬於 bookstore 子元素的倒數第二個 book 元素。 |
/bookstore/book[position() < 3] | 選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。 |
//title[@lang] | 選取所有擁有名為 lang 的屬性的 title 元素。 |
//title[@lang=‘eng’] | 選取所有 title 元素,且這些元素擁有值為 eng 的 lang 屬性。 |
/bookstore/book[price>35.00] | 選取 bookstore 元素的所有 book 元素,且其中的 price 元素的值須大於 35.00。 |
/bookstore/book[price>35.00]/title | 選取 bookstore 元素中的 book 元素的所有 title 元素,且其中的 price 元素的值須大於 35.00。 |
選取未知節點
XPath 萬用字元可用來選取未知的 XML 元素。
|萬用字元 |描述|
|* |匹配任何元素節點。|
|@* |匹配任何屬性節點。|
|node() |匹配任何型別的節點。|
在下面的表格中,我們列出了一些路徑表示式,以及這些表示式的結果:
|路徑表示式 |結果
|/bookstore/* |選取 bookstore 元素的所有子元素。
|//* |選取文件中的所有元素。
|//title[@*] |選取所有帶有屬性的 title 元素。
選取若干路徑
通過在路徑表示式中使用"|"運算子,您可以選取若干個路徑。 在下面的表格中,我們列出了一些路徑表示式,以及這些表示式的結果:
路徑表示式 | 結果 |
---|---|
//book/title | //book/price |
//title | //price |
/bookstore/book/title | //price |
XPath 軸(Axes)
軸可定義相對於當前節點的節點集。
軸名稱 | 結果 |
---|---|
ancestor | 選取當前節點的所有先輩(父、祖父等)。 |
ancestor-or-self | 選取當前節點的所有先輩(父、祖父等)以及當前節點本身。 |
attribute | 選取當前節點的所有屬性。 |
child | 選取當前節點的所有子元素。 |
descendant | 選取當前節點的所有後代元素(子、孫等)。 |
descendant-or-self | 選取當前節點的所有後代元素(子、孫等)以及當前節點本身。v |
following | 選取文件中當前節點的結束標籤之後的所有節點。 |
following-sibling | 選取當前節點之後的所有兄弟節點 |
namespace | 選取當前節點的所有名稱空間節點。 |
parent | 選取當前節點的父節點。 |
preceding | 選取文件中當前節點的開始標籤之前的所有節點。 |
preceding-sibling | 選取當前節點之前的所有同級節點。 |
self | 選取當前節點。 |
XPath 運算子
運算子 | 描述 | 例項 | 返回值 |
---|---|---|---|
計算兩個節點集 | //book | //cd | 返回所有擁有 book 和 cd 元素的節點集 |
+ | 加法 | 6 + 4 | 10 |
- | 減法 | 6 - 4 | 2 |
* | 乘法 | 6 * 4 | 24 |
div | 除法 | 8 div 4 | 2 |
= | 等於 | price=9.80 | 如果 price 是 9.80,則返回 true。如果 price 是 9.90,則返回 false。 |
!= | 不等於 | price!=9.80 | 如果 price 是 9.90,則返回 true。如果 price 是 9.80,則返回 false。 |
< | 小於 | price<9.80 | 如果 price 是 9.00,則返回 true。如果 price 是 9.90,則返回 false。 |
<= | 小於或等於 | price<=9.80 | 如果 price 是 9.00,則返回 true。如果 price 是 9.90,則返回 false。 |
> | 大於 | price>9.80 | 如果 price 是 9.90,則返回 true。如果 price 是 9.80,則返回 false。 |
>= | 大於或等於 | price>=9.80 | 如果 price 是 9.90,則返回 true。如果 price 是 9.70,則返回 false。 |
or | 或 | price=9.80 or price=9.70 | 如果 price 是 9.80,則返回 true。如果 price 是 9.50,則返回 false。 |
and | 與 | price>9.00 and price<9.90 | 如果 price 是 9.80,則返回 true。如果 price 是 8.50,則返回 false。 |
mod | 計算除法的餘數 | 5 mod 2 | 1 |