最近在研究kafka，看了一堆理論的東西，想動手實踐一些東西，奈何手上的資料比較少，突發奇想就打算寫個爬蟲去抓一些資料來玩，順便把深入一下爬蟲技術。

之前寫過一些小爬蟲，一般就是用python的requests+lxml來爬取資料。這次打算學一下python的scrapy框架來爬取資料。解析網頁內容還是打算用lxml，lxml使用了xpath語法，由於太久沒用都忘光了。所以打算重新學習一下xpath語法，並做個總結，方便以後忘了可以馬上回顧。

一、xpath介紹

• XPath 是一門在 XML 文件中查詢資訊的語言。XPath 用於在 XML 文件中通過元素和屬性進行導航。

• XPath 使用路徑表示式在 XML 文件中進行導航

• XPath 包含一個標準函式庫

• XPath 是 XSLT 中的主要元素

• XPath 是一個 W3C 標準
  節點

• 在 XPath 中，有七種型別的節點：元素、屬性、文字、名稱空間、處理指令、註釋以及文件（根）節點。XML 文件是被作為節點樹來對待的。

二、xpath語法

表示式      |	描述
nodename   |	選取此節點的所有子節點。
/	   |    從根節點選取。
//	   |     從匹配選擇的當前節點選擇文件中的節點，而不考慮它們的位置。
.	   |    選取當前節點。
..	   |     選取當前節點的父節點。
@	   |     選取屬性。
 

• 例子
  以下面這個xml為例子

<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
  <title lang="eng">Harry Potter</title>
  <price>29.99</price>
</book>

<book>
  <title lang="eng">Learning XML</title>
  <price>39.95</price>
</book>

</bookstore>
 

xml.xpath(“bookstore”) 表示選取 bookstore 元素的所有子節點
xml.xpath(“/bookstore”) 表示選取根元素 bookstore。
xml.xpath(“bookstore/book”) 選取屬於 bookstore 的子元素的所有 book 元素。
xml.xpath(“//book”) 選取所有 book 子元素，而不管它們在文件中的位置。
xml.xpath(“bookstore//book”) 選擇屬於 bookstore 元素的後代的所有 book 元素，而不管它們位於 bookstore 之下的什麼位置。
xml.xpath(“//@lang”) 選取名為 lang 的所有屬性。

謂語

• 路徑表示式 結果
• /bookstore/book[1] 選取屬於 bookstore 子元素的第一個 book 元素。
• /bookstore/book[last()] 選取屬於 bookstore 子元素的最後一個 book 元素。
• /bookstore/book[last()-1] 選取屬於 bookstore 子元素的倒數第二個 book 元素。
• /bookstore/book[position()❤️] 選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。
• //title[@lang] 選取所有擁有名為 lang 的屬性的 title 元素。
• //title[@lang=’eng’] 選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。
• /bookstore/book[price>35.00] 選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大於 35.00。
• /bookstore/book[price>35.00]/title 選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大於 35.00。

選取未知節點

• ** 萬用字元 描述**
• ** * 匹配任何元素節點。**
• ** @* 匹配任何屬性節點。**
• node() 匹配任何型別的節點。
  轉載連結：https://blog.csdn.net/u013332124/article/details/80621638?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164853456416782092958612%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=164853456416782092958612&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_alltop_positive~default-2-80621638.142^v5pc_search_result_control_group,143^v6register&utm_term=xpath&spm=1018.2226.3001.4187