HTML分析是一個比較複雜的工作，Java世界主要有幾款比較方便的分析工具：

1.Jsoup 
Jsoup是一個集強大和便利於一體的HTML解析工具。它方便的地方是，可以用於支援用jQuery中css selector的方式選取元素，這對於熟悉js的開發者來說基本沒有學習成本。

String content = "blabla";
Document doc = JSoup.parse(content);
Elements links = doc.select("a[href]");

• 1
• 2
• 3

• 1
• 2
• 3

Jsoup還支援白名單過濾機制，對於網站防止XSS攻擊也是很好的。

2.HtmlParser

HtmlParser的功能比較完備，也挺靈活，但談不上方便。這個專案很久沒有維護了，最新版本是2.1。HtmlParser的核心元素是Node，對應一個HTML標籤，支援getChildren()等樹狀遍歷方式。HtmlParser另外一個核心元素是NodeFilter，通過實現NodeFilter介面，可以對頁面元素進行篩選。這裡有一篇HtmlParser的使用文章：使用 HttpClient 和 HtmlParser 實現簡易爬蟲。

3.Apache tika

tika是專為抽取而生的工具，還支援PDF、Zip甚至是Java Class。使用tika分析HTML，需要自己定義一個抽取內容的Handler並繼承org.xml.sax.helpers.DefaultHandler，解析方式就是xml標準的方式。crawler4j中就使用了tika作為解析工具。SAX這種流式的解析方式對於分析大檔案很有用，我個人倒是認為對於解析html意義不是很大。

InputStream inputStream = null;
HtmlParser htmlParser = new HtmlParser();
htmlParser.parse(new
 
 ByteArrayInputStream(page.getContentData()), 
contentHandler, metadata, new ParseContext());

• 1
• 2
• 3
• 4

• 1
• 2
• 3
• 4

4.HtmlCleaner與XPath

HtmlCleaner最大的優點是：支援XPath的方式選取元素。XPath是一門在XML中查詢資訊的語言，也可以用於抽取HTML元素。XPath與CSS Selector大部分功能都是重合的，但是CSS Selector專門針對HTML，寫法更簡潔，而XPath則是通用的標準，可以精確到屬性值。XPath有一定的學習成本，但是對經常需要編寫爬蟲的人來說，這點投入絕對是值得的。