Python readability的使用：

from readability.readability import Document

import urllib

html = urllib.urlopen(url).read()

readable_article = Document(html).summary()

readable_title = Document(html).short_title()

最後抽取出來的readable_article是帶HTML標簽的文本。然而在好多情況下經過readability過濾後的帶HTML標簽的文本是我們不想要的，也就是readability取錯內容了，面對這種情況我們可以先對傳入前的html操作。

例如，需要提取的正文在<div class="arti-con rel">下即<div class="arti-con rel">與<div class="clearfix page-n-p-con">之間，我們可以采取下面的操作。

from readability.readability import Document

from scrapy .selector import HtmlXPathSelector
from scrapy.http import HtmlResponse

import urllib

html = urllib.urlopen(url).read()

content_t = html.split(‘<div class="arti-con rel">‘)[-1].strip().split(‘<div class="clearfix page-n-p-con"‘)[0].strip()
content_t = ‘<div class="arti-con rel">‘ + content_t

readable_article = Document(content_t ).summary()

response = HtmlResponse(url=‘‘, body=readable_article, encoding=‘utf8‘)
hxs = HtmlXPathSelector(response)

html_content = ‘‘.join(hxs.select(‘//text()‘).extract()).strip()

經過這樣處理獲得的正文相對幹凈，並減少了獲取不到的現象，缺點是不適合多種頁面的網站。

Python readability提取網頁正文的優化