1. 程式人生 > >Nutch教程——準備篇 by 逼格DATA

Nutch教程——準備篇 by 逼格DATA

實在是看不下去Nutch官方的坑爹教程了,總結一套看完能懂的Nutch教程,持續更新中。

開發環境和基礎:

學習Nutch,必須滿足以下幾個條件,缺一不可:

1)Linux環境,實在是沒辦法就在Windows上裝linux虛擬機器。

2)熟悉Java

3)有Hadoop基礎,能夠編寫hadoop下map reduce程式。

4)能夠看懂Linux Shell。

下面來解釋以下為什麼需要滿足這些條件。Nutch是在hadoop上執行的,windows下跑hadoop有一定的問題。並且Nutch中流程的控制使用的是Linux Shell,在windows上實現也比較麻煩。如果看不懂Linux Shell,就看不懂Nutch的流程。Nutch被切分成幾個流程,每個流程都由Map Reduce完成,如果沒有Map Reduce程式設計的基礎,就看不懂Nutch原始碼。

原始碼閱讀:

千萬不要拿Nutch原始碼作為爬蟲入門的教程。在學習Nutch之前最好先找一個單機爬蟲熟悉爬蟲的流程和基礎。如果連Http請求、網頁資訊抽取這些最基礎的技術細節都搞不清楚,閱讀Nutch原始碼是沒有用的,雖然說Nutch的http請求、網頁解析是通過外掛來完成的,但是我可以告訴你,如果你對Nutch的工作流程不是非常瞭解,是寫不了Nutch外掛的,哪怕是最簡單的外掛,所以不要想通過閱讀Nutch外掛的方法,來學習怎麼傳送http請求這種基礎。更重要的是,在閱讀Nutch原始碼之前,一定要了解爬蟲的流程。Nutch中每個流程的輸入輸出都存放在hadoop檔案中,檔案是SequenceFIle,直接無法正確閱讀檔案的內容,如果想通過觀察SequenceFile來了解爬蟲的流程,是比較困難的。JAVA開源的單機爬蟲有很多種,和Nutch流程最相似的是

WebCollector。WebCollector和Nutch一樣,都是將完整廣度遍歷切分成一層一層的爬取(每一層對應樹的一層),有相同的連結儲存、更新機制,採用相同的執行緒池,可以通過閱讀WebCollector的原始碼來作為學習Nutch的基礎。

分散式:

寫Nutch程式碼不需要分散式知識,用Map Reduce框架寫程式碼,會自動完成程式碼的分散式執行。Nutch的所有流程都是用Map Reduce完成的,如果你沒有Map Reduce的基礎,Nutch的程式碼基本就和天書一樣。在學習Nutch前,至少要能夠自己編寫hadoop官方教程中的WordCount的程式碼。

亂碼?索引?:

相信很多用過Nutch的人都有疑問,按照官方教程爬取網站後,網頁存在哪裡了?的確看到產生了中間檔案,但是為什麼是亂碼?這些亂碼是因為給網頁做了索引麼? 如果你有這種疑問,應該去學習一下hadoop了。和上面說的一樣,沒有hadoop基礎看不懂Nutch。Nutch預設會儲存所有的網頁,但是網頁並不是按照網站結構儲存的。在一輪爬取中,所有的網頁都被放到一個叫content的資料夾中,資料夾中有若干個檔案,這種檔案叫SequenceFile,SequenceFile可以認為是儲存JAVA中物件(一個或多個)的檔案,網頁原始碼被封裝在一個Content型別的物件中(Content.java原始碼),Nutch就是將這些Content型別的物件,儲存在SequenceFile中。如果你用文字編輯器檢視SequenceFIle,看到的就是亂碼,而不是因為做索引導致的亂碼。 至於SequenceFile怎麼讀寫,這是hadoop的基礎,想使用Nutch採集的資料,就去學學怎麼讀取SequenceFile吧。

開發工具:

官網下到的Nutch原始碼是用ant進行管理的,官方有個教程用ant命令將專案轉換成eclipse專案,但是我個人非常不建議用eclipse作為開發工具。Intellij和Netbeans可以相容eclipse專案,也可以用來開發Nutch。關於三個IDE的對比這是比較有爭議的問題,這裡不多說。不過這裡最推薦的還是Intellij,後面的教程也都是用Intellij作為示範。

二次開發:

上面說了可以將Nutch原始碼放到Intellij中進行二次開發,但是我們這裡說一下對Nutch二次開發個人的見解。對Nutch的開發主要是開發Nutch外掛,Nutch的外掛的確強大,但是Nutch的外掛是為了搜尋引擎設計的,如果你的業務是做資料採集,修改這些外掛基本沒有意義,有時候還會帶來不必要的麻煩。Nutch常用的外掛有: 1)URL正規化 2)正則過濾器 3)http請求器 4)網頁解析器 5)網頁打分 6)索引 7)其他 這些外掛裡,http請求器和網頁解析器被修改的最多,剩下的外掛基本沒有什麼修改的需求。如果爬蟲被網站封殺,最常用的方法就是修改http請求器,使得http請求可以使用代理池。這裡重點說網頁解析器。一些企業選擇的方案就是在網頁解析模組中,加上網頁抽取的程式碼,使得在解析的同時,將資料插入mysql。 網頁解析外掛有2個作用: 1)抽取網頁中的連結,後面被存放到hdfs中,作為待爬取的連結。 2)抽取網頁中的一些資訊,例如標題、描述,後面被存放到hdfs中,作為索引階段提交給索引伺服器的資料(用作搜尋)。 網頁解析的效率非常地高,而且在Nutch中是一個大量執行緒並行的操作。一秒可以對大量網頁進行資訊抽取、存放到hdfs檔案中。但是如果非要在網頁解析外掛中,將結構化資料提交到mysql,會因為插入速度太快而導致mysql插入操作阻塞。而且網頁抽取的業務經常變化,如果將抽取業務寫到網頁解析外掛中,業務變化,就要重新爬取。 我個人比較喜歡的一種方法,是不修改Nutch的原始碼,只用Nutch作為爬取器。Nutch自動將網頁url和原始碼都根據抓取時間存放在SequenceFile中。寫一套獨立於Nutch的程式,來讀取SequenceFile,做網頁抽取、結構化資料持久化,會使得程式更穩定。

版本:

Nutch的版本主要分為Nutch 1.x和Nutch 2.x,非常不建議使用Nutch 2.x,雖然說Nutch 2.x可以將資料放到HBASE、MYSQL等資料庫中,但是目前Nutch 2.x一直處在開發階段,我們官網上下到的Nutch 2.x (最新的是Nutch 2.3)都需要經過一定的修改才可以正常執行,而且官網並沒有給出相關文件,官網的Nutch 2.x教程非常不負責任,相信以前學過Nutch的都知道,官方的Nutch 2.x教程並不能用,那是因為官網提供的下載是Nutch 2.2.1版本,而官網所謂的Nutch 2.x指的是在社群svn中維護的Nutch 2.3的未完成版。換句話說,Nutch 2.x還屬於在社群中開發的階段,社群還沒有給出正式的文件和教程。

除了文件欠缺、版本不穩定之外,Nutch2.x的持久化也是一個大問題。先說Nutch2.x利用MySQL做持久化,這就是一個搞笑的設定。在hadoop上跑程式,用mysql作為輸入輸出,效率大家都懂得。而且選用Nutch作為爬蟲,一般都是要處理幾千萬以上的資料。Mysql存一般多萬網頁已經可以崩潰了。其實我一直覺得官方也不想給出Nutch2.x持久化到mysql這種設定,我覺得官方只是想告訴大家,Nutch2.x使用的gora可以通過配置,將資料持久化到各種資料庫

很多人衝著Nutch 2.x可以持久化到Hbase,而選用Nutch 2.x,當然配成功的很少,最後使用的更少。對於Nutch2.x與hbase,需要了解下面幾點:

1)hbase的宗旨是提供一個無窮大的儲存,hbase中每行資料都有一個唯一的key,在hbase中對資料的查詢最好是在已知key的情況下進行,但是很多使用者的需求,是想通過與sql中select操作類似的方法來查詢資料,這種不可取。

2)Nutch 2.x所謂的儲存資料到hbase,是將一些爬取輔助資訊(歷史爬取歷史)、網頁原始碼和連結分析資訊儲存到hbase中。如果你想用爬蟲完成一邊爬去一邊抽取精資料,然後放入hbase,你需要自己去寫插入hbase的操作,並不能通過Nutch 2.x自帶的功能完成。

3)hbase如果崩潰,修復並不是很容易。很有可能爬了一個月的資料就救不回來了。

根據我的經驗,Nutch 1.x可以為企業提供一個非常穩定的爬蟲。雖然他並沒有使用資料庫來維護資料,但是它的穩定性卻遠遠高於目前的Nutch 2.x版本。Nutch使用檔案來維護所有的爬取資訊(hdfs中的檔案),Nutch 1.x將每個任務的資料都分別新建一個(或者多個)資料夾來管理(預設資料夾名是當前時間),並且對檔案有一定的備份機制,本身就很少出致命錯誤(導致檔案損壞不能用的錯誤)。如果遇到極端情況,導致檔案損壞,可以通過刪除損壞檔案來輕鬆恢復,因為每次任務只會影響到當時新建的資料夾(這裡描述並不是非常準確,後面教程中解釋)。

有一些工程師不能接受這種設定,他們原來是做基於關係型資料庫的系統出生的,對於用檔案儲存資料這種設定不是很能接受。這種習慣要改改了,至少目前,做hadoop這套東西,基於hdfs中檔案去儲存、管理海量資料,還是一個比較穩定的方案。hdfs中有一種檔案叫SequenceFile,這種檔案將java物件儲存到檔案中,也就是說,可以利用檔案儲存結構化資訊,所以不用擔心用檔案儲存不了複雜結構的資料。Nutch 1.x中所有的資料都是用SequenceFIle的形式來儲存的。

最後說個題外話,Nutch 2.x之所以用hbase作為儲存,有一個很重要的原因是,Nutch是為搜尋引擎設計的爬蟲,用hbase可以完成mysql實現不了的連結分析的功能。我們知道網際網路中的連結資訊,用mysql無法實現大量的儲存,入口網站一個頁面就有幾十個外鏈,隨便幾十萬個網頁就可以把mysql弄報廢,而且資料量一大查詢效率你懂得。但是hbase就可以很好地完成這個功能。Nutch 2.x的hbase中,有一個列族叫outlink,這個列族用來儲存每個頁面的所有外鏈資訊,列名是連結的url,列值是連結的錨文字。例如一個網頁http://www.abc.com有2個外鏈,一個指向百度首頁,一個指向新浪首頁。在hbase裡就是:

row_key:"http://www.abc.com:   outlink:http://www.baidu.com:百度一下,你就知道

row_key:"http://www.abc.com:   outlink:http://www.sina.com:新浪首頁

這裡注意一下,http://www.baidu.com和http://www.sina.com並不是值,而是列名。hbase中列族不可以隨便增加,但是列是可以隨意新增的。可想而知,當爬蟲爬取後,hbase的outlink列族中,會有幾百萬個列(有多少不同的連結url,就有多少列)。這樣儲存,我們就可以很快地查詢網際網路中兩個頁面之間的關係。例如我們想查詢http://www.abc.com和http://ww.baidu.com這兩個頁面之間的關係,只需要查詢hbase中,row_key為http://www.abc.com的行中,列族為outlink,列名為http://www.abc.com的單元的值即可。這種查詢操作在搜尋引擎的連結分析中有非常重要的作用。但是如果一個企業只是想對網際網路中的新聞進行爬取、輿情分析,極少會有這種需求。

所以如果企業想使用分散式爬蟲,並且不是為了專門做搜尋引擎,最好使用Nutch 1.x。不要為了使用”高階“的nosql(hbase)

Nutch開發者網站提供各種Nutch教程、資訊,以及相關爬蟲的資料、資訊。

網站地址:http://nutcher.org/該網站已經不能開啟,可以訪問nutcher是nutch的中文教程

https://github.com/CrawlScript/nutcher 或

http://datahref.com/archives/category/nutch%E4%B8%AD%E6%96%87%E6%95%99%E7%A8%8B