一。用hadoop作網路爬蟲的原因

爬蟲程式的海量計算特性要求必須要用分散式方式來實現。一般爬蟲爬取的是整個網際網路上的所有或部分資料，這個資料量一般是P byte級，至少也是T byte級，因此用分散式的方式來獲取這是不二之選。在眾多的分散式計算框架裡hadoop絕對是個中翹楚，從hadoop的使用者名稱單中可以看出hadoop的應用範圍已經非常廣泛，hadoop本身已經接近成熟。因此hadoop是首選。

hadoop提供了自動的叢集管理，任務分配，負載平衡。因此在hadoop之上構建爬蟲程式可以省略這部分程式碼，這將極大的減少程式碼量。

二。主要思路

1.遍歷整個網路的演算法：網頁之間是通過link連線起來的，link把所有的頁面連線成了一個網，這個網可以用資料結構裡的圖來表示，用遍歷圖的演算法就可以遍歷整個網路了。

2任務切分：以站點為單位來切分爬取工作，每個站點對應一個map任務。系統要維護一個全域性站點表，站點表用來記錄那些站點已經爬取過，那些尚未爬取，那些正在爬取，並且還要向其中加入新發現的站點。

3.map階段：每個map完成一個站點的爬取任務，同時把發現的新站點加入到全域性站點表。生成的<k,v>就是<url ,url對應的頁面資料>。此時要維護一個url的hashtable用來記錄已經爬取到的頁面，並防止相同的頁面被重複爬取。

4.reduce階段：主要任務是把所有的<url ,url對應的頁面資料>儲存到hdfs貨hbase種去。

三。心得

爬蟲程式並不是hadoop典型應用場景。hadoop一般應用於海量資料分析和挖掘，這種場景中首先存在著海量輸入資料，並且最終得產出物事一個數據量很小的分析資料，在map過程中對海量資料進行劃分成小塊並進行分散式處理，在reduce的過程中將大量的中間資料進行合併，並最終得到較小的分析結果。

爬蟲程式幾乎沒有輸入，並且最終的產出物是海量資料，這和hadoop的典型應用完全是相反的。在爬蟲程式的應用場景中reduce階段幾乎是多餘的，幾乎可以把reduce階段的工作放到map的末尾來做。

雖然不符合hadoop的典型應用場景，但爬蟲程式一樣可以從hadoop上獲得極大的好處（自動的叢集管理，任務分配，負載平衡）。