Nutch1.2的安裝與使用

1、nutch1.2下載

下載地址

2、nutch1.2目錄

bin:用於命令列執行的檔案;

conf：Nutch的配置檔案;

lib：一些執行所需要的jar檔案;

plugins：存放相應的外掛;

src：Nutch的所有原始檔;

webapps：web執行相關檔案;

nutch-1.2.war：war是Nutch所提供的基於Tomcat的應用程式包;

3、nutch工作流程

1、將起始URL集合注入到Nutch系統之中。

2、生成片段檔案，其中包括了將要抓取的URL地址。

3、根據URL地址在網際網路上抓取相應的內容。

4、解析所抓取的網頁，並分析其中的文字和資料。

5、根據新抓取的網頁中的URL集合來更新起始URL集合，並再次進行抓取。

6. 同時，對抓取到的網頁內容建立索引，生成索引檔案存放在系統之中。

4、ubuntu搭建nutch1.2環境

所用軟體：  jdk-6u24-linux-i586.bin

apache-tomcat-7.0.27.tar.gz

apache-nutch-1.2-bin.tar.gz

5、ubuntu搭建nutch1.2環境

Jdk+tomcat+nutch安裝可以參考下面地址，這裡不在敘述。

6、使用Nutch1.2抓取資料

1、在nutch-1.2目錄下新建一個 weburls.txt 文字檔案，在裡面輸入要抓取

這裡抓取的是淘寶的網站。

2、修改crawl-utlfilter.txt中引數

   進入 nutch-1.2/conf/crawl-urlfilter.txt

MY.DOMAIN.NAME  改為  taobao.com

改為：

3、修改  nutch-1.2/conf/nutch-site.xml檔案

在這裡面，設定了三個引數name、version、url。

4、執行網路蜘蛛，抓取網頁

進入nutch-1.2目錄執行命令：

bin/nutch crawl weburls.txt -dir localweb -depth 2 -topN 100 -threads 2

-dir = localweb

-topN = 100    下載符合條件的前100個頁面
-threads = 2    啟動的執行緒數目
蜘蛛執行時會輸出大量資料，抓取結束之後，可以發現localweb目錄被生成，裡面有幾個目錄。

、、、、、、

5、nutch-1.2/localweb下生產的五個資料夾

爬行結果目錄含有crawldb,index,indexes,linkdb,segment資料夾

Nutch的資料檔案
crawldb:爬行資料庫，用來儲存所要爬行的網址
linkdb: 連結資料庫，用來儲存每個網址的連結地址，包括源地址和連結地址
segments: 抓取的網址被作為一個單元，而一個segment就是一個單元。一個segment包括以下子目錄:
          crawl_generate:   包含所抓取的網址列表
        crawl_fetch:      包含每個抓取頁面的狀態
         content:         包含每個抓取頁面的內容
         parse_text:      包含每個抓取頁面的解析文字
         parse_data:     包含每個頁面的外部連結和元資料
         crawl_parse:    包含網址的外部連結地址，用於更新crawldb資料庫
indexes: 採用Lucene的格式建立索引集
index：最終生成的目錄

6、在tomcat中部署nutch 專案，把nutch根目錄下的nutch-1.2.war拷貝到tomcat下webapps中，稍會tomcat會對其自動解壓

7、修改tomcat/webapps/nutch-1.2/WEB-INF/classes/nutch-site.xml 檔案

8、修改tomcat目錄下的server.xml檔案

9、重啟tomcat，在位址列輸入:localhost:8080/nutch-1.2

10、輸入 教育,顯示如下

再測試一個，輸入  要啥自行車，顯示如下：

至此，jdk1.6+tomcat7+nutch1.2安裝配置完畢。