Nutch是Apache組織的一個開源專案，利用它使用者可以建立自己內部網的搜尋引擎，也可以建立針對整個網路的搜尋引擎。
    兩年前Nutch0.9版本的時候我寫了個針對Linux的安裝介紹，最近nutch1.2出來了，很想試試有什麼新功能，可惜沒有專門的Linux伺服器，就在Windows上安裝吧。(我使用的作業系統是windows 2003 server)

安裝與配置過程比一般軟體複雜，比如需要了解簡單Linux命令、Tomcat伺服器配置等，但當你看到自己親手建立的搜尋引擎時，一切付出都是值得的！

2.下載並安裝Tomcat 網址http://tomcat.apache.org/ 我裝的是Tomcat7.0.6。我安裝的是exe版本，省得配置環境變量了。安裝完成後輸入

3.到http://www.cygwin.com/ 點setup.exe下載並安裝 cygwin，這是一個在Windows平臺上模擬執行Unix的環境,Nutch要在這裡執行. 預設安裝到c:/cygwin目錄，桌面生成一個Cygwin的圖示

4.到http://www.nutch.org下載Nutch 1.2。解壓縮得到nutch-1.2資料夾。把整個資料夾放到c:/cygwin目錄下

5.測試，執行Cygwin，出現黑白的控制檯介面，像dos一樣，
  輸入 cd /nutch-1.2進入剛才拷貝進去的nutch
  輸入 bin/nutch 執行bin/nutch,
  看到下列提示,則說明安裝成功:
  Usage: nutch [-core] COMMAND
  where COMMAND is one of :
    ......

休息一會兒,再繼續,要不你就暈了。

6. 設定待抓取網站
    在nucth-1.2目錄下建立urls目錄(也可以自己命名),在urls目錄下建立個文字檔案,名稱無所謂，我取名為nutch,沒有副檔名,副檔名為.txt也可以
    開啟剛才建立的這個名稱為nutch的檔案,輸入待抓取的網站地址,如:
    http://www.isosee.com/
    http://www.pmpway.com/
    最後的/不能漏掉.

    編輯conf目錄下的crawl-urlfilter.txt檔案,該檔案用於設定爬蟲的過濾條件
    # accept hosts in MY.DOMAIN.NAME
    +^http://([a-z0-9]*.)*MY.DOMAIN.NAME/
    修改為：
    # accept hosts in MY.DOMAIN.NAME
    +^http://([a-z0-9]*.)*www.isosee.com/
    +^http://([a-z0-9]*.)*www.pmpway.com/
    表示抓取域名下的所有頁面

    編輯conf目錄下的nutch-site.xml檔案,該檔案用於將爬蟲資訊告訴被抓取的網站,如果不進行設定nutch不能執行.
    該檔案預設為這樣:
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <!-- Put site-specific property overrides in this file. -->

    <configuration>
  
    </configuration>

    下面是我修改後的一個例子:
    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <!-- Put site-specific property overrides in this file. -->

    <configuration>
        <property>
          <name>http.agent.name</name>
          <value>myfirsttest</value>
          <description>HTTP 'User-Agent' request header. MUST NOT be empty -
          please set this to a single word uniquely related to your organization.

          NOTE: You should also check other related properties:
  
          http.robots.agents
          http.agent.description
          http.agent.url
          http.agent.email
          http.agent.version

          and set their values appropriately.

          </description>
        </property>

        <property>
          <name>http.agent.description</name>
          <value>myfirsttest</value>
          <description>Further description of our bot- this text is used in
          the User-Agent header.  It appears in parenthesis after the agent name.
          </description>
        </property>

        <property>
          <name>http.agent.url</name>
          <value>myfirsttest.com</value>
          <description>A URL to advertise in the User-Agent header.  This will
           appear in parenthesis after the agent name. Custom dictates that this
           should be a URL of a page explaining the purpose and behavior of this
           crawler.
          </description>
        </property>

        <property>
          <name>http.agent.email</name>
          <value>[email protected]</value>
          <description>An email address to advertise in the HTTP 'From' request
           header and User-Agent header. A good practice is to mangle this
           address (e.g. 'info at example dot com') to avoid spamming.
          </description>
        </property>

    </configuration>
    上述檔案描述了爬蟲的名稱/描述/來自哪個網站/聯絡email等資訊.

好了，還等什麼，開始抓取網頁吧
    在cygwin中執行抓取並建立索引的命令:
    bin/nutch crawl urls -dir isosee -depth 4 -threads 5 -topN 1000 >&logs/log1.log
    其中
        urls目錄中的檔案裡記錄了待爬網站地址
        -dir指定爬來的資訊放到哪個目錄下
        -depth 指定抓取的深度
        -thread 指定執行緒數
        -topN 指定抓取該網站的前若干頁,這個引數對於抓取大網站的網頁非常有用
        >&logs/log1.log指定日誌存放位置,如果你想在控制檯（也就是Cygwin的黑白窗口裡）監視執行情況,可以不使用這行程式碼。如果使用的話別忘了事先在nutch-1.2目錄下建個logs目錄。

    ......等待,抓取及建立索引結束。

    抓取和索引結果存放在isosee目錄下

提示：先抓小網站試試，否則後果不堪設想，我抓取過我的另一個網站http://www.isosee.com，雖然只有1000個左右的頁面，但用了將近1小時，當然實際時間跟你的機器配置、網路連線情況以及對方網站的關係都很大。

   
7.使用抓取和索引的成果建立搜尋網站

    配置tomcat
    刪除或改名Tomcat/webapps下的ROOT資料夾。
    複製nutch-1.2.war到到tomcat的webapps/下,同時改名為ROOT.war（Tomcat執行時將自動解開為ROOT目錄）
    修改/webapps/ROOT/WEB-INF/classes/nutch-site.xml :
    將
    <configuration>
    </configuration>
    換成
    <configuration>
        <property>
            <name>searcher.dir</name>
            <value>C:/cygwin/nutch-1.2/isosee</value>
        </property>
    </configuration>  
    把value裡的內容替換為你實際存放抓取內容的地址,注意最後沒有/,我開始加了/好像不行.

    為了支援中文需要修改tomcat的配置檔案,開啟tomcat/conf下的server.xml檔案，將其中的Connector部分改成如下形式即可：
    <Connector port="8080" maxThreads="150" minSpareThreads="25" maxSpareThreads="75"
        enableLookups="false"
        redirectPort="8443"
        acceptCount="100"
        connectionTimeout="20000"
        disableUploadTimeout="true"
        URIEncoding="UTF-8" useBodyEncodingForURI="true" />
    注意最後一行的兩項是新加的.

8.利用搜索你自己的網站
    重啟tomcat,在瀏覽器中輸入:http://127.0.0.1:8080

    出現nutch搜尋介面, 好了，自己的搜尋引擎已經建立好了，跟google和百度一樣。  
    在搜尋框中輸入關鍵詞並搜尋,將看到你的搜尋結果
    當然，某些搜尋結果頁可能出現中文亂碼等問題，這跟Nutch關係不大，後期慢慢調整TOMCAT的配置即可。

總結與建議：Nutch是非常棒的基於Lucene的開源搜尋引擎，Lucene為Nutch提供了文字索引和搜尋的API。它的開放性架構以及優良的效能為我們學習和進一步開發提供了堅實的基礎，甚至是搜尋引擎架構從業者必然的選擇。