nutch系列2——nutch2.x的編譯、安裝和配置
阿新 • • 發佈:2019-02-19
也可以通過命令的形式直接下載:
wget http://mirror.bit.edu.cn/apache/nutch/2.3.1/apache-nutch-2.3.1-src.tar.gz
2、解壓nutch(目錄:/opt/work/)
tar zxvf apache-nutch-2.3.1-src.tar.gz
3、修改 $NUTCH_HOME/conf/nutch-site.xml 在 configuration節點中增加如下內容:
<property>
<name>storage.data.store.class</name>
<value >org.apache.gora.hbase.store.HBaseStore</value>
<description>Default class for storing data</description>
</property>
4、修改 $NUTCH_HOME/ivy/ivy.xml 去掉如下注釋,啟用 gora-hbase:
<!-- Uncomment this to use HBase as Gora backend. -->
<dependency org="org.apache.gora" name ="gora-hbase" rev="0.6.1" conf="*->default" />
5、修改$NUTCH_HOME/conf/gora.properties ,新增如下內容:
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore
6、配置倉庫地址
這邊解釋一下:如果不配置國內的映象,使用官網的映象,會出現不明的異常。保險起見
修改ivy中配置的maven倉庫地址,具體方法:$NUTCH_HOME/ivy/ivysettings.xml 找到如下程式碼:
<property name="repo.maven.org"
value="http://maven.oschina.net/content/groups/public/"
override="false"/>
7、接下來回到$NUTCH_HOME 目錄
執行:
ant runtime
需要等待比較久的時間,因為要去遠端下載依賴jar包
出現以上 SUCCESSFUL表示編譯成功…
8、配置環境變數
編輯/etc/profile
vim /etc/profile
加入以下程式碼:
export NUTCH_HOME=/opt/work/apache-nutch-2.3.1/runtime/local
export PATH=$NUTCH_HOME/bin:$PATH