JAVA_HOME=/usr/java/jdk1.6.0_13

export JAVA_HOME

CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib        (注意是冒号)

export CLASSPATH

PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

<!-- Define a non-SSL HTTP/1.1 Connector on port 8080 -->
    <Connector port="8080" maxHttpHeaderSize="8192"
        maxThreads="150" minSpareThreads="25" maxSpareThreads="75"
        enableLookups="false" redirectPort="8443" acceptCount="100"
        c disableUploadTimeout="true"
        URIEncoding="UTF-8" useBodyEncodingForURI="true" />   

默认服务端口为8080，若有冲突（如Apache），则可通过此配置文件更改端口（蓝色）;如果配置后nutch出现中文乱码问题，则增加编码配置（红色）

①设置抓取网站的入口网址

[root@red-hat-9 nutch-0.9]# cd /zkl/ir/nutch-0.9/

[root@red-hat-9 nutch-0.9]# mkdir urls

[root@red-hat-9 nutch-0.9]# vi urls/urls_crawl.txt

或者不用创建目录，直接创建一个文件urls_crawl.txt，我们采用此法，

[root@red-hat-9 nutch-0.9]# vi urls_crawl.txt

写入要抓取(crawl)网站的入口网址，即从此入口开始抓取当前域名下的任何URL页面，例如：

http://english.gu.cas.cn/ag/

②指定爬取过滤规则

编辑nutch的URL过滤规则文件conf/crawl-urlfilter.txt

[root@red-hat-9 nutch-0.9]# vi conf/crawl-urlfilter.txt

修改

# accept hosts in MY.DOMAIN.NAME
# +^http://(/[a-z0-9]*/.)*MY.DOMAIN.NAME/

为

这是你想要爬取网站的域名，表示爬取当前网站下的所有URL页面，爬取起始网站在①中已经设置。

③过滤字符设置

如果爬取网站的url含有以下过滤字符，如 ? 和 = ，而你又需要这些访问，可以更改过滤表

# skip URLs containing certain characters as probable queries, etc.
-[?*!@=]
改为
-[*!@]

④修改conf/nutch-site.xml

修改为

<configuration>
        <property>
                <name>http.agent.name</name>     http.agent.name属性
                <value>gucas.ac.cn</value>    该值是被抓取网站的名称，自己设定，

在nutch检索中会用到
        </property>
        <property>
                <name>http.agent.version</name>
                <value>1.0</value>
        </property>

<property>

           <name>searcher.dir</name>

           <value>/zkl/ir/nutch-0.9/gucas</value>

           <description> Path to root of crawl</description>

</property>
</configuration>
如果没有配置此agent，爬取时会出现 Agent name not configured! 的错误。

⑤开始爬取

运行crawl命令抓取网站内容

[root@red-hat-9 nutch-0.9]# bin/nutch crawl urls_crawl.txt -dir gucas -depth 50 -threads 5 -topN 1000 >& logs/logs_crawl.log

·-dir   dirnames  设置保存所抓取网页的目录.

·-depth  depth    表明抓取网页的层次深度

·-delay  delay    表明访问不同主机的延时，单位为“秒”

·-threads  threads   表明需要启动的线程数

·-topN  1000   表明只抓取每一层的前N个URL

在上述命令的参数中，urls_crawl.txt 就是刚才创建的那个包含存储了抓取网址的文件urls_crawl.txt的目录；dir指定抓取内容所存放的目录，这里是gucas；depth表示以要抓取网站顶级网址为起点的爬行深度；threads指定并发的线程数；topN表明只抓取每一层的前N个URL；最后的logs/ logs_crawl.log表示把抓取过程显示的内容保存在logs目录下的文件logs_crawl.log中，以便分析程序的运行情况。

此命令运行完后，将会在nutch-0.9目录下生成gucas目录，并存放有抓取的文件和生成的索引，此外将会在nutch-0.9目录下剩下logs目录，此目录下生成一个文件logs_crawl.log，存储的是抓取日志。

如果gucas在运行前已存在，则运行时将报错：gucas already exist。建议先删除这个目录，或者指定其他的目录存放抓取的网页。

完成上述的各步操作，此时数据的抓取顺利完成了。

测试：bin/nutch org/apache/nutch/searcher/NutchBean the 

查询关键字“the” 。

上面只是抓取单个网站，没有体现网络蜘蛛从多个网站爬取数据的优点，下面举例说明爬取多个网站数据时的情况：

在Nutch主目录下新建文件multiurls.txt文件，写入希望下载的网址列表

http://www.pcauto.com.cn/

http://www.xcar.com.cn/

http://auto.sina.com.cn

修改过滤规则文件crawl-urlfilter.txt，允许下载任意站点

# accept hosts in MY.DOMAIN.NAME

+^                                  //默认允许所有网站链接

# skip everything else

-.

执行抓取命令

[root@red-hat-9 nutch-0.9]# bin/nutch crawl multiurls.txt -dir mutilweb -depth 50 -threads 5 -topN 1000 >& logs/logs_crawl.log

修改conf/nutch-site.xml

修改为：

<configuration>
        <property>
                <name>http.agent.name</name>     http.agent.name属性
                <value>* </value>                该值是网络指蜘蛛名称，
        </property>
        <property>
                <name>http.agent.version</name>
                <value>1.0</value>
        </property>

<property>

         <name>searcher.dir</name>

         <value>/zkl/ir/nutch-0.9/gucas</value>

         <description> Path to root of crawl</description>

</property>
</configuration>
    测试：bin/nutch org/apache/nutch/searcher/NutchBean SUV 

查询关键字“SUV” 。

---------------------------------------------------------------------

⑥部署web前端
将nutch主目录下的nutch-0.9.war 包拷贝到tomcat的webapps目录下
[root@red-hat-9 nutch-0.9]# cp nutch-0.9.war /zkl/program/apache-tomcat-6.0.18/webapps/
然后浏览器网址 http://localhost:8080/nutch-0.9/ ，此时war包会自动解压，在tomcat的网页主目录webapps下会出现一个nutch-0.9文件夹。

⑦修改tomcat中nutch的web配置
vi /zkl/program/apache-tomcat-6.0.18/webapps//nutch-0.9/WEB-INF/classes/nutch-site.xml

将searcher.dir属性值更改为索引生成的目录。

<configuration>

<property>

  <name>searcher.dir</name>

  <value>/zkl/ir/nutch-0.9/gucas</value>

  <description>

  Path to root of crawl.  This directory is searched (in

  order) for either the file search-servers.txt, containing a list of

  distributed search servers, or the directory "index" containing

  merged indexes, or the directory "segments" containing segment

  indexes.

  </description>

</property>

</configuration>

HTTP Status 500 -

--------------------------------------------------------------------------------

type Exception report

message

description The server encountered an internal error () that prevented it from fulfilling this request.

exception

org.apache.jasper.JasperException: /search.jsp(151,22) Attribute value  language + "/include/header.html" is quoted with " which must be escaped when used within the value

 org.apache.jasper.compiler.DefaultErrorHandler.jspError(DefaultErrorHandler.java:40)

[root@red-hat-9 nutch-0.9]# bin/nutch crawl urls -dir gucas -depth 50 –threads 5 >& logs/logs1.log

[root@red-hat-9 nutch-0.9]# cat logs/logs1.log

crawl started in: gucas

rootUrlDir = 5

threads = 10

depth = 50

Injector: starting

Injector: crawlDb: gucas/crawldb

Injector: urlDir: 5

Injector: Converting injected urls to crawl db entries.

Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path doesnt exist : /zkl/ir/nutch-0.9/5

        at org.apache.hadoop.mapred.InputFormatBase.validateInput(InputFormatBase.java:138)

        at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:326)

        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:543)

        at org.apache.nutch.crawl.Injector.inject(Injector.java:162)

        at org.apache.nutch.crawl.Crawl.main(Crawl.java:115)

When you try the grep example in the QuickStart, you get an error like the following:

org.apache.hadoop.mapred.InvalidInputException:Input path doesnt exist : /user/ross/input

You haven't created an input directory containing one or more text files. 

bin/hadoop dfs -put conf input