平武建站

Nutch怎么使用

这篇文章主要讲解了“Nutch怎么使用”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Nutch怎么使用”吧！

十年的香河网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。成都营销网站建设的优势是能够根据用户设备显示端的尺寸不同，自动调整香河建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联从事“香河网站设计”,“香河网站推广”以来，每个客户项目都认真落实执行。

Nutch现在已经到了2.2.2版本，而且版本1.x已经更新到了1.8，这里以1.7为例，1.8中的部分命令行工具的API有变，入门时不是很容易。

#安转运行Nutch#

  • 下载安装Nutch

  • 在${NUTCH_HOME}下，mkdir urls

  • cd urls

  • touch seed.txt

  • edit seed.txt ,write :http://nutch.apache.org

  • edit ${NUTCH_HOME}/conf/regex.urlfilter.txt

  • replace

'#accept anything else
+.

with

+^http://([a-z0-9]*\.)*nutch.apache.org/

  • 爬取网页： bin/nutch crawl urls -dir crawl -depth 3 -topN 5 注意：此命令1.8版本有改变

#安装Solr#

  • 下载安装Solr,我使用的时最新版的4.8

  • cd ${SOLR_HOME}/example

  • java -jar start.jar

  • 验证安装：http://localhost:8983/solr/

#Nutch和Solr集成# 这里要注意：文档说了那么多其实只有两件事：

  • 使用${NUTCH_HOME}/conf/schema-solr4.xml 替换掉${SOLR_HOME}/example/solr/collection1/conf/schema.xml ,并将schema-solr4.xml改名为schema.xml

  • 在schema.xml中第351行后面(其实只要添加在types标签中即可)添加：

到这里集成就完成了。现在只要重新启动solr，并用下面的命令将Nutch爬取的数据索引到solr即可。

在${NUTCH_HOME}下，运行：

bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

然后访问：http://localhost:8983/solr/

感谢各位的阅读，以上就是“Nutch怎么使用”的内容了，经过本文的学习后，相信大家对Nutch怎么使用这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！


新闻标题：Nutch怎么使用
文章源于：http://pwwzsj.com/article/ppescj.html

其他资讯