如何从 heritrix 爬网中排除除 text/html 之外的所有内容？
上：Heritrix 用例 有一个用例“仅存储成功” HTML 页面” 我的问题：我不知道如何在我的 cxml 文件中实现它。尤其： 将 ContentTypeRegExpFilter 添…
编写爬虫程序时有没有办法智能的将非结构化数据结构化,根据关键字自动生成xpath解析页面?
编写爬虫程序时最痛苦的就是需要一个个网站的写解析程序,感觉完全是体力活,有没有办法根据关注字自动生成xpath,比如抓取物流方面的信息根据车长,车型,…
Heritrix运行时错误--java.lang.NoClassDefFoundError
按照网上配置，运行主类出错，所有jar包已经引入了 错误信息如下： java.lang.NoClassDefFoundError: org/archive/crawler/Heritrix Caused by: java.…
怎么把 Heritrix 后台整合到web项目中？
         Heritrix 1.14.4怎么怎么到自己的web工程里面！跪求啊。 我现在就是不知道Heritrix提交参数具体是在那段代码哩。好像…
爬虫下来的图片、视频、大文本存储技术
有谁做过互联网爬虫， 请问有什么比较好的技术实现网页中图片和视频还有大文本的存储。   我的初步想法是针对标题做索引用mysql实现， 但…
关于heritrix的配置问题，最后运行不成功
配置heritrix，前面都是没出错，最后执行heritrix --admin=admin：admin就出错了，求高手解答，我这个是在XP虚拟机里做的 C:Documents and SettingsAd…
关于Heritrix的处理器链和Processor的疑问
在ToeThread的processCrawlUri()方法中 private void processCrawlUri() throws InterruptedException {     /…
heritrix在eclipse中正常启动后 无法用浏览器登录（急）
heritrix在eclipse中能正常启动 但打开浏览器登录8080端口无法找到 login.jsp页面 同时eclipse中开始报错。 请问一下哪位大虾可以帮忙解决一下吗？谢…
heritrix爬取友人网（http://mobile.younet.com/）信息后遇到的问题
最近在使用heritrix爬取了http://mobile.younet.com/网站的网站产品页面后，在运行写入main函数的 Extractor后，控制台并没有出现所想要的信息，只有c…
heritrix趴下网站产品页面后建立数据库索引遇到的麻烦
        根据《开发自己的搜索引擎》这本书，在做到运行ProductTextFileProcessor建立数据库索引这里控制台报错如下 F:p…
