Mechanze 表单提交导致“断言错误”尝试 .read() 时响应
我正在用 python 编写一个网络爬虫程序，但无法使用 mechanize 登录。网站上的表单如下所示： Last Name: University ID or Library Barcode: Institu…
SideReel 等视频聚合器背后的 Spider 技术？
有人可以向我解释一下 SideReel 等网站背后的聚合技术吗？ 例如 http://www.sidereel.com/the_nine_lives_of_chloe_king/season -1/episode-3/links/9…
在Java中，线程挂在SocketRead0中，我该怎么办？
我正在开发一个网络爬虫，但通常在执行很短的时间（几分钟）后，一些线程会停止工作。运行调试器，我发现它停在 SocketRead0 处。 当线程使用 HttpURL…
如何定义scrapy shell使用哪个spider？
我正在尝试使用 Scrapy shell 测试一些 XPath，但它似乎正在调用我不完整的蜘蛛模块来进行抓取，这不是我想要的。有没有办法定义 scrapy 使用哪个蜘蛛…
在Java中，有一个集合，我只能在一段时间后才能获取元素？
我正在做一个网络爬虫，我不想让服务器因请求而超载，所以我会按时间限制对服务器的访问。 我将有一个对象/集合，它是我将访问的链接列表。 我得到第…
将 URL 参数添加到 Nutch/Solr 索引和搜索结果
我找不到任何关于如何设置 nutch 来不过滤/删除我的 URL 参数的提示。我想对一些页面进行爬网和索引，其中大量内容隐藏在相同的基本 URL 后面（例如 /…
我的网站爬虫在运行时死掉了
我编写了一个网站爬虫来获取链接和图像来创建网站地图，但它在运行时被杀死了！所以这不是我的整个班级 class pageCrawler { ....... private $links …
使用 C# 的可编程 WebCrawler
我想从已知的 Url 中提取特定数据：从 html 标签（如 span、a、div ...）中提取特定数据！ 所以我正在寻找一个用 C# 编写的 WebCrawler 的现有库！ ..…
Web 服务器返回奇怪的 html 文件
在开发网络爬虫时，我遇到了这个奇怪的现象；以下是 http://nexgen.ae 的 Web 服务器返回的页面内容片段： N e x G e n T e c h n o l o g i e s L L …
