Python Scrapy：allowed_domains从数据库添加新域
我需要向 allowed_domains 添加更多域，因此我没有收到“已过滤的异地请求”。 我的应用程序获取从数据库获取的网址，因此我无法手动添加它们。 我尝…
使用 Twisted 和 Python 在后台执行复杂工作的 Websocket 服务器
我想编写一个处理 Websocket 客户端的服务器，同时通过 sqlalchemy 进行 mysql 选择并同时抓取多个网站（scrapy）。接收到的数据必须进行计算，保存到…
我可以在 Django 类中使用 Scrapy 函数吗
我已经在 Django 中构建了一个网站。我需要使用网络爬行功能。所以我安装了Scrapy。正如他们的教程中所述，Scrapy 正在工作， scrapy startproject dm…
Scrapy图片下载如何使用自定义文件名
对于我的 scrapy 项目，我目前正在使用 ImagesPipeline。下载的图像使用其 URL 的 SHA1 哈希存储为文件名。 如何使用我自己的自定义文件名来存储文件…
Python 命令行细分（针对“scrapy”）
我试图安装 SCRAPY 并使用它。 教程说运行这个： scrapy startproject tutorial 你能把它分解一下来帮助我理解它吗？我的 Windows 7 机器上有各种版本…
scrapy 跟踪大型 XML feed 链接
Closed. This question does not meet Stack Overflow guidelines. It is not currently accepting answers. 要求提供代码的问题必须表现出对所解决…
Scrapy - 没有列表页面，但我知道每个项目页面的网址
我正在使用 Scrapy 来抓取网站。我想要抓取的项目页面如下所示： http://www.somepage.com /itempage/&page=x。其中 x 是从 1 到 100 之间的任意数字…
Scrapy 的 Ruby 替代品？
有哪些基于 Ruby 的工具可以帮助我实现与 Scrapy 对 Python 所做的类似的事情？ http://doc.scrapy.org/intro/overview.html…
在 Scrapy 中使用经过身份验证的会话进行爬网
在我的上一个问题中，我对我的问题不是很具体（使用Scrapy进行经过身份验证的会话进行抓取），在希望能够从更一般的答案中推导出解决方案。我可能更应…
Scrapy - 解析页面以提取项目 - 然后跟踪并存储项目 url 内容
我有一个关于如何在 scrapy 中做这件事的问题。我有一个蜘蛛，可以爬行以获取项目列表页面。 每次找到带有项目的列表页面时，都会调用 parse_item() …
Scrapy XPath 选择器文本的 Unicode 和 UTF-8 编码问题
我正在使用 Scrapy 和 Python（作为 Django 项目的一部分）来抓取包含德语内容的网站。我安装了 libxml2 作为 Scrapy 选择器的后端。 如果我通过选择…
如何使用 scrapy 的 XmlFeedSpider 解析 sitemap.xml 文件？
我正在尝试使用 scrapy 解析 sitemap.xml 文件，站点地图文件类似于以下文件，只有更多的 url 节点。
