使用 scrapy 抓取多个域的最佳方法是什么？
我希望从中刮掉大约10个奇数网站。其中一些是WordPress博客，尽管有不同的类别，但它们遵循相同的HTML结构。其他是其他格式的论坛或博客。 我喜欢刮擦…
使用scrapy抓取参数化url
我有一个使用 python scrapy 运行的蜘蛛，它正在抓取除带有参数（即 & 符号）的页面之外的所有页面，例如 http://www.amazon.co.uk /gp/product/B003Z…
xpath 查询的制定？
嘿， 我有一个 html 页面，其中包含例如以下标签： Hello world!!! From my authoring tool. Hello world!!! From my authoring tool. 现在我使用 pyt…
Scrapy CrawlSpider 后处理：求平均值
假设我有一个与此示例类似的爬行蜘蛛： 从 scrapy.contrib.spiders 导入 CrawlSpider，规则 从 scrapy.contrib.linkextractors.sgml 导入 SgmlLinkExt…
Scrapy、python、Xpath如何匹配html中的各个项目
我是 Xpath 的新手，尝试使用以下格式抓取网站： tittle_name listed_date listed_value tittle_name listed_date tittle_name listed_value Listed_v…
爬虫运行两次时会产生重复项吗？
我在 python 中使用爬虫框架“scrapy”，并使用 pipelines.py 文件将我的项目以 json 格式存储到文件中。执行此操作的代码如下所示 它 class AYpiPipe…
在scrapy中修改CSV导出
我似乎缺少一些非常简单的东西。我想做的就是使用 ; 作为 CSV 导出器中的分隔符而不是 ,。 我知道 CSV 导出器将 kwargs 传递给 csv 编写器，但我似乎…
python中的Scrapy Crawler无法跟踪链接？
我使用python的scrapy工具用python写了一个爬虫。以下是 python 代码： from scrapy.contrib.spiders import CrawlSpider, Rule from scrapy.contrib.…
XPath：通过当前节点属性选择当前和下一个节点的文本
首先，这是来自 我的上一个问题。我再次发布此内容是因为我在原始帖子中接受其答案的人建议我这样做他认为这个问题以前没有得到适当的界定。尝试 2 如…
在运行时生成 python 正则表达式来匹配来自“n”的数字到无限
我正在使用 scrapy 抓取网站并从中提取数据，scrapy 使用基于正则表达式的规则来检查是否必须解析页面或必须遵循链接。 我正在为我的蜘蛛实现恢复功能…
XPath：通过当前节点属性选择当前和下一个节点的文本
如果这是一个重复的问题，我很抱歉，但我在 SO 或其他地方找不到另一个问题来处理我需要的内容。这是我的问题： 我正在使用 scrapy 从 ANT101H5 Intro…
使用 scrapy 选择单选按钮
我将如何使用 scrapy 选择单选按钮？ 我正在尝试选择以下内容 formdata={'rd1':'E'} does not work Employee Other …
