抓取在一个引号内包含 href 的链接
我使用 Scrapy 抓取一些网站，但在 href 的链接中遇到问题，其中 href 的单引号 href=' ' 而不是双引号 href=" "< /代码>。
当我允许使用 allow() 抓取所有链接时，结果将仅包含用双引号形成的链接。我怎样才能克服这个问题？
I use Scrapy to crawl some websites and I have problem with links where href's have one quote href=' ' rather than double quotes href=" ".
And when I allow all links to be crawled with allow(), the result will only contain links formed with double quotes. How can I overcome this problem?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
您是否使用
scrapy.contrib_exp.crawlspider.rules.Rule和SgmlLinkExtractor？我认为单引号或双引号并不重要。如果您希望提取所有链接并将其与该特定规则关联，请使用allow=() 引用空元组，因此不会匹配任何url。
Are you using
scrapy.contrib_exp.crawlspider.rules.RuleandSgmlLinkExtractor? I do n't think single quotes or double quotes matter. If you want all links to be extracted and associated with that particular rule, useas allow=() refers to empty tuple and hence no urls will be matched.