scrapy-pipeline

scrapy-pipeline

文章 0 浏览 1

如何使用砂纸和砂纸正确启用代理?

我正在使用 scrapy-proxies 和“ nofollow noreferrer” a>在我的项目中。但是,这些请求是通过我的公共IP地址而不是代理路线进行路由。 。 BOT_NAME …

爱你不解释 2025-02-05 20:28:02 1 0

如何将数据从一个管道发送到另一个管道中

您好,我有两个管道,第一个下载照片: class ModelsPipeline(ImagesPipeline): def get_media_requests(self, item, info): for image_url in item['…

盛夏尉蓝 2025-01-31 11:04:01 3 0

砂纸图像管道文件名未删除其他爬行信息

有什么方法可以用我们使用蜘蛛获得的其他信息(文本)命名爬行的图像? 例如,在这种情况下,我希望使用文章标题和文章发布的日期,这些图像我在蜘蛛…

悲凉≈ 2025-01-29 00:38:23 2 0

废纸停止遵循对特定目标的要求

我的废除蜘蛛有许多独立的目标链接到爬网。 def start_requests(self): search_targets = get_search_targets() for search in search_targets: reque…

梦途 2025-01-23 16:23:13 3 0
更多

推荐作者

空城旧梦

文章 0 评论 0

破晓

文章 0 评论 0

半仙

文章 0 评论 0

宫墨修音

文章 0 评论 0

17780639550

文章 0 评论 0

潮男不是我

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文