Scrapy

Scrapy

文章 673 浏览 211

刮擦地点时请求问题

在Python中使用 scrapy 刮擦肯德基的位置时,我将面临问题。这是网站: https://api.kfc.de/find-a-a-kfc /allrrestaurant 在这里,我的原始代码: cl…

地狱即天堂 2025-02-04 20:50:19 1 0

如何用包含class_id的ID刮擦所有元素的文本?

我有以下我接近工作的代码(我认为)。我可以使用包含 id 包含字符串 class_id 的 id 的选择器数组,其中包含每个锚元素的值。我要做的是让所有这些锚…

最美的太阳 2025-02-04 20:04:33 0 0

我的代码没有给出下一页的结果?

此代码为第一页提供了项目,但不会访问下一页。第一个功能调用第二个功能通过第一页的产品运行,但是在第一个功能中完成循环后,它应该为下一页调用,…

陌伤ぢ 2025-02-04 16:29:44 1 0

从CSV到CSV刮擦电话和拉链URL

我需要刮擦存储在CSV中的URL列表并导出到另一个CSV。我必须犯一些错误,因为我无法运行它。因此,如果有人可以帮助我,我感谢。 我在Python中非常新,…

盛夏已如深秋| 2025-02-04 13:33:31 4 0

如何使用砂纸刮擦多个报价页面数据

我已经开发了一个代码来刮擦单页的数据,但是我不知道如何使用scrapy代码 import scrapy class QuoteSpider(scrapy.Spider): name = 'quote' start_ur…

叫嚣ゝ 2025-02-04 10:58:45 0 0

签署链式XPATH选择

我正在使用以下XPATH选择器,在废除蜘蛛的解析方法中, for item in response.xpath( '//div[@id="mosaic-provider-jobcards"]//a//*[boolean(@id)]' …

伪心 2025-02-04 07:38:52 3 0

Scarpy无法刮擦简单的网站,因为它提供了空数据

我正在努力关注网站但是我遇到了奇怪的错误,因为所有表数据都是空的,因为所有表数据都是空的。 以下是我简单的砂纸代码。 class FloorSheetSpider(s…

萌酱 2025-02-04 05:18:53 1 0

砂纸未从分页收集的刮擦链接

我正在尝试为其产品刮擦电子商务网站,目前,我面临的问题并非我访问了分页的所有页面。链接本身是有效的,可访问的,而不是不存在的。 我的蜘蛛代码…

避讳 2025-02-04 00:22:37 2 0

零工选择器仅获取第一个元素以进行循环

我不明白为什么在使用废品选择器时以下代码不起作用。 在砂壳中(很容易复制,但是蜘蛛中的问题仍然相同): from scrapy.selector import Selector b…

嗳卜坏 2025-02-03 23:44:04 1 0

如果页面有不同的变化,如何在页面中找到文本?

我有一个元素,例如< span class =“ ads_price” id =“ tdo_8”> 7 650€</span> ,我需要按价格找到此元素,但是问题是我不知道价…

美人迟暮 2025-02-03 13:38:14 2 0

在无限卷轴上的页面上的刮擦蜘蛛

我正在尝试使用零工爬网蜘蛛在网站上遵循无限滚动的链接,从其遵循的URL中刮擦信息,然后继续遵循链接并刮擦信息。我已经为此找到了有关纸巾的建议,…

毁梦 2025-02-03 04:15:00 2 0

与PDFKIT签克,WinError 206

以下是我要运行的程序,但它返回WinError 206,是某种Windows错误还是其他?我发现WinError 206是关于Sobprocess的事情,有人可以帮我解决这个问题吗…

烧了回忆取暖 2025-02-02 23:15:45 3 0

正确的标题和有效载荷,用于抓取使用AJAX的网站

我正在尝试使用scrapy formrequest模拟Ajax请求,以在此网站上获取下一页 headers = { 'path': 'https://www.the-academy.nl/Page?$$ajaxid=view:_id1…

怪我鬧 2025-02-02 20:37:15 3 0

用砂纸刮擦信息

我正在尝试刮擦如下所示的信息,但它们将提供错误的输出。我在做什么错误?这是页面链接 https:// www。 thegrommet.com/products/the-vintage-pearl…

廻憶裏菂餘溫 2025-02-02 15:51:12 2 0

获取“数据-...”的价值。用.css选择器属性

我正在尝试通过零工来获得数据归因的价值: response.css('.product-header-top div::attr("data-background-image")').get() 但是我没有获得数据背景…

み零 2025-02-02 06:51:00 2 0
更多

推荐作者

十二

文章 0 评论 0

飞烟轻若梦

文章 0 评论 0

OPleyuhuo

文章 0 评论 0

wxb0109

文章 0 评论 0

旧城空念

文章 0 评论 0

-小熊_

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文