web-scraping

web-scraping

文章 0 浏览 7

刮擦地点时请求问题

在Python中使用 scrapy 刮擦肯德基的位置时,我将面临问题。这是网站: https://api.kfc.de/find-a-a-kfc /allrrestaurant 在这里,我的原始代码: cl…

地狱即天堂 2025-02-04 20:50:19 1 0

连续检查JSON URL是否使用Python中的数据更改

我有一个写的小脚本(见下文),从Web URL获取JSON数据。目的是打印JSON中的任何新数据。有什么办法可以每5秒连续检查URL并报告任何更改?我确定我做…

孤檠 2025-02-04 20:14:00 2 0

如何用包含class_id的ID刮擦所有元素的文本?

我有以下我接近工作的代码(我认为)。我可以使用包含 id 包含字符串 class_id 的 id 的选择器数组,其中包含每个锚元素的值。我要做的是让所有这些锚…

最美的太阳 2025-02-04 20:04:33 1 0

使用JSOUP从Google搜索结果中刮取URL

我试图制作一种以位置名称的方法,并返回该位置的Weather.com页面的URL。我正在尝试获得第一个搜索结果的URL,但我正在挣扎。 { String temp = loc.re…

番薯 2025-02-04 19:29:10 2 0

网站从网站地图位置刮擦更多的基础数据?

目前,我已成功使用Python从竞争对手的网站上刮擦数据,以查找商店信息。该网站有一个地图,您可以在其中输入邮政编码,它将告诉您我当前位置区域中的…

可遇━不可求 2025-02-04 18:45:46 1 0

我的代码没有给出下一页的结果?

此代码为第一页提供了项目,但不会访问下一页。第一个功能调用第二个功能通过第一页的产品运行,但是在第一个功能中完成循环后,它应该为下一页调用,…

陌伤ぢ 2025-02-04 16:29:44 2 0

http错误403在请求多页(rvest)时

我正在尝试编写一个浏览器,该刮板浏览了页面列表(全部来自同一站点),要么1。从每个页面下载html/css,或2。特定类。 (目前,我的代码反映了前者…

情泪▽动烟 2025-02-04 15:16:39 0 0

如何仅使用Praw刮擦Reddit帖子?

在下面的代码下,我还找到了GIF,但是我只想找到图像帖子。 我可以为.gif过滤posturl_list,但我不知道如何删除与gif相关的posttitle_list中的标题。 …

时光瘦了 2025-02-04 14:52:22 2 0

find()没有关键字参数

Closed. This question needs debugging details. It is not currently accepting answers. 编辑问题以包括所需的行为,特定问题或错误以及重现问题…

弱骨蛰伏 2025-02-04 13:38:55 2 0

当我刮擦Instagram帐户时,错误。将`?__ a = 1`添加到URL不再工作了。有线索吗?

直到2天前,我能够通过在URL末尾添加?__ a = 1 来刮擦Instagram帐户。 例如: https://www.instagram.com/xavi/?___A=1 现在,当我做同样的事情时,…

风轻花落早 2025-02-04 13:20:59 7 0

麻烦在非常大的字符串中找到链接

我正在为数据科学项目抓取棒球参考,并在试图从特定联赛中刮掉玩家数据时出现了一个问题。 JSUT本赛季开始比赛的联赛。当我刮擦已经完成比赛的旧联赛…

迟月 2025-02-04 12:33:57 1 0

刮擦时如何解决此错误?它说“证书已过期”

该网站为 https:///en.wikipedia.orgipedia.orgg/wiki/wiki/wiki/list_national_capitals_capitals_capitals base_site = "https://en.wikipedia.org/…

朱染 2025-02-04 11:13:53 2 0

提取职位描述LinkedIn

我试图提取职位,公司,位置和描述。 作业页面的示例 我设法获得了职位标题,公司,位置,因为每个跨度都有其类名称。 我很难获得职位描述,因为他们…

就是爱搞怪 2025-02-04 10:48:09 1 0

如何使网络废料更像人性化?

我有一个用Python编写的Web废料脚本,当我将其用于网站时,它会阻止我,并说“您的页面非常快。您可能是一个机器人”。 我尝试将 time.sleep()添加…

冷血 2025-02-04 10:13:21 2 0

刮擦TSP网站时,我可以使用Excel VBA HTML刮擦访问股票价格表中的数据

我正在抓取网站“ https://www.tsp.gov/fund-performance/share-price-history/”,如果我使用getElementById(“ dynamic-share-share-div”),我可…

流绪微梦 2025-02-04 10:02:25 2 0
更多

推荐作者

甲如呢乙后呢

文章 0 评论 0

王权女流氓

文章 0 评论 0

云雾

文章 0 评论 0

wyh2033345759

文章 0 评论 0

乖乖

文章 0 评论 0

qq_xR3jkM

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文