screen-scraping

screen-scraping

文章 0 浏览 5

可以自动化网络搜索吗?

是否可以在网站搜索表单中输入一系列搜索?我有一个目的地列表,想看看搜索对于每个目的地是否返回结果或引发错误。…

牵你的手,一向走下去 2024-09-06 05:22:53 8 0

从 html 获取将显示给用户的文本

有点随机,我想玩一些 NLP 东西,我想: 从 HTML 获取将在浏览器中显示给用户的所有文本。 我理想的输出中不会有任何标签,只会有句号(以及使用的任…

小瓶盖 2024-09-05 20:12:47 6 0

从欧洲议会网站抓取数据时出现东欧字符问题

编辑:非常感谢您提出的所有答案和观点。作为一个新手我有点不知所措,但是这是继续学习python的很大动力!! 我正在尝试从欧洲议会网站上获取大量数…

む无字情书 2024-09-05 19:53:02 6 0

如何获取中的所有内容使用 HTML Agility Pack 标记?

所以我正在编写一个可以进行一些屏幕抓取的应用程序。我正在使用 HTML Agility Pack 将整个 HTML 页面加载到 HtmlDocoument 称为 doc。现在我想解析该…

似狗非友 2024-09-05 08:14:33 9 0

将 Mechanize 与 Google 文档结合使用

我正在尝试使用 Mechanize 登录 Google 文档,以便我可以抓取一些内容(不可能从 API 中获取),但在尝试遵循元重定向时,我似乎一直收到 404: requi…

放手` 2024-09-05 00:29:15 3 0

如何在rails中打开URL?

我正在尝试读取某个网站的 html。 尝试 @something = open("http://www.google.com/") 失败,并出现以下错误: Errno::ENOENT in testController#show…

时光磨忆 2024-09-04 14:21:53 6 0

如何快速获取并处理实时屏幕输出

我正在尝试编写一个程序来玩全屏电脑游戏(作为计算机视觉和人工智能的实验)。 对于这个实验,我假设游戏没有供 AI 玩家使用的底层 API(也没有可用…

帅冕 2024-09-04 06:46:06 5 0

帮助将使用 httlib2 的代码转换为使用 urllib2

我想做什么? 访问站点,检索 cookie,通过发送 cookie 信息访问下一页。这一切都有效,但 httplib2 给我在一个站点上使用袜子代理带来了太多问题。 h…

鹊巢 2024-09-04 03:45:10 11 0

Mechanize 可以进行 Javascript 调用吗?

Mechanize 可以进行 Javascript 调用吗? 这在屏幕抓取时协商 AJAX 会很方便......…

黎夕旧梦 2024-09-03 19:45:57 3 0

抓取网站的请求数/第二标准是什么?

这是与我的问题最接近的问题,但在我看来,它并没有得到很好的回答: 网络抓取礼仪 我正在寻找问题#1 的答案: 您应该每秒执行多少个请求来进行抓取?…

鹿! 2024-09-03 14:55:37 4 0

如何导出scruyt提取器?

我编写了一个基于“学习”技术的 scrapyt 提取器,即指定页面上的当前文本并让它计算出 XPath 表达式本身。但是,我现在想导出提取器,以便即使页面发…

路弥 2024-09-03 13:57:38 10 0

Nokogiri 只查找入站链接

我有一个 html 文档位于 http://somedomain.com/somedir/example.html 该文档包含四个链接: http://otherdomain.com/other.html http://somedomain.c…

残月升风 2024-09-03 09:19:42 6 0

使用屏幕抓取时出现页面发布问题

我正在进行屏幕抓取并在 3 个网站中成功完成,我在最后一个网站中遇到问题 ,这是我的网址,当我使用参数时,它会在下一页上显示结果,只需发布​​到…

糖果控 2024-09-03 09:06:16 9 0

屏幕抓取应用程序窗口并与鼠标和键盘交互

有一天,我发现自己沉迷于 Flash 游戏,同时也对这件事感到沮丧。在对游戏感到沮丧的时刻,我想我应该制作一个“机器人”来帮我打败它。好吧,我真的…

穿透光 2024-09-03 07:49:25 7 0

Javascript 的 Python Scraper?

谁能指导我找到一个好的 Python 屏幕抓取库来获取 JavaScript 代码(希望有好的文档/教程)?我想看看有哪些选择,但最重要的是最容易学习且效果最快.…

⒈起吃苦の倖褔 2024-09-03 03:17:43 6 0
更多

推荐作者

娇女薄笑

文章 0 评论 0

biaggi

文章 0 评论 0

xiaolangfanhua

文章 0 评论 0

rivulet

文章 0 评论 0

我三岁

文章 0 评论 0

薆情海

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文