screen-scraping

screen-scraping

文章 0 浏览 5

需要使用 CURL 登录网站的帮助

我在使用 CURL 登录网站时遇到一些问题。 我认为我的问题与 cookie 文件有关。 我在登录时使用 cookiejar 来收集信息,然后 我使用 cookiefile 来检索…

梦言归人 2024-09-30 03:09:08 6 0

PHP 函数获取
内的所有链接在远程站点上使用抓取方法

有人有一个 PHP 函数可以抓取远程站点上特定 DIV 内的所有链接吗?所以用法可能是: $links =grab_links($url,$divname); 并返回一个我可以使用的数组…

兮颜 2024-09-29 06:01:06 8 0

如何使用 scraper 从 web 2.0 图表中提取数据

我最近遇到一个网页,其中包含一个图形对象,当鼠标滚动到该对象上时,该对象会显示该对象上的 (x, y) 值。有什么办法可以自动提取这些数据吗?…

伴随着你 2024-09-28 04:41:42 5 0

java html解析器不读取所有页面

我正在解析 html 页面以获取特定信息,但有些页面无法获取网页上显示的所有信息,例如 此页面 我无法获取评论信息。 顺便说一句,如果您查看该页面的…

寒冷纷飞旳雪 2024-09-28 01:08:54 5 0

如何使 pQuery 能够处理格式稍有缺陷的 HTML?

pQuery 是 jQuery JavaScript 框架到 Perl 的实用移植,可用于屏幕抓取。 pQuery 对格式错误的 HTML 非常敏感。考虑以下示例: use pQuery; my $html_…

长发绾君心 2024-09-26 22:25:51 8 0

如何捕获屏幕片段并与用户共享

有时您可能喜欢某个网页中的屏幕片段,理想情况下您希望捕获该片段,并可能向用户界面的一部分添加一些注释。有什么样的工具可以捕获这些信息并与其他…

私藏温柔 2024-09-26 15:04:54 6 0

网页抓取:按 javascript 按钮

我正在尝试抓取网页并接收我需要按下按钮的数据。这是按钮的源代码: "a class="press-me_btn" href="javascript:void( NewPage['DemoPage'].startDem…

土豪 2024-09-26 09:43:12 4 0

使用 Javascript/html5 进行所见即所得的网页抓取/爬行设置?

我的目标是允许经验不足的人设置从网站上抓取一些信息所需的参数。 这个想法是用户输入一个 URL,然后将该 URL 加载到框架中。然后,用户应该能够选择…

一枫情书 2024-09-26 05:19:50 6 0

使用 anemone 和 nokogiri 进行屏幕抓取需要帮助

我有一个 http://www.example.com/startpage 的起始页面,其中包含 1220 个列表以标准方式分页,例如每页 20 个结果。 我的代码可以解析结果的第一页…

反话 2024-09-25 15:35:12 9 0

如何使用cxfreeze打包scrapy项目?

我有一个 scrapy 项目,我想为使用 Windows 的客户将其全部打包在一起,而无需手动为它们安装依赖项。我遇到了 cxfreeze,但我不太确定它如何与 scrap…

撩发小公举 2024-09-25 00:12:29 10 0

如何在 ruby​​ on Rails 中优雅地失败并在屏幕抓取失败时收到通知

我正在开发一个 Rails 3 项目,该项目严重依赖屏幕抓取来收集数据,主要使用 Nokogiri。我基本上聚合了所有相同的数据,但我从许多不同的来源获取它,…

简单爱 2024-09-25 00:11:34 8 0

在 Linux 上捕获虚拟打印机输出

我正在为 3270 大型机编写一个 Java 屏幕抓取应用程序,而不是一页一页地滚动 80x24 字符,我想将所有页面输出到打印机,然后捕获并解析打印机输出。 …

情话难免假 2024-09-24 18:30:52 9 0

使用 DOMDocument 和 XPath 访问子 div

我正在构建一个供个人使用和学习目的的基本屏幕抓取工具,因此请不要发表诸如“您需要征求许可”等评论。 我尝试访问的数据结构如下: asd asd asd as…

暗喜 2024-09-19 18:55:14 7 0

在 PHP 中使用 POST 变量抓取 ASP.Net 网站

在过去的几天里,我一直在尝试抓取一个网站,但到目前为止还没有成功。 情况如下: 我试图抓取的网站需要之前提交的表单中的数据。我已经识别了 Web …

时光病人 2024-09-19 07:17:35 8 0

如果我们只有图像,如何发现面积图数据?

面积图(图像)有几个数据系列,这些数据系列用不同的颜色绘制。我们知道图像的大小和x轴上每个标签的坐标,是否可以通过图像识别来发现y轴的系列?有…

筑梦 2024-09-19 03:37:11 11 0
更多

推荐作者

浪漫人生路

文章 0 评论 0

620vip

文章 0 评论 0

羞稚

文章 0 评论 0

走过海棠暮

文章 0 评论 0

你好刘可爱

文章 0 评论 0

陌若浮生

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文