screen-scraping

screen-scraping

文章 0 浏览 3

编写一个 C# 程序来扫描电子商务网站并提取产品图片 + 价格 + 他们的描述

我正在开发一个电子商务搜索引擎,可以让您在很多电子商务网站中搜索产品。 我该如何处理这个问题? 我需要一个能够扫描网站、解析 HTML 并确定网站中…

苦妄 2024-07-13 18:55:03 5 0

使用 PHP 和 XPath 进行屏幕抓取

有谁知道使用 XPath 提取数据时如何保持文本格式? 我目前正在提取所有块 标题 文本锚 来自页面。 问题是当我访问nodeValue时,我只能得到纯文本。 如…

ゞ花落谁相伴 2024-07-12 01:59:36 5 0

自动化课表优化爬虫?

总体规划 获取我的课程信息,自动优化并选择我的大学课程时间表 总体算法 使用其登录网站 Enterprise Sign On Engine 登录 查找我当前的学期及其 相关…

你丑哭了我 2024-07-12 01:43:42 7 0

提供 API 是否有助于阻止屏幕抓取?

最近我一直在思考屏幕抓取以及它可能是一项什么样的任务。 所以我提出以下问题。 作为网站开发人员,您会公开简单的 API 来防止用户抓取屏幕(例如 JS…

篱下浅笙歌 2024-07-11 09:12:03 6 0

像 Hubspot 这样的网站如何跟踪入站链接?

所有这些类型的网站都只是非法抓取 Google 或其他搜索引擎吗? 据我所知,没有“合法”的方式来获取商业网站的这些数据。 api ( http://developer.yah…

浊酒尽余欢 2024-07-11 08:26:11 5 0

有谁知道可以从 JavaScript 调用来创建和保存桌面屏幕截图的无 GUI 应用程序?

虽然这个话题听起来像是我想做一些狡猾的事情,但我不是; 我维护一个由数百个电话运营商使用的内部网站,并希望添加以下功能: 我想在所有网页的标题…

摘星┃星的人 2024-07-11 05:30:24 5 0

防止屏幕刮擦

Closed. This question is off-topic. It is not currently accepting answers. 想要改进此问题吗?更新问题,使其关于- Stack Overflow 的主题。 12…

ら栖息 2024-07-11 02:05:45 6 0

自动生成 HTTP 屏幕抓取 Java 代码

我需要从网站上筛选一些数据,因为无法通过他们的网络服务获得这些数据。 当我以前需要这样做时,我自己使用 Apache 的 HTTP 客户端库编写了 Java 代…

暖伴 2024-07-11 00:09:32 3 0

如何动态查找给定 URL 的入站链接?

Technorarati 拥有他们的 Cosmos api,它工作得相当好,但限制您用于非商业用途,并且不能使用每天超过500个查询。 雅虎有一个 Site Explorer InLink …

当爱已成负担 2024-07-10 21:43:53 6 0

在 C# 中抓取 Windows 应用程序的屏幕

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …

喜爱纠缠 2024-07-10 16:09:46 3 0

程序化表单提交

我想抓取网页的内容。 内容是在该网站上填写并提交表格后生成的。 我已经阅读了如何抓取最终结果内容/网页 - 但如何以编程方式提交表单? 我正在使用 …

清旖 2024-07-10 11:10:53 6 0

如何保护/监控您的网站免遭恶意用户抓取

情况: 网站的内容受用户名/密码保护(并非全部受控,因为他们可以是试用/测试用户), 由于用户名/密码限制,普通搜索引擎无法访问该网站, 恶意用户…

暖心男生 2024-07-10 06:50:59 7 0

使用 PHP 进行抓取 SimpleXML...我可以抓取图像但不能抓取原始文本?

我正在尝试从网站上获取特定的原始文本。 通过这个网站和其他来源,我学会了如何使用 simpleXML 和 xpath 抓取特定图像。 然而,同样的方法似乎不适用…

定格我的天空 2024-07-10 06:34:07 3 0

识别网页上物理地址的算法

识别 HTML 页面上的结构化数据的最佳算法是什么? 例如,谷歌将识别电子邮件中的家庭/公司地址,并提供该地址的地图。…

你与清晨阳光 2024-07-09 14:35:30 7 0

如何将 cookie 传递到外部 Web 浏览器?

我正在编写一个应用程序,需要打开浏览器窗口(可能只能使用 IE)来访问使用表单身份验证的网站。 诀窍在于,它们需要经过身份验证,以便节省时间,因…

廻憶裏菂餘溫 2024-07-09 03:13:32 6 0
更多

推荐作者

yangzhenyu123

文章 0 评论 0

lvzun

文章 0 评论 0

执笔绘流年

文章 0 评论 0

芯好空

文章 0 评论 0

始于初秋

文章 0 评论 0

谁与争疯

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文