screen-scraping

screen-scraping

文章 0 浏览 4

PHP 中图像链接的屏幕抓取

我有一个网站,其中包含许多不同的产品页面,每个页面都有一定数量的所有页面上格式相同的图像。我希望能够截取每个页面的 url,以便我可以从每个页面…

菊凝晚露 2024-09-10 06:56:28 4 0

MSHTML COM 单击提交按钮时出现问题

我在使用 MSHTML COM 从此网站截屏某些数据时遇到问题成分。我的 WPF 表单上有一个 WebBrowser 控件。 我检索 HMTL 元素的代码位于 WebBrowser LoadCo…

水晶透心 2024-09-10 06:24:52 4 0

我可以使用 Hpricot 查找任何/大多数网站的主要文章文本吗?

Closed. This question needs to be more focused. It is not currently accepting answers. 想要改进此问题?通过编辑这篇文章来更新问题,使其仅关…

泛滥成性 2024-09-10 00:48:57 3 0

编辑 html 页面并重新显示 PHP

因此,我一直在使用一种方法从网站检索图像,但我认为简单地显示页面而不显示一些我不想显示的详细信息可能会更容易。该网站特别知道我们正在这样做,…

忘东忘西忘不掉你 2024-09-09 20:17:45 5 0

匹配所有“http”仅限没有附加字符的 URL

我尝试过下面的表达方式。 (http:\/\/.*?)['\"\&lt \&gt] (http:\/\/[-a-zA-Z0-9+&amp@#\/%?=~_|!:,.\"]*[-a-zA-Z0-9+&amp@#\/%=~_|\"]) 第一个做得很…

余厌 2024-09-09 10:21:23 2 0

urllib2 返回浏览器不同的页面?

我正在尝试抓取一个页面(我的路由器的管理页面),但该设备似乎为 urllib2 提供与我的浏览器不同的页面。以前有人发现过这个吗?我怎样才能绕过它? …

情绪操控生活 2024-09-09 05:33:34 5 0

抓取动态内容

我正在从事一个网络抓取项目。有人知道抓取动态内容吗? 基于查询字符串的动态内容与静态内容类似,但基于同一页面内控件的某些事件的动态内容是我陷…

泪眸﹌ 2024-09-08 19:03:27 2 0

php http 发布按钮

我正在使用 PHP 来抓取另一个网站的数据。然而,在某些情况下,我需要确认一个变量(由于有两种非常相似的可能性)。 我应该单击以确认我的变量的按钮…

冷情妓 2024-09-08 12:01:28 4 0

如何存储整个网页以供以后解析?

我最近做了很多网页解析,我的过程通常如下所示: 获取要解析的链接列表 将 列表导入数据库 下载每个链接的整个网页并存储到 mysql 为每个抓取会话添…

箹锭⒈辈孓 2024-09-07 18:00:43 7 0

大规模抓取/解析采用什么技术?

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …

薔薇婲 2024-09-07 17:33:55 7 0

使用 BeautifulSoup 抓取表格

我有一个问题,我怀疑这个问题相当简单。我有以下类型的页面,我想从中收集最后一个表中的信息(如果一直向下滚动,则它是标有“过程”的框中的页面)…

仄言 2024-09-07 15:00:08 2 0

当我尝试屏幕抓取时,Gap.com 正在重定向我

我们正在建立一个网站,允许用户从互联网上的各个地方收集和存储他们最喜欢的产品到一个地方。我们有一种算法,可以通过读取源代码过滤并找到正确的图…

(り薆情海 2024-09-07 09:05:00 2 0

使用 Ruby webdriver (Selenium 2.0) 单击 javascript 链接

使用 ruby​​,如何让 webdriver 单击 javascript 链接? 我试图点击的链接是: 管理 我是否能够触发 javascript按键事件?如果是这样,有人知道这样…

余生共白头 2024-09-06 21:41:26 1 0

爬行和抓取 iTunes App Store

我注意到 iTunes 预览 允许您抓取并通过 http:// 协议抓取页面。但是,许多链接尝试在 iTunes 而不是浏览器中打开。例如,当您转到 iBooks 页面,它会…

星光不落少年眉 2024-09-06 12:42:16 4 0

可以自动化网络搜索吗?

是否可以在网站搜索表单中输入一系列搜索?我有一个目的地列表,想看看搜索对于每个目的地是否返回结果或引发错误。…

牵你的手,一向走下去 2024-09-06 05:22:53 5 0
更多

推荐作者

1CH1MKgiKxn9p

文章 0 评论 0

ゞ记忆︶ㄣ

文章 0 评论 0

JackDx

文章 0 评论 0

信远

文章 0 评论 0

yaoduoduo1995

文章 0 评论 0

霞映澄塘

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文