screen-scraping

screen-scraping

文章 0 浏览 3

urllib2 返回浏览器不同的页面?

我正在尝试抓取一个页面(我的路由器的管理页面),但该设备似乎为 urllib2 提供与我的浏览器不同的页面。以前有人发现过这个吗?我怎样才能绕过它? …

情绪操控生活 2024-09-09 05:33:34 3 0

抓取动态内容

我正在从事一个网络抓取项目。有人知道抓取动态内容吗? 基于查询字符串的动态内容与静态内容类似,但基于同一页面内控件的某些事件的动态内容是我陷…

泪眸﹌ 2024-09-08 19:03:27 0 0

php http 发布按钮

我正在使用 PHP 来抓取另一个网站的数据。然而,在某些情况下,我需要确认一个变量(由于有两种非常相似的可能性)。 我应该单击以确认我的变量的按钮…

冷情妓 2024-09-08 12:01:28 1 0

如何存储整个网页以供以后解析?

我最近做了很多网页解析,我的过程通常如下所示: 获取要解析的链接列表 将 列表导入数据库 下载每个链接的整个网页并存储到 mysql 为每个抓取会话添…

箹锭⒈辈孓 2024-09-07 18:00:43 2 0

大规模抓取/解析采用什么技术?

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …

薔薇婲 2024-09-07 17:33:55 3 0

使用 BeautifulSoup 抓取表格

我有一个问题,我怀疑这个问题相当简单。我有以下类型的页面,我想从中收集最后一个表中的信息(如果一直向下滚动,则它是标有“过程”的框中的页面)…

仄言 2024-09-07 15:00:08 0 0

当我尝试屏幕抓取时,Gap.com 正在重定向我

我们正在建立一个网站,允许用户从互联网上的各个地方收集和存储他们最喜欢的产品到一个地方。我们有一种算法,可以通过读取源代码过滤并找到正确的图…

(り薆情海 2024-09-07 09:05:00 1 0

使用 Ruby webdriver (Selenium 2.0) 单击 javascript 链接

使用 ruby​​,如何让 webdriver 单击 javascript 链接? 我试图点击的链接是: 管理 我是否能够触发 javascript按键事件?如果是这样,有人知道这样…

余生共白头 2024-09-06 21:41:26 0 0

爬行和抓取 iTunes App Store

我注意到 iTunes 预览 允许您抓取并通过 http:// 协议抓取页面。但是,许多链接尝试在 iTunes 而不是浏览器中打开。例如,当您转到 iBooks 页面,它会…

星光不落少年眉 2024-09-06 12:42:16 2 0

可以自动化网络搜索吗?

是否可以在网站搜索表单中输入一系列搜索?我有一个目的地列表,想看看搜索对于每个目的地是否返回结果或引发错误。…

牵你的手,一向走下去 2024-09-06 05:22:53 3 0

从 html 获取将显示给用户的文本

有点随机,我想玩一些 NLP 东西,我想: 从 HTML 获取将在浏览器中显示给用户的所有文本。 我理想的输出中不会有任何标签,只会有句号(以及使用的任…

小瓶盖 2024-09-05 20:12:47 1 0

从欧洲议会网站抓取数据时出现东欧字符问题

编辑:非常感谢您提出的所有答案和观点。作为一个新手我有点不知所措,但是这是继续学习python的很大动力!! 我正在尝试从欧洲议会网站上获取大量数…

む无字情书 2024-09-05 19:53:02 1 0

如何获取中的所有内容使用 HTML Agility Pack 标记?

所以我正在编写一个可以进行一些屏幕抓取的应用程序。我正在使用 HTML Agility Pack 将整个 HTML 页面加载到 HtmlDocoument&lt 的实例中/code&gt 称为…

似狗非友 2024-09-05 08:14:33 2 0

将 Mechanize 与 Google 文档结合使用

我正在尝试使用 Mechanize 登录 Google 文档,以便我可以抓取一些内容(不可能从 API 中获取),但在尝试遵循元重定向时,我似乎一直收到 404: requi…

放手` 2024-09-05 00:29:15 0 0

如何在rails中打开URL?

我正在尝试读取某个网站的 html。 尝试 @something = open("http://www.google.com/") 失败,并出现以下错误: Errno::ENOENT in testController#show…

时光磨忆 2024-09-04 14:21:53 2 0
更多

推荐作者

qq_FjTq5B

文章 0 评论 0

18273202778

文章 0 评论 0

WordPress小学生

文章 0 评论 0

〃温暖了心ぐ

文章 0 评论 0

迷乱花海

文章 0 评论 0

niuniu

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文