screen-scraping

screen-scraping

文章 0 浏览 8

为什么每个表行都会出现空白记录?

我有以下代码,感谢另一个 SO 问题/答案: page = agent.page.search("table tbody tr").each do |row| time = row.css("td:nth-child(1)").text.stri…

撧情箌佬 2024-12-25 23:30:29 3 0

jsdom表单提交?

我正在尝试使用 Node.js 包 request 和 jsdom 来抓取网页,并且我想知道如何提交表单并获取他们的响应。我不确定 jsdom 或其他模块是否可以做到这一点…

星星的軌跡 2024-12-25 19:41:38 5 0

我如何使用 ncurses 绘制 telnet 界面..?

我正在用 ruby​​ 编写一个小泥,其中需要一些文本框和菜单项(TUI)。客户端通过telnet连接到这个应用程序,我尝试使用NCurses,但无法弄清楚它如何…

玩世 2024-12-25 17:21:59 5 0

使用curl进行高级屏幕抓取

我需要创建一个脚本来登录经过身份验证的页面并下载 pdf。 但是,我需要下载的 pdf 不是 URL,而是通过单击页面上的特定 input 按钮生成的。当我检查 …

可是我不能没有你 2024-12-25 14:35:07 5 0

在 Python 中获取 .jsp 生成的 PNG

我正在尝试获取在 Web 服务中使用 JSP 动态生成的 PNG 图像。 我尝试访问它包含的网页并获取图像 src 属性;但该链接指向 .jsp 文件。使用 urllib2 读…

っ〆星空下的拥抱 2024-12-25 09:38:01 3 0

Node.js 中的 Zombie.js 无法抓取某些网站

下面的简单脚本返回一堆垃圾。它适用于大多数网站,但不适用于 william hill: var Browser = require("zombie"); var assert = require("assert"); /…

白首有我共你 2024-12-25 04:23:39 3 0

使用 scrapy 管理多个蜘蛛

我正在创建一个聚合器,并开始使用 scrapy 作为我的初始工具集。 起初我只有几个蜘蛛,但随着项目的发展,当我抓取越来越多的网站时,我似乎可能有数…

紫瑟鸿黎 2024-12-24 22:37:08 2 0

自动记录和网页抓取

我有一项任务需要自动登录并抓取特定的网站。 我见过有人建议使用 Java 的 htmlUnit 和 HttpClient。 htmlUnit 看起来像一个测试工具。我不知道该怎么…

許願樹丅啲祈禱 2024-12-24 20:46:49 3 0

使用 Scrapy 抓取 arXiv xml 数据

我正在尝试使用 scrapy 从 arXiv 页面获取信息,但无法从其 xml 页面: from scrapy.spider import BaseSpider from scrapy.selector import XmlXPath…

鲜肉鲜肉永远不皱 2024-12-23 21:53:29 2 0

JSON Scraping - 通过 Javascript 将军事时间转换为标准时间

我正在从 url 中抓取 JSON 数据。时间是军用时间,我想知道在客户端检索后是否有办法将其转换为标准时间。 这是 JSON: [ { SaturdayClose: "21:00", …

年少掌心 2024-12-23 13:35:16 0 0

使用 Python 从 .swf 中提取视频

我编写了生成视频链接的代码,如下所示。 获得后,我尝试以这种方式下载它: import urllib.request import os url = 'http://www.videodetective.net…

那支青花 2024-12-23 08:29:36 3 0

Web请求名称解析失败

我正在尝试用 C# 编写一个用于统计聚合的小型屏幕抓取工具。我尝试使用此代码(此处发布多次,但再次详细说明): public static string GetPage(stri…

南汐寒笙箫 2024-12-22 21:51:48 2 0

点击登录后获取cookie?

你好,我正在制作一个 Android 应用程序,它需要我需要登录网站才能获取的数据。我以前使用过 JSoup,所以我一直尝试使用它来进行所有的 html 抓取。 …

〃温暖了心ぐ 2024-12-22 20:38:20 4 0

无法从我的学校网站获取我的日程安排数据。使用 cURL 登录不起作用

编辑:为什么要减一? 我想做的是: 我尝试使用 cURL 登录我的学校网站并获取时间表以将其用于我的 AI。 因此,我需要使用我的通行证和号码登录,但学…

堇年纸鸢 2024-12-22 18:09:56 3 0

Python BeautifulSoup 解析

我正在尝试抓取一些内容(对 Python 非常陌生),但遇到了障碍。我试图抓取的代码是: Spear & Jackson Predator Universal Hardpoint Saw - 22" Was:…

幸福丶如此 2024-12-22 12:51:17 1 0
更多

推荐作者

达拉崩吧

文章 0 评论 0

PANGOO

文章 0 评论 0

kkgtx

文章 0 评论 0

WordPress小学生

文章 0 评论 0

酷炫老祖宗

文章 0 评论 0

硪扪都還晓

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文