web-scraping

web-scraping

文章 0 浏览 2

如何查找正在使用的 ISBN

我正在尝试查找正在使用的 ISBN 的列表。我想我可以抓取像亚马逊这样的网站,但这会浪费大量带宽。有更好的(免费)方法吗?…

醉酒的小男人 2024-08-23 07:41:37 4 0

抓取非 RSS 页面以生成提要

我想抓取一个定期更新的页面(添加与以前的结构完全相同的新文章),以生成 RSS 提要。 我可以编写代码来轻松分析页面,但是如何模拟 ping 即页面更新…

各自安好 2024-08-21 16:42:21 4 0

ASP HttpWebRequest 和重定向

好的,我有一个客户端使用一些数据向服务器发送 POST。服务器接收该帖子,并通过重定向进行答复。问题是客户端没有重定向。另外,我尝试检查客户端收…

拒绝两难 2024-08-21 01:00:38 5 0

如何用Java高效地解析HTML?

我在工作中进行了大量的 HTML 解析。到目前为止,我一直在使用 HtmlUnit 无头浏览器进行解析和浏览器自动化。 现在,我想将这两个任务分开。 我想使用…

忘羡 2024-08-20 04:57:30 7 0

Python 根据输入动态加载模块

我编写了一个程序,它接收部分 rss 提要并输出完整的 rss 提要,但它是根据具体情况而定的。一个站点的配方与另一个站点的配方不同。所以我所做的就是…

情话墙 2024-08-19 18:22:57 5 0

ASP - 在本地主机中运行 - 无法访问互联网

我有一个 ASP MVC 控制器操作。 我正在尝试发出 Web 请求, public ActionResult Index() { WebRequest request = HttpWebRequest.Create("http://www…

亢潮 2024-08-19 15:56:43 5 0

捕获 ASP 输出以进行监控

如何捕获 ASP.NET 输出并将其存储为临时内存,以便我可以在应用程序中使用它们进行比较。 例子。 这个网站有 ASP 输出。抱歉,我没有服务器访问权限,…

余生共白头 2024-08-18 18:04:40 2 0

是否存在任何开放的、可简单扩展的网络爬虫?

我正在寻找一个足够成熟并且可以简单扩展的网络爬虫解决方案。我对以下功能感兴趣...或者扩展爬虫以满足它们的可能性: 部分只是读取多个网站的提要 …

物价感观 2024-08-18 17:51:44 4 0

在 C# 中实现动态 Web Scraper 的逻辑

我希望在 C# 窗口窗体中开发一个 Web scraper。我想要完成的任务如下: 从用户那里获取 URL。 在WINForms中的IE UI控件(嵌入式浏览器)中加载网页。 …

没︽人懂的悲伤 2024-08-18 16:51:51 2 0

使用Python/mechanize select_form()时出错?

我正在尝试从网站上删除一些数据。 我正在尝试编写的脚本应该获取页面的内容: http://www.atpworldtour.com/Rankings/Singles.aspx 应该模拟用户通过…

你的心境我的脸 2024-08-18 06:41:22 5 0

如何用Java抓取scholar.google.com?

我想编写一个 Java 函数 grabTopResults(String f),以便 grabTopResults("automata theory") 返回在 seller.google 上被引用最多的 100 篇论文的列表…

相对绾红妆 2024-08-17 12:44:01 4 0

在 vb.net (VS2008) 中从网站检索动态文本

我希望能够从网页检索动态数据(股价)。我首先检索了 html 代码,然后我意识到,由于它是实时数据,因此 html 代码没什么用处。虽然我希望捕获特定数…

孤千羽 2024-08-12 07:56:39 5 0

Web 数据挖掘任务的编程语言比较

我需要一些帮助来比较不同的编程语言,例如:C++、Java、Python、Ruby 和 PHP,以完成与 Web 数据挖掘相关的任务(开发 Web 爬虫、字符串操作等)。我…

何以心动 2024-08-11 11:57:05 5 0

在 URL 中查找公司名称

给定一家知名公司的 URL(例如 http://mcdonalds.com/),您会如何自动并可靠地找到公司名称(在本例中为“Mc Donalds”)? 谢谢 编辑:有人投票结束…

如梦亦如幻 2024-08-10 21:23:17 4 0

检索部分网页

有什么方法可以限制 CURL 获取的数据量吗?我正在屏幕上从 50kb 的页面上抓取数据,但是我需要的数据位于页面的前 1/4 部分,因此我实际上只需要检索…

猥琐帝 2024-08-06 15:04:43 2 0
更多

推荐作者

lioqio

文章 0 评论 0

Single

文章 0 评论 0

禾厶谷欠

文章 0 评论 0

alipaysp_2zg8elfGgC

文章 0 评论 0

qq_N6d4X7

文章 0 评论 0

放低过去

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文