使用 RCurl 下载前 n 行/字符

发布于 2024-12-28 04:34:15 字数 534 浏览 1 评论 0原文

我需要使用RCurl包来下载各种URL的内容(使用身份验证等)。 为了优化下载速度,我想限制下载的响应输出行/字符,因为我只需要每个页面的前 20 行,并且整个内容大小可能非常大。

使用 readLines 这可以很快完成,例如:

readLines("http://www.nytimes.com/", n = 20L)

但是使用 RCurl 并指定最大字符参数我没有得到预期的结果:

test <- getURL("http://www.nytimes.com/", write = basicTextGatherer(max = 1000))
> nchar(test)
[1] 125709

根据 RCurl 常见问题解答页面 自定义回调函数应该可以解决问题,但是,我不完全知道如何实现。

I need to use the package RCurl to download the content of various URLs (using authentification, etc.).
To optimize download speed I would like to limit the downloaded response output lines / characters since I only need the first 20 lines of each page and the whole content size can be very big.

Using readLines this could be done quickly, e.g.:

readLines("http://www.nytimes.com/", n = 20L)

However using RCurl, and specifying the maximum character parameter I do not get the expected result:

test <- getURL("http://www.nytimes.com/", write = basicTextGatherer(max = 1000))
> nchar(test)
[1] 125709

According to the RCurl FAQ page a customized callback function should do the trick, however, I don't exactly know how.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文