使用 RCurl 下载前 n 行/字符
我需要使用RCurl包来下载各种URL的内容(使用身份验证等)。 为了优化下载速度,我想限制下载的响应输出行/字符,因为我只需要每个页面的前 20 行,并且整个内容大小可能非常大。
使用 readLines 这可以很快完成,例如:
readLines("http://www.nytimes.com/", n = 20L)
但是使用 RCurl 并指定最大字符参数我没有得到预期的结果:
test <- getURL("http://www.nytimes.com/", write = basicTextGatherer(max = 1000))
> nchar(test)
[1] 125709
根据 RCurl 常见问题解答页面 自定义回调函数应该可以解决问题,但是,我不完全知道如何实现。
I need to use the package RCurl to download the content of various URLs (using authentification, etc.).
To optimize download speed I would like to limit the downloaded response output lines / characters since I only need the first 20 lines of each page and the whole content size can be very big.
Using readLines this could be done quickly, e.g.:
readLines("http://www.nytimes.com/", n = 20L)
However using RCurl, and specifying the maximum character parameter I do not get the expected result:
test <- getURL("http://www.nytimes.com/", write = basicTextGatherer(max = 1000))
> nchar(test)
[1] 125709
According to the RCurl FAQ page a customized callback function should do the trick, however, I don't exactly know how.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论