如何抓取网页中一定大小的文件

Question

我需要爬行包含数千个主机的列表，并找到至少两个植根于此的文件，这些文件大于作为参数给出的某个值。任何流行的（基于 python 的？）工具可能有帮助吗？

Answer 1

以下示例说明了如何获取 HTTP 服务器上文件的文件大小。

import urllib2

def sizeofURLResource(url):
    """
    Return the size of an resource at 'url' in bytes
    """
    info = urllib2.urlopen(url).info()
    return info.getheaders("Content-Length")[0]

这里还有一个用于构建网络抓取工具的库： http://dev.scrapy.org/ 但我不知道对它了解不多（只是诚实地用谷歌搜索）。

Answer 2

我是这样做的。请参阅下面的代码。

import urllib2
url = 'http://www.ueseo.org'
r = urllib2.urlopen(url)
print len(r.read())