检查很多 URL 看看是否返回 200。最聪明的方法是什么？

Question

我需要检查大量（约 1000 万）个 URL 来查看它们是否存在（返回 200）。我编写了以下代码来针对每个 URL 执行此操作，但执行所有 URL 大约需要很长时间。

def is_200(url):             
    try:
        parsed = urlparse(url)
        conn = httplib.HTTPConnection(parsed.netloc)
        conn.request("HEAD", parsed.path)
        res = conn.getresponse()
        return res.status == 200
    except KeyboardInterrupt, e:
        raise e
    except:
        return False

这些 URL 分布在大约十几台主机上，因此我似乎应该能够利用这一点来管道化我的请求并减少连接开销。你会如何构建这个？我对任何编程/脚本语言持开放态度。

Answer 1

查看 urllib3。它支持每主机连接重用。
另外，使用多个进程/线程或异步 I/O 将是一个好主意。

Answer 2

所有这些都在 Python 3.x 版本中。

我将创建检查 200 的工作线程。我将举一个例子。线程池（放入 threadpool.py 中）：

# http://code.activestate.com/recipes/577187-python-thread-pool/

from queue import Queue
from threading import Thread

class Worker(Thread):
    def __init__(self, tasks):
        Thread.__init__(self)
        self.tasks = tasks
        self.daemon = True
        self.start()

    def run(self):
        while True:
            func, args, kargs = self.tasks.get()
            try: func(*args, **kargs)
            except Exception as exception: print(exception)
            self.tasks.task_done()

class ThreadPool:
    def __init__(self, num_threads):
        self.tasks = Queue(num_threads)
        for _ in range(num_threads): Worker(self.tasks)

    def add_task(self, func, *args, **kargs):
        self.tasks.put((func, args, kargs))

    def wait_completion(self):
        self.tasks.join()

现在，如果 urllist 包含您的 url，那么您的主文件应该遵循以下内容：

numconns = 40
workers = threadpool.ThreadPool(numconns)
results = [None] * len(urllist)

def check200(url, index):
    results[index] = is_200(url)

for index, url in enumerate(urllist):
    try:
        workers.add_task(check200, url, index)

    except KeyboardInterrupt:
        print("Shutting down application, hang on...")
        workers.wait_completion()

        break

请注意，该程序可根据此处发布的其他建议进行扩展，这是仅依赖于 is_200()。