pinging约100,000台服务器，多线程或多处理更好？

Question

我创建了一个简单的脚本，该脚本通过我需要ping和nslookup的服务器列表进行迭代。问题是，ping可能需要一些时间，尤其是在一天中的几秒钟内，ping ping的服务器更多。

我是编程的新手，我知道多处理或多线程可能是使我的工作更快的解决方案。

我的计划是获取我的服务器列表，要么1。将其分解为均匀尺寸的列表，其中列表的数量与线程 /进程匹配或2。如果这些选项之一支持它服务器名称到线程或进程完成了以前的ping和nslookup之后。这是最好的选择，因为它可以确保我花最少的时间，而列表1则具有200个离线服务器，而List 6具有2000，它将需要使用List 6等待该过程才能完成，即使所有其他程序都是免费的观点。

1. 哪个是此任务的优越性，为什么？

可能现在

import subprocess
import time
server_file = open(r"myfilepath", "r")
initial_time = time.time()
for i in range(1000):
    print(server_file.readline()[0:-1]+ ' '+str(subprocess.run('ping '+server_file.readline()[0:-1]).returncode)) #This returns a string with the server name, and return code,
print(time.time()-initial_time)

出现问题是因为PING平均需要3秒钟以上。我也知道，不包含打印声明会使它更快，但我想对其进行小案例进行监视。我正在为100,000台服务器的效果ping，这将需要定期完成，列表将不断增长

Answer 1

为了获得最佳性能，您都不想要；在100,000个活动作业中，最好使用 asynchronous 处理，在A 单个或可能的少数线程或过程中（但不超过可用核心的数量）。

使用异步I/O，可以在单个线程中执行许多网络任务，这很容易获得100,000或以上的速率，这是由于上下文切换上的节省（也就是说，您可以在1秒内从理论上ping 100,000台机器）。

Python支持异步I/O通过 asyncio asyncio a href =“ https://faculty.ai/blog/a-guide-to-using-asyncio/” rel =“ noreferrer”>这是 一个不错的简介Asyncio和Coroutines）。

不依赖 ping 之类的外部过程也很重要，因为产生新过程是一个非常昂贵的操作。

asyncio 完成的本机Python ping（请注意， ping 实际上是一对ICMP请求/回复数据包）。适应它可以同时执行多个ping。

Answer 2

tldr; 多线程是您的解决方案 -
线程模块使用线程，多处理模块使用过程。
不同之处在于，线程在同一内存空间中运行，而进程具有单独的内存。

至于问题1-

对于IO任务，例如查询数据库或加载网页，CPU只是在等待答案，而是浪费资源，因此多线程是答案（：

对于问题2-

您只需创建线程池，可以管理它们同时运行，而无需您折叠头。

Answer 3

+1 yoel的答案。穿线绝对是必经之路。

我很好奇它实际节省了多少时间，所以只是为Google一遍又一遍地编写了一个脚本：

import subprocess  
import os

import threading
from multiprocessing import Process

FNULL = open(os.devnull, 'w')
def ping(host):
    command = ['ping', '-c', '1', host]

    return subprocess.call(command, stdout=FNULL, stderr=subprocess.STDOUT) == 0

def ping_hosts(hosts, i):
    for h in hosts:
        ping(h)
        # print "%d: %s" % (i, str(ping(h)))

hosts = ["www.google.com"] * 1000
num_threads = 5

for i in range(num_threads):
    ping_hosts(hosts, i)

#for i in range(num_threads):
#    p = Process(target=ping_hosts, args=(hosts, i))
#    p.start()

#for i in range(num_threads):
#    t = threading.Thread(target=ping_hosts, args=(hosts, i))
#    t.start()

结果：

# no threading no multiprocessing
$ time python ping_hosts.py  # 5000 in a row
real    0m34.657s
user    0m5.817s
sys 0m11.436s

# multiprocessing
$ time python ping_hosts.py
real    0m8.119s
user    0m6.021s
sys 0m16.365s

# threading
$ time python ping_hosts.py
real    0m8.392s
user    0m7.453s
sys 0m16.376s

显然测试中存在缺陷，但是很明显，您可以从添加任一个库中得到重大提升。请注意，节省大致相同。但是，正如Yoel所说的那样，由于大多数情况下，您大部分时间都在等待线程是必经之路。很容易将您的主机名称倒入队列中，并在其中搅动一堆工人线程。

Answer 4

由于PINGS不是CPU密集型，因此多线程的运行速度比多处理更快。可以运行大量线程。以下是我的工作代码，

import subprocess
import threading
raw_list = []
def ping(host):
    raw_list.append(host+ ' '+ str((subprocess.run('ping '+host).returncode)))
with open(r'RedactedFilePath', "r") as server_list_file:
    hosts = server_list_file.read()
    hosts_list =hosts.split('\n')
num_threads = 75
number = 0
while number< len(hosts_list):
    print(number)
    for i in range(num_threads):
        t = threading.Thread(target=ping, args=(hosts_list[number+i],))
        t.start()
    t.join()
    number = number +75

可能会有一种更加Pythonic的ping方法，这可能会使它更快，因为它不会为每个单个启动子过程，

因此调整适当的线程数量是机器依赖性的，并且更加依赖于您是什么使用线程。

当然，当服务器列表不直接排除线程数时，应该有一个尝试语句来停止错误。

另外，应使用拆分函数来删除您的分离器，在我的情况下，我的服务器列表在新行中，每个线路都在新行中，但是csv将为.split（'，'），而tsv则为（ '\ t'）等