我无法理解 python 中的轮询/选择

Question

我正在 python 中使用 UDP 进行一些线程异步网络实验。

我想了解轮询和 select python 模块，我从未在 C/C++ 中使用过它们。

那些是做什么用的？我有点理解一点选择，但是在观看资源时它会阻塞吗？民意调查的目的是什么？

Answer 1

好的，一次一个问题。

那些是做什么用的？

这是一个简单的套接字服务器框架：

s_sock = socket.socket()
s_sock.bind()
s_sock.listen()

while True:
    c_sock, c_addr = s_sock.accept()
    process_client_sock(c_sock, c_addr)

服务器将循环并接受来自客户端的连接，然后调用其处理函数与客户端套接字进行通信。这里有一个问题：process_client_sock可能需要很长时间，甚至包含一个循环（通常是这种情况）。

def process_client_sock(c_sock, c_addr):
    while True:
        receive_or_send_data(c_sock)

在这种情况下，服务器无法接受更多连接。

一个简单的解决方案是使用多进程或多线程，只需创建一个新线程来处理请求，而主循环继续侦听新连接。

s_sock = socket.socket()
s_sock.bind()
s_sock.listen()

while True:
    c_sock, c_addr = s_sock.accept()
    thread = Thread(target=process_client_sock, args=(c_sock, c_addr))
    thread.start()

这当然有效，但考虑到性能还不够好。由于新进程/线程需要额外的 CPU 和内存，因此不空闲的服务器可能会获得数千个连接。

所以select和poll系统调用试图解决这个问题。您给 select 一组文件描述符，并告诉它在任何 fd 准备好读/写/或发生异常时通知您。

它（选择）在观看资源时会阻塞吗？

是或否取决于您传递给它的参数。

正如select man page所说，它将获得struct timeval参数

int select(int nfds, fd_set *readfds, fd_set *writefds,
       fd_set *exceptfds, struct timeval *timeout);

struct timeval {
long    tv_sec;         /* seconds */
long    tv_usec;        /* microseconds */
};

分为三种情况：

1. timeout.tv_sec == 0 和 timeout.tv_usec = 0

   无阻塞，立即返回

2. timeout == NULL

   永远阻塞，直到文件描述符准备好。

3. 超时是正常的

   等待一定时间，如果仍然没有文件描述符可用，则超时并返回。

民意调查的目的是什么？

简单来说就是：轮询在等待 IO 时释放 CPU 来进行其他工作。

这是基于一个简单的事实：

1. CPU 比 IO 快得多
2. 等待 IO 是浪费时间，因为大多数时间，CPU 都会空闲

希望它有帮助。

Answer 2

如果您执行read 或recv，则您只等待一个连接。如果有多个连接，则必须创建多个进程或线程，浪费系统资源。

使用 select 或 poll 或 epoll，您可以仅用一个线程监视多个连接，并在其中任何一个有可用数据时收到通知，并且然后您在相应的连接上调用 read 或 recv 。

它可能会无限阻塞、阻塞给定时间或根本不阻塞，具体取决于参数。

Answer 3

select() 接受 3 个套接字列表来检查三个条件（读、写、错误），然后返回（通常更短，通常为空）实际准备好处理这些条件的套接字列表。

s1 = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s1.bind((Local_IP, Port1))
s1.listen(5)

s2 = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s2.bind((Local_IP, Port2))
s2.listen(5)

sockets_that_might_be_ready_to_read = [s1,s2]
sockets_that_might_be_ready_to_write_to = [s1,s2]
sockets_that_might_have_errors = [s1,s2]


([ready_to_read], [ready_to_write], [has_errors])  = 
       select.select([sockets_that_might_be_ready_to_read],
                     [sockets_that_might_be_ready_to_write_to], 
                     [sockets_that_might_have_errors],            timeout)


for sock in ready_to_read:
    c,a = sock.accept()
    data = sock.recv(128)
    ...
for sock in ready_to_write:
    #process writes
    ...
for sock in has_errors:
    #process errors

因此，如果套接字在等待超时秒数后没有尝试连接，则列表 read_to_read 将为空 - 此时accept()和recv()是否会阻塞并不重要 - 它们不会因空而被调用list...

如果一个套接字已准备好读取，那么它将有数据，因此它也不会阻塞。