c - WSAWaitForMultipleObjects 阻塞除最后一个线程之外的任何线程

Question

我的多线程 SMTP/POP3 服务器有问题。服务器启动一个线程池来处理传入的连接。主线程创建套接字和线程，并以适当的结构将套接字作为参数传递。线程的循环函数如下：

SOCKET SMTP_ListenSocket = (SOCKET) data->SMTPconn;
SOCKET POP3_ListenSocket = (SOCKET) data->POP3conn;
static struct sockaddr_in ClntAddr;
unsigned int clntLen = sizeof(ClntAddr);    
hEvents[0] = CreateEvent(NULL, FALSE, FALSE, NULL); 
hEvents[1] = CreateEvent(NULL, FALSE, FALSE, NULL);
hEvents[2] = exitEvent; //HANDLE FOR A MANUAL RESET EVENT
WSAEventSelect(SMTP_ListenSocket, hEvents[0], FD_ACCEPT); 
WSAEventSelect(POP3_ListenSocket, hEvents[1], FD_ACCEPT); 

while(1){

      DWORD res = WaitForMultipleObjects(3, hEvents, FALSE, INFINITE);
      switch(res){

            case WAIT_OBJECT_0: {      
                ClientSocket = my_accept(SMTP_ListenSocket,(struct sockaddr *) &ClntAddr,&clntLen);
                /*  ...  */                    
                my_shutdown(ClientSocket,2);
                my_closesocket(ClientSocket);
                ClientSocket = INVALID_SOCKET;
        break;
             }

             case WAIT_OBJECT_0 + 1: {

                  ClientSocket = my_accept(POP3_ListenSocket,(struct sockaddr *) &ClntAddr,&clntLen);
                  /* ... */                        
                  my_shutdown(ClientSocket,2);
                  my_closesocket(ClientSocket);
                  ClientSocket = INVALID_SOCKET;
                  break;
             }

             case WAIT_OBJECT_0 + 2:
             {
                  exitHandler(0);
                  break;
             } 
      }//end switch

 }//end while

当池中仅包含一个线程时，没有问题。当池包含更多线程时，只有一个线程接受传入连接

Answer 1

您是否有池线程都调用相同的代码？如果是这样，那么不要像这样使用 WaitForMultipleObjects() （或 WSAWaitForMultipleEvents()）。这种模型只有在一个线程轮询连接时才能可靠地工作。如果您有多个线程同时轮询，那么就会出现竞争条件。

相反，您应该将 AcceptEx() 与重叠 I/O 或完成端口结合使用。创建套接字的线程可以在每个套接字上调用 AcceptEx() 来对每个套接字上的新操作进行排队，然后池化线程可以使用 GetQueuedCompletionStatus() 或 GetOverlappedResult() 使挂起的连接出队，而不必担心破坏其他线程。一旦连接被接受，接收线程就可以根据需要对其进行处理，然后调用 AcceptEx() 为该套接字排队新操作。

Answer 2

这里的每个线程都在进入等待之前设置一个新的WSAEventSelect。这将覆盖任何现有的事件选择。这意味着，一旦线程（称为线程 A）接受连接，就没有与套接字关联的事件。

要解决此问题，您应该在 switch 中紧随 accept() 之后再次调用 WSAEventSelect。这将在进入任何可能冗长的处理之前立即恢复事件绑定。

请注意，如果时机恰到好处，两个线程可能会因同一事件而被唤醒。如果接受失败，您可以通过返回等待循环来解决这个问题，但这有点令人不满意。

因此，不要滚动自己的版本，而是使用 IO此处完成端口。 I/O 完成端口具有许多附加功能，可避免两个线程可能获取同一事件的潜在竞争条件。当您的代码不受 CPU 限制时，他们还会采取措施减少上下文切换。