Python中epoll如何检测客户端关闭？

Question

这是我的服务器

"""Server using epoll method"""

import os
import select
import socket
import time

from oodict import OODict

addr = ('localhost', 8989)

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
s.bind(addr)
s.listen(8)
s.setblocking(0) # Non blocking socket server
epoll = select.epoll()
epoll.register(s.fileno(), select.EPOLLIN) # Level triggerred

cs = {}
data = ''
while True:
    time.sleep(1)
    events = epoll.poll(1) # Timeout 1 second
    print 'Polling %d events' % len(events)
    for fileno, event in events:
        if fileno == s.fileno():
            sk, addr = s.accept()
            sk.setblocking(0)
            print addr
            cs[sk.fileno()] = sk
            epoll.register(sk.fileno(), select.EPOLLIN)

        elif event & select.EPOLLIN:
            data = cs[fileno].recv(4)
            print 'recv ', data
            epoll.modify(fileno, select.EPOLLOUT)
        elif event & select.EPOLLOUT:
            print 'send ', data
            cs[fileno].send(data)
            data = ''
            epoll.modify(fileno, select.EPOLLIN)

        elif event & select.EPOLLERR:
            print 'err'
            epoll.unregister(fileno)

客户端输入

ideer@ideer:/home/chenz/source/ideerfs$ telnet localhost 8989
Trying ::1...
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
123456
123456
^]

telnet> q
Connection closed.

服务器端输出

ideer@ideer:/chenz/source/ideerfs$ python epoll.py 
Polling 0 events
Polling 0 events
Polling 1 events
('127.0.0.1', 53975)
Polling 0 events
Polling 1 events
recv  1234
Polling 1 events
send  1234
Polling 1 events
recv  56

Polling 1 events
send  56

Polling 0 events
Polling 0 events
Polling 0 events
Polling 1 events
recv  
Polling 1 events
send  
Polling 1 events
recv  
Polling 1 events
send  
Polling 1 events
recv  
Polling 1 events
send  
Polling 1 events
recv  
^CTraceback (most recent call last):
  File "epoll.py", line 23, in <module>
    time.sleep(1)
KeyboardInterrupt

奇怪的是，客户端关闭连接后，epoll仍然可以轮询recv并发送事件！ 为什么 EPOLLERR 事件从未发生？ 如果使用 EPOLLHUP 也是一样的。

我注意到 EPOLLERR 事件仅在您尝试写入关闭的连接时发生。 除此之外，还有其他方法可以判断连接是否已关闭吗？

如果在 EPOLLIN 事件中没有得到任何结果，将连接视为已关闭是否正确？

Answer 1

EPOLLERR 和 EPOLLHUP 永远不会在帖子中粘贴的代码中发生，因为它们总是与 EPOLLIN 或 EPOLLOUT 一起发生（其中几个可以一次设置），因此 if/then/else 总是选择一个EPOLLIN 或 EPOLLOUT。

实验我发现EPOLLHUP仅与EPOLLERR一起发生，其原因可能是python与epoll和低级IO的接口方式，通常recv会返回-1并将errno设置为EAGAIN，当非非-上没有可用的时候阻塞recv，但是python使用''（没有返回）来表示EOF。

关闭 telnet 会话仅关闭 tcp 连接的那一端，因此在您这边调用 recv 仍然完全有效，tcp 接收缓冲区中可能有待处理的数据，您的应用程序尚未读取这些数据，因此不会触发错误条件。

似乎EPOLLIN和返回空字符串的recv表明另一端已关闭连接，但是，使用旧版本的python（在引入epoll之前）和管道上的普通选择，我经历过read 返回的 '' 并不表示 EOF 只是缺少可用数据。

Answer 2

如果套接字仍然打开，但没有可用的读/写，epoll.poll 将超时。

如果数据可从对等方获得，您将获得 EPOLLIN 并且数据将可用。

如果套接字被对等方关闭，您将收到一个 EPOLLIN，但当您读取它时，它将返回“”。

然后，您可以通过关闭套接字并拾取生成的 EPOLLHUP 事件来清理内部结构来关闭套接字。

或执行清理并取消注册 epoll。

elif event & select.EPOLLIN:
    data = cs[fileno].recv(4)

if not data:
    epoll.modify(fileno, 0)
    cs[fileno].shutdown(socket.SHUT_RDWR)

Answer 3

我的临时解决方案来绕过这个问题

--- epoll_demo.py.orig  2009-04-28 18:11:32.000000000 +0800
+++ epoll_demo.py   2009-04-28 18:12:56.000000000 +0800
@@ -18,6 +18,7 @@
 epoll.register(s.fileno(), select.EPOLLIN) # Level triggerred

 cs = {}
+en = {}
 data = ''
 while True:
     time.sleep(1)
@@ -29,10 +30,18 @@
             sk.setblocking(0)
             print addr
             cs[sk.fileno()] = sk
+            en[sk.fileno()] = 0
             epoll.register(sk.fileno(), select.EPOLLIN)

         elif event & select.EPOLLIN:
             data = cs[fileno].recv(4)
+            if not data:
+                en[fileno] += 1
+                if en[fileno] >= 3:
+                    print 'closed'
+                    epoll.unregister(fileno)
+                continue
+            en[fileno] = 0
             print 'recv ', data
             epoll.modify(fileno, select.EPOLLOUT)
         elif event & select.EPOLLOUT:

Answer 4

您在代码中未检测到 EPOLLHUP/EPOLLERR 的问题是因为您正在执行的按位操作。 当套接字准备好读取时，epoll 将抛出一个位为 1 的标志，该标志等于 select.EPOLLIN (select.EPOLLIN == 1)。 现在假设客户端挂起（无论是否优雅），服务器上的 epoll 将抛出一个位为 25 的标志，该标志等于 EPOLLIN+EPOLLERR+EPOLLHUP。 因此，通过位 25（代码中的事件变量），您可以看到 EPOLLERR 未被检测到，因为所有 elif 语句（EPOLLOUT 行除外）都不返回 0，因此第一个 elif 语句被执行，例如：

>>> from select import EPOLLIN,EPOLLOUT,EPOLLHUP,EPOLLERR
>>> event = 25
>>> event & EPOLLIN
1
>>> event & EPOLLERR
8
>>> event & EPOLLHUP
16
>>> event & EPOLLOUT
0

注意到前三个不返回 0 吗？ 这就是为什么您的代码无法正确检测 EPOLLERR/EPOLLHUP 的原因。 当客户端挂起时，您仍然可以从套接字读取数据，因为服务器端仍然处于运行状态（当然，如果这样做，它会返回 0 数据），因此 EPOLLIN 但由于客户端挂起，它也是 EPOLLHUP，并且由于它是 EPOLLHUP，因此它也是 EPOLLERR挂断有点错误。 我知道我对此发表评论已经晚了，但我希望我能帮助那里的人哈哈，

这是我重写代码以更好地表达我所说的内容的一种方法：

import os
import select
import socket
import time

from oodict import OODict

addr = ('localhost', 8989)

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
s.bind(addr)
s.listen(8)
s.setblocking(0) # Non blocking socket server
epoll = select.epoll()
read_only = select.EPOLLIN | select.EPOLLPRI | select.EPOLLHUP | select.EPOLLERR
read_write = read_only | select.EPOLLOUT
biterrs = [25,24,8,16,9,17,26,10,18] #Bitwise error numbers
epoll.register(s.fileno(),read_only)

cs = {}
data = ''
while True:
    time.sleep(1)
    events = epoll.poll(1) # Timeout 1 second
    print 'Polling %d events' % len(events)
    for fileno, event in events:
        if fileno == s.fileno():
            sk, addr = s.accept()
            sk.setblocking(0)
            print addr
            cs[sk.fileno()] = sk
            epoll.register(sk.fileno(),read_only)

        elif (event is select.EPOLLIN) or (event is select.EPOLLPRI):
            data = cs[fileno].recv(4)
            print 'recv ', data
            epoll.modify(fileno, read_write)
        elif event is select.EPOLLOUT:
            print 'send ', data
            cs[fileno].send(data)
            data = ''
            epoll.modify(fileno, read_only)

        elif event in biterrs:
            print 'err'
            epoll.unregister(fileno)

Answer 5

难道你不需要将掩码组合在一起来同时使用 EPOLLHUP 和 EPOLLIN 吗：

epoll.register(sk.fileno(), select.EPOLLIN | select.EPOLLHUP)

虽然说实话我对 epoll 库不太熟悉，所以这只是一个建议......

Answer 6

将 select.EPOLLHUP 处理代码移至 select.EPOLLIN 之前的行后，hup 事件仍然存在
无法进入“telnet”。 但巧合的是我发现如果我使用自己的客户端脚本，就有
是 hup 事件！ 奇怪...

根据 man epoll_ctl

   EPOLLRDHUP (since Linux 2.6.17)
          Stream socket peer closed connection, or shut down writing half of connection.  (This flag is especially useful for writing simple code  to
          detect peer shutdown when using Edge Triggered monitoring.)

   EPOLLERR
          Error  condition  happened on the associated file descriptor.  epoll_wait(2) will always wait for this event; it is not necessary to set it
          in events.

   EPOLLHUP
          Hang up happened on the associated file descriptor.  epoll_wait(2) will always wait for this event; it  is  not  necessary  to  set  it  in
          events.

似乎当远程端关闭连接时应该有一个 EPOLLRDHUP 事件，这不是由 python 实现的，不知道为什么

Answer 7

Python 中没有无缘无故地定义 EPOLLRDHUP 标志。 如果您的 Linux 内核 >= 2.6.17，您可以定义它并在 epoll 中注册您的套接字，如下所示：

import select
if not "EPOLLRDHUP" in dir(select):
    select.EPOLLRDHUP = 0x2000
...
epoll.register(socket.fileno(), select.EPOLLIN | select.EPOLLRDHUP)

然后您可以使用相同的标志 (EPOLLRDHUP) 捕获所需的事件：

elif event & select.EPOLLRDHUP:
     print "Stream socket peer closed connection"
     # try shutdown on both side, then close the socket:
     socket.close()
     epoll.unregister(socket.fileno())

了解更多您可以检查信息 selectmodule.c在 python 的存储库中：

Answer 8

我有另一种方法..

try:
    data = s.recv(4096)
except socket.error:
    if e[0] in (errno.EWOULDBLOCK, errno.EAGAIN): # since this is a non-blocking socket..
        return # no error
    else:
        # error
        socket.close()

if not data: #closed either
    socket.close() 

Answer 9

if event & select.EPOLLHUP:
    epoll.unregister(fd)

Answer 10

elif event & (select.EPOLLERR | select.EPOLLHUP):
    epoll.unregister(fileno)
    cs[fileno].close()
    del cs[fileno]