Python 日志记录数据报处理程序

Question

我在获取 python 文档中显示的用于记录 DatagramHandler 的示例代码时遇到问题，下面显示的代码在收到的每个数据报上都会给出 EOFError 异常。

import socket
import logging
import cPickle
import struct
import sys

sock = socket.socket (socket.AF_INET, socket.SOCK_DGRAM)
sock.bind (('localhost', 9000))

handler = logging.StreamHandler()
handler.setFormatter(logging.Formatter("UDP LogViewer %(asctime)s %(message)s"))
logger = logging.getLogger("Test")
logger.addHandler(handler)

try:
    while True:
        dgram_size = sock.recv(4)
        if len(dgram_size) < 4:
            break
        slen = struct.unpack(">L", dgram_size)[0]
        data = sock.recv(slen)

        while len(data) < slen:
            data = data + sock.recv(slen - len(data))

        try:
            obj = cPickle.loads(data)
            record = logging.makeLogRecord(obj)
            logger.handle(record)
        except:
            print "exception", sys.exc_info()[0]



finally:
    sock.close()

然而这段代码可以工作，任何想法

data, address = sock.recvfrom(8192)
rec = logging.makeLogRecord(cPickle.loads(data[4:]))
logger.handle(rec)

问候

Answer 1

我希望您的第一个 recv(4) 调用会复制数据报中的前四个字节，然后将数据包的其余部分扔到地板上；第二次调用 recv 然后发现没有任何内容可读取并返回 EOFError。从我的系统的 udp(7) 联机帮助页中：

   All receive operations return only one packet.  When the packet
   is smaller than the passed buffer, only that much data is
   returned; when it is bigger, the packet is truncated and the
   MSG_TRUNC flag is set.  MSG_WAITALL is not supported.

尝试读入整个数据报，获取前四个字节的长度，然后处理存储整个数据报的数组子集。

当然，如果你的pickles不完全适合连接的MTU，它会可能永远不会按您的预期工作。

Answer 2

完整的 MWA 看起来像这样。

请注意，我们只是丢弃前四个字节（pickle-data 的大小），这些字节的存在是因为 DatagramHandler 继承了在 TCP 模式下运行的 SocketHandler。由于我们使用的是 UDP，因此我们只能读取数据包的末尾。正如 Sarnold 指出的那样，如果数据无法装入数据包，我们需要更好的解决方案，并且由于 UDP 可能会丢失数据包，因此需要服务器端自定义。也许最简单的服务器端解决方案就是分割任何消息，这样我们一开始就不会超出限制！

import socketserver
import socket
import pickle
import logging

class MyDatagramRequestHandler( socketserver.DatagramRequestHandler ):
    def handle( self ):
        try:
            while True:
                chunk = self.socket.recv( 2048 )
                chunk = chunk[4:]
                obj = self.unPickle( chunk )
                record = logging.makeLogRecord( obj )
                self.on_handle( record )
        except socket.timeout:
            pass

    def unPickle( self, data ):
        return pickle.loads( data )
        
    def on_handle( self, record: logging.LogRecord ):
        # do something, e.g.
        logger = logging.getLogger( record.name )
        logger.handle( record )

改编自 https://docs.python 中的 TCP 示例。 org/3/howto/logging-cookbook.html#logging-cookbook。