使用 Python 捕获 TCP 数据包

Question

我尝试使用 dpkt 和 pcap 通过 Python 捕获 HTTP 下载。代码看起来像

...
pc = pcap.pcap(iface)
for ts, pkt in pc:
    handle_packet(pkt)

def handle_packet(pkt):
    eth = dpkt.ethernet.Ethernet(pkt)

    # Ignore non-IP and non-TCP packets
    if eth.type != dpkt.ethernet.ETH_TYPE_IP:
        return
    ip = eth.data
    if ip.p != dpkt.ip.IP_PROTO_TCP:
        return

    tcp = ip.data
    data = tcp.data

    # current connection
    c = (ip.src, ip.dst, tcp.sport, tcp.dport)

    # Handle only new HTTP-responses and TCP-packets
    # of existing connections.
    if c in conn:
        handle_tcp_packet(c, tcp)
    elif data[:4] == 'HTTP':
        handle_http_response(c, tcp)
...

在 handle_http_response() 和 handle_tcp_packet() 中，我读取了 tcp 数据包的数据 (tcp.data) 并写入它们到一个文件。但是我注意到我经常收到具有相同 TCP 序列号 (tcp.seq) 的数据包（在同一连接上），但它们似乎包含相同的数据。此外，似乎并非所有数据包都被捕获。例如，如果我对数据包大小求和，则结果值低于 http 标头中列出的值 (content-length)。但在 Wireshark 中我可以看到所有包。

有谁知道为什么我会收到这些重复的数据包以及如何捕获属于 http 响应的每个数据包？

编辑：
您可以在这里找到完整的代码：pastebin.com。 运行时，它会向标准输出打印类似的内容：

Waiting for HTTP-Audio-responses ...
...
New TCP-Packet, len=1440, tcp-payload=5107680, con-len=5197150 , dups=57 , dup-bytes=82080
New TCP-Packet, len=1440, tcp-payload=5109120, con-len=5197150 , dups=57 , dup-bytes=82080
New TCP-Packet, len=1440, tcp-payload=5110560, con-len=5197150 , dups=57 , dup-bytes=82080
----------> FIN <----------
New TCP-Packet, len=1937, tcp-payload=5112497, con-len=5197150 , dups=57 , dup-bytes=82080
New TCP-Packet, len=0, tcp-payload=5112497, con-len=5197150 , dups=57 , dup-bytes=82080

如您所见，TCP 有效负载加上重复接收的字节 (5112497+82080=5194577) 低于下载的文件大小 (5197150)。此外，您可以看到我收到了 57 个重复的数据包（相同的 SEQ 和相同的 TCP 数据），并且在带有 FIN 标志的数据包之后仍然收到了数据包。

那么有人知道我如何捕获属于该连接的所有数据包吗？ Wireshark 可以看到所有数据包，我认为它也使用 libpcap。

我什至不知道我是否做错了什么，或者 pcap 库是否做错了什么。

编辑2：
好的，看来我的代码是正确的：在 Wireshark 中，我保存了捕获的数据包并在代码中使用了捕获文件 (pcap.pcap('/home/path/filename') 而不是 <代码>pcap.pcap('eth0'))。我的代码完美地读取了所有包（在多次测试中）！由于 Wireshark 也使用 libpcap （据我所知），我认为问题是 lib pypcap 没有为我提供所有软件包。

关于如何测试它有什么想法吗？

我已经自己编译了 pypcap （主干），但这并没有改变任何东西 -.-

EDIT3:
好的，我更改了代码以使用 pcapy 而不是 pypcap，并且遇到了同样的问题：
当从以前捕获的文件（使用 Wireshark 创建）读取数据包时，一切都很好，但是当我直接从 eth0 捕获数据包时，我丢失了一些数据包。

有趣的是：当并行运行两个程序（一个使用 pypcap 和一个使用 pcapy）时，它们捕获不同的数据包。例如，一个程序多接收一个数据包。

但我还是不明白为什么-.-
我认为 Wireshark 使用相同的基础库（libpcap）。

请帮忙:)

Answer 1

这里有一些需要注意的事情：

• 确保你有一个大的 snaplen - 对于 pcapy，你可以在 open_live （第二个参数）上设置它
• 确保你处理碎片数据包 - 这不会自动完成 - 你需要检查详细信息
• 检查统计数据 - 不幸的是，我不认为这会暴露给 pcapy 接口，但您可能没有处理所有数据包；如果你太晚了，你将不知道你错过了一些东西（尽管你可以通过跟踪 tcp 流的长度/位置来获得相同的信息）libpcap 本身确实公开了这些统计信息，所以你也许可以为其添加函数

Answer 2

将 snaplen 设置为 65535。显然这是 Wireshark 的默认值：
http://www.wireshark.org/docs/wsug_html_chunked/ChCustCommandLine.html