如何在 python 中检测 HTTP 请求 +扭曲？

Question

我正在使用 python 中的twisted 10 学习网络编程。在下面的代码中，有什么方法可以在收到数据时检测 HTTP 请求吗？还可以从中检索域名、子域、端口值？如果不是http数据就丢弃它？

from twisted.internet import stdio, reactor, protocol

from twisted.protocols import basic

import re



class DataForwardingProtocol(protocol.Protocol):

    def _ _init_ _(self):

        self.output = None

        self.normalizeNewlines = False



    def dataReceived(self, data):

        if self.normalizeNewlines:

            data = re.sub(r"(\r\n|\n)", "\r\n", data)

        if self.output:

            self.output.write(data)



class StdioProxyProtocol(DataForwardingProtocol):

    def connectionMade(self):

        inputForwarder = DataForwardingProtocol( )

        inputForwarder.output = self.transport

        inputForwarder.normalizeNewlines = True

        stdioWrapper = stdio.StandardIO(inputForwarder)

        self.output = stdioWrapper

        print "Connected to server.  Press ctrl-C to close connection."



class StdioProxyFactory(protocol.ClientFactory):

    protocol = StdioProxyProtocol



    def clientConnectionLost(self, transport, reason):

        reactor.stop( )



    def clientConnectionFailed(self, transport, reason):

        print reason.getErrorMessage( )

        reactor.stop( )



if __name__ == '_ _main_ _':

    import sys

    if not len(sys.argv) == 3:

        print "Usage: %s host port" % _ _file_ _

        sys.exit(1)



    reactor.connectTCP(sys.argv[1], int(sys.argv[2]), StdioProxyFactory( ))

    reactor.run( )

Answer 1

protocol.dataReceived，您'是压倒性的，太低级了，如果没有你没有做的智能缓冲，就无法达到目的——根据我刚刚引用的文档，

每当收到数据时调用。

使用此方法可以转换为
更高级别的消息。通常，一些
收到后将进行回调
每个完整的协议消息。

参数

data

一串
长度不确定。请留在
请注意您可能需要
缓冲一些数据，作为部分数据（或
多个）协议消息可以是
已收到！我建议单元测试
对于协议调用此
具有不同块大小的方法，
一次减少到一个字节。

您似乎完全忽略了文档的这一关键部分。

您可以改为使用 LineReceiver.lineReceived （当然，继承自protocols.basic.LineReceiver）以利用HTTP请求以“行”形式出现的事实——您仍然需要将正在发送的标头连接起来多行，因为本教程说：

标题行以空格或开头
选项卡实际上是前一个选项卡的一部分
标题行，折叠成多个
方便阅读的线条。

一旦您有了格式良好/解析良好的响应（考虑研究 twisted.web 的来源 所以看看一种可行的方法），

检索域名、子域、端口
值由此而来？

现在是 Host 标头（cfr RFC< /a> 第 14.23 节）包含此信息。

Answer 2

根据您似乎正在尝试的内容，我认为以下是阻力最小的路径：
http://twistedmatrix.com/documents/10.0.0/ api/twisted.web.proxy.html

这是用于构建 HTTP 代理的扭曲类。它可以让您拦截请求，查看目的地并查看发送者。您还可以查看所有标题和来回内容。您似乎正在尝试重写twisted 已经为您提供的HTTP 协议和代理类。我希望这有帮助。