如何使用 Python 传输二进制数据？

Question

我是第一次开发客户端-服务器程序，但遗憾的是我不知道从哪里开始我正在做的事情。

我将使用 Google Protocol Buffers 在客户端和服务器之间传输二进制数据。 我将使用 Python 变体。 据我了解，基本思想是客户端将数据序列化，将其发送到服务器，然后服务器将数据反序列化。

问题是，我真的不知道从哪里开始向服务器发送二进制数据。 我希望它是像 HTTP 请求这样“简单”的东西，但我一直在 Google 上搜索传输二进制数据的方法，并迷失在大量的教程、指南和文档中。 我什至无法通过调查 HTTP 传输来判断我是否找错了树（我希望使用它，因此如果需要安全性，我可以将其提升到 HTTPS）。 不过，我真的不想进入套接字编程的水平 - 我想在转向之前使用可用的库。 （我也更喜欢标准的 Python 库，不过如果有完美的第 3 方库，我就会活下去。）

所以，如果有人对如何传输二进制文件有一个好的起点（或者想自己解释一下）通过Python获取数据，我将不胜感激。 顺便说一句，我正在运行的服务器当前正在运行带有 mod_python 的 Apache。

Answer 1

任何时候您要将二进制数据从一个系统移动到另一个系统时，都需要记住以下几点。

不同的机器以不同的方式存储相同的信息。 这对内存和网络都有影响。 更多信息请点击这里 (http://en.wikipedia.org/wiki/Endianness)

因为你如果你正在使用 python，你可以在这里放松一下（假设客户端和服务器都使用 python），只需使用 cPickle 来序列化你的数据。 如果你真的想要二进制，你必须熟悉 python 的 struct 模块（http: //docs.python.org/library/struct.html）。 并了解如何打包/解包数据。

我会首先从简单的线路协议服务器开始，直到您克服网络通信的困难。 如果您以前从未这样做过，那么很快就会感到困惑。 如何发出命令，如何传递数据，如何在错误时重新同步等等...

如果您已经了解客户端/服务器协议设计的基础知识，那么首先练习在磁盘上打包和解包二进制结构。 对于此类情况，我还参考了 HTTP 和 FTP 的 RFC。

--------根据评论进行编辑--------
通常，这种事情是通过向服务器发送一个“标头”来完成的，其中包含文件的校验和以及文件的大小（以字节为单位）。 请注意，我指的不是 HTTP 标头，您可以根据需要自定义它。 事件链需要像这样......

CLIENT: "UPLOAD acbd18db4cc2f85cedef654fccc4a4d8 253521"
SERVER: "OK"
(server splits the text line to get the command, checksum, and size)
CLIENT: "010101101010101100010101010etc..." (up to 253521 bytes)
(server reasembles all received data into a file, then checksums it to make sure it matches the original)
SERVER: "YEP GOT IT"
CLIENT: "COOL CYA"

这过于简化，但我希望你能明白我在这里所说的内容。

Answer 2

我不确定你的问题是否正确，但也许你可以看看扭曲项目。

正如您在常见问题解答中所看到的，“Twisted 是一个用 Python 编写的网络引擎，支持多种协议。它包含一个 Web 服务器、众多聊天客户端、聊天服务器、邮件服务器等等。Twisted 由许多子组件组成-可以单独访问的项目[...]”。

文档非常好，并且互联网上有很多示例。 希望能帮助到你。

Answer 3

我想这取决于您与 Google Protocol Buffers 的联系程度，但您可能想查看 Thrift 。

Thrift 是一个软件框架
可扩展的跨语言服务
发展。 它结合了一个软件
与代码生成引擎堆栈
构建高效运行的服务
C++、Java 之间无缝连接，
Python、PHP、Ruby、Erlang、Perl、
Haskell、C#、Cocoa、Smalltalk 和
OCaml。

他们的主页上有一个很好的入门示例。

Answer 4

一个简单的问题：为什么是二进制？ 有效负载本身是二进制的，还是您只是更喜欢二进制格式？
如果是前者，也可以将 base64 编码与 JSON 或 XML 结合使用； 它确实使用了更多的空间（~34%），并且处理开销更多，但对于许多用例来说不一定足够重要。