Clojure (Java) 和 Ruby 应用程序进行通信的最快可靠方式

Question

我们有云托管（RackSpace 云）的 Ruby 和 Java 应用程序，它们将按如下方式交互：

1. Ruby 应用程序向 Java 应用程序发送请求。请求由映射结构组成，其中包含字符串、整数、其他映射和列表（类似于 JSON）。
2. Java 应用程序分析数据并向 Ruby 应用程序发送回复。

我们有兴趣评估这两种消息传递格式（JSON、缓冲区协议、Thrift等）以及消息传输渠道/技术（套接字、消息队列、RPC、REST、SOAP 等）

我们的标准：

1. 短往返时间。
2. 低往返时间标准偏差。 （我们知道垃圾收集暂停和网络使用高峰可能会影响该值）。
3. 高可用性。
4. 可扩展性（将来我们可能希望有多个 Ruby 和 Java 应用程序实例交换点对点消息）。
5. 易于调试和分析。
6. 良好的文档和社区支持。
7. Clojure 支持的奖励积分。
8. 良好的动态语言支持。

您会推荐哪种消息格式和传输方法的组合？为什么？

我在这里收集了一些我们已经收集供审核的材料：

• 各种java序列化选项的比较
• 比较Thrift 和 Protocol Buffers（旧）
• 各种数据交换格式的比较
• Thrift 和 Protocol Buffers
• 协议的谬误Buffers RPC 特性
• AMQP（消息队列）背景下的 RPC 讨论
• RPC和message的比较-传入分布式系统（pdf）
• 从消息传递爱好者的角度批评RPC
• 从 Ruby 程序员的角度概述 Avro
• 从 Ruby 程序员角度概述 Thrift
• 从 Ruby 程序员角度概述 Thrift Java程序员视角
• MessagePack简介
• 动态语言爱好者介绍 BERT
• 消息队列评估说明
• ZeroMQ 和 Clojure

Answer 1

我们决定使用 BSON 而不是 RabbitMQ。

我们喜欢 BSON 对异构集合的支持，并且不需要预先指定消息的格式。我们不介意它具有较差的空间使用特性，并且可能比其他消息格式更差的序列化性能，因为我们应用程序的消息传递部分预计不会成为瓶颈。看起来并没有编写一个很好的 Clojure 接口来让您直接操作 BSON 对象，但希望这不会成为问题。如果我们认为 BSON 不适合我们，我将修改此条目。

我们选择 RabbitMQ 主要是因为我们已经有使用它的经验，并且正在需要高吞吐量和可用性的系统中使用它。

如果消息传递确实成为瓶颈，我们将首先关注 BERT（我们拒绝了它，因为它目前似乎没有 Java 支持），然后关注 MessagePack（拒绝了，因为似乎没有大型 Java 开发人员社区使用它），然后是 Avro（被拒绝，因为它要求您预先定义消息格式），然后是 Protocol Buffers（因为额外的代码生成步骤和缺乏异构集合而被拒绝），然后是 Thrift（因为 Protocol 提到的原因被拒绝）缓冲器）。

我们可能想要使用普通的 RPC 方案而不是使用消息队列，因为我们的消息传递风格本质上是同步点对点。

感谢大家的意见！

更新：这里是 project.clj 和 core.clj 展示了如何将 Clojure 映射转换为 BSON 并返回：

;;;; project.clj

(defproject bson-demo "0.0.1"
  :description "BSON Demo"
  :dependencies [[org.clojure/clojure "1.2.0"]
                 [org.clojure/clojure-contrib "1.2.0"]
                 [org.mongodb/mongo-java-driver "2.1"]]
  :dev-dependencies [[swank-clojure "1.3.0-SNAPSHOT"]]
  :main core)

;;;; core.clj
(ns core
  (:gen-class)
  (:import [org.bson BasicBSONObject BSONEncoder BSONDecoder]))

(defonce *encoder* (BSONEncoder.))

(defonce *decoder* (BSONDecoder.))

;; XXX Does not accept keyword arguments. Convert clojure.lang.Keyword in map to java.lang.String first.
(defn map-to-bson [m]
  (->> m (BasicBSONObject.) (.encode *encoder*)))

(defn bson-to-map [^BasicBSONObject b]
  (->> (.readObject *decoder* b) (.toMap) (into {})))

(defn -main []
  (let [m {"foo" "bar"}]
    (prn (bson-to-map (map-to-bson m)))))

Answer 2

我无法从个人经验出发，但我知道 Flightcaster 正在使用 JSON 消息传递将他们的后端 clojure 分析引擎链接到前端 Rails 应用程序，并且它似乎对他们有用。这是文章（接近结尾处）：

Clojure 和 Rails - FlightCaster 背后的秘密

希望这有帮助。
- 麦克风

Answer 3

我没有这方面的经验。无论如何，我都会发布这个可能有用的猜测。

• ZeroMQ 提供点对点消息传递，包括各种类型的网络拓扑。消息由任意二进制值组成 - 因此您只需要结构化消息的二进制序列化格式。

• BSON、ProtoBuffers 和 BERT 提供任意数据结构的序列化（数字、字符串、顺序数组、关联数组）转换为二进制值。

GitHub 发明了用于快速 RCP 的 BERT； BSON 是 MongoDB（或 10gen）出于同样的原因发明的；以及 Google 的 ProtoBuffers。

Answer 4

我相信协议缓冲区会比 JSON 更快、更高效（上次我检查它大约快了 40 倍，但我没有用 ruby​​ 尝试过，所以你的情况可能会有所不同）。