当前位置：文江博客话题详情

Kryo 序列化库：它在生产中使用吗？

发布于 2024-08-30 16:31:59 字数 446 浏览 5 评论 0原文

Kryo 是一个非常新且有趣的 Java 序列化库，也是 thrift-protobuf 基准测试。如果您使用过 Kryo，它是否已经足够成熟，可以在生产代码中进行尝试？

更新 (10/27/2010)： 我们正在使用 Kryo，但尚未投入生产。详情请参阅下面我的回答。

更新 (3/9/2011)： 更新到最新的 Jackson 和 Kryo 库表明 Jackson 的二进制 Smile 序列化非常有竞争力。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

一杆小烟枪 2024-09-06 16:31:59

我会尝试回答我自己的问题（Kyro 仍然很新！）。

我们使用 Restlet 框架实现了一组大约 120 种不同的 Web 服务。这些由通常构建在基于 Restlet 的客户端库之上的 Web 服务客户端使用。服务器和客户端之间来回发送的表示形式包括 XML（使用 XStream 序列化库）、JSON（使用 < a href="http://jackson.codehaus.org/" rel="noreferrer">Jackson)、XHTML、Java 对象序列化，截至昨天，克里奥。因此，我们可以进行一些可靠的并排比较。

Kryo 1.0.1 看起来相当稳定。当我真正阅读如何使用 API 后，我发现的唯一真正问题是默认的 java.util.Date 序列化程序似乎将日期扭曲到过去几个月。我只需要提供自己的覆盖：

kryo.register(Date.class, 
  new SimpleSerializer<Date>() {
   @Override public void write (ByteBuffer b, Date d) { b.putLong(d.getTime()); }
   @Override public Date read (ByteBuffer b) { return new Date(b.getLong()); }
  });

但这是迄今为止我发现的唯一可能的问题。我们有一组 JavaBean，其中包含 String、Float、Integer、Long、Date、Boolean 和 List 字段。

以下是一些粗略的基准。首先，我对描述一个电视节目的对象层次结构进行了 100,000 次序列化和反序列化（即制作了 100,000 个深度副本）。速度是：

XStream XML:                 360/sec
Java Object Serialization: 1,570/sec
Jackson JSON:              5,000/sec
Kryo:                      8,100/sec

接下来，我还序列化了 2,000 个电视节目描述的目录并计算了字节数：

XStream XML:         6,837,851 bytes
Jackson JSON:        3,656,654 bytes
Kryo:                1,124,048 bytes

我还发现注册序列化器非常重要：

kryo.register(List.class);
kryo.register(ArrayList.class);
// ...
kryo.register(Program.class);
kryo.register(Catalog.class);
// ...

如果我不这样做，序列化的大小几乎是原来的两倍，并且速度是可能慢 40%。

我们还使用这四种序列化方法对多个 Web 服务进行了完整的端到端测试，它们还表明 Kryo 的运行速度比其他方法更快。

总而言之，Kryo 看起来相当稳健。我将在我们的代码库中保留对它的支持，随着我们获得使用它的经验，我希望在更多地方使用它。向 Kryo 团队致敬！

更新（2011年3月9日）：我终于听从了@StaxMan的建议，尝试使用Jackson 1.6的二进制“Smile”序列化器。使用 Jackson 1.6 和 Kryo 1.04，我对一个稍微不同的电视节目对象层次结构进行了 100,000 次深度复制（序列化/反序列化）：

XStream XML:     429/sec    5,189 bytes
Jackson JSON:  4,474/sec    2,657 bytes
Kryo:          4,539/sec    1,066 bytes  
Jackson Smile: 5,040/sec    1,689 bytes

此测试与宏观级别的测试不相符，我在 REST Web 服务中尝试了不同的序列化器，交付许多这样的对象。总体系统吞吐量支持@StaxMan 关于性能的直觉：

Jackson JSON:     92 requests/sec
Jackson Smile     97 requests/sec
Kryo:            108 requests/sec

I'll try to answer my own question (Kyro is still very new!).

We have a set of about 120 different web services implemented using the Restlet framework. These are consumed by web service clients generally built on top of a Restlet-based client library. The representations sent back and forth between server and client include XML (using the XStream serialization library), JSON (Using Jackson), XHTML, Java Object Serialization, and as of yesterday, Kryo. So we're in a position to do some solid side-by-side comparisons.

Kryo 1.0.1 seems reasonably stable. Once I actually read up on how to use the API, the only real problem I found was that the default java.util.Date serializer seemed to warp dates a few months into the past. I just had to provide my own override:

kryo.register(Date.class, 
  new SimpleSerializer<Date>() {
   @Override public void write (ByteBuffer b, Date d) { b.putLong(d.getTime()); }
   @Override public Date read (ByteBuffer b) { return new Date(b.getLong()); }
  });

But that was the only possible issue I've found so far. We have a set of JavaBeans that have String, Float, Integer, Long, Date, Boolean and List fields.

Here are some rough benchmarks. First, I did 100,000 serializations and deserializations of an object hierarchy that describes one TV program (ie, made 100,000 deep copies of it). The speeds were:

XStream XML:                 360/sec
Java Object Serialization: 1,570/sec
Jackson JSON:              5,000/sec
Kryo:                      8,100/sec

Next, I also serialized a catalog of 2,000 TV program descriptions and counted bytes:

XStream XML:         6,837,851 bytes
Jackson JSON:        3,656,654 bytes
Kryo:                1,124,048 bytes

I also found that registering serializers was very important:

kryo.register(List.class);
kryo.register(ArrayList.class);
// ...
kryo.register(Program.class);
kryo.register(Catalog.class);
// ...

If I didn't do that, the serializations were almost double the size, and the speed was maybe 40% slower.

We also ran complete end-to-end tests of several web services using each of these four serialization methods, and they also showed that Kryo was running faster than the others.

So in summary, Kryo seems reasonably robust. I'm going to keep support for it in our code base and as we gain experience with it I hope to use it in more places. Kudos to the Kryo team!

Update (3/9/2011): I finally got around to @StaxMan's suggestion to try Jackson 1.6's binary "Smile" serializer. Using Jackson 1.6 and Kryo 1.04, I did 100,000 deep copies (serialization/deserialiations) of a somewhat different TV program object hierarchy:

XStream XML:     429/sec    5,189 bytes
Jackson JSON:  4,474/sec    2,657 bytes
Kryo:          4,539/sec    1,066 bytes  
Jackson Smile: 5,040/sec    1,689 bytes

This test didn't mesh with a macro-level test, where I tried different serializers in a REST web service that delivers many of these objects. There the overall system throughput supports @StaxMan's intuition about performance:

Jackson JSON:     92 requests/sec
Jackson Smile     97 requests/sec
Kryo:            108 requests/sec

回复收藏 0 原文

孤独岁月 2024-09-06 16:31:59

有一个错误报告和一个讨论帖。 Kryo 附带的 DateSerializer 在大小方面比 SO 上发布的 SimpleSerializer 实现稍微高效一些，因为它使用针对正值优化的 LongSerializer。

编辑：我忘了回答原来的问题。我相信 Kryo 至少在一些生产系统中使用。这篇文章中提到了它，Jive SBS 缓存重新设计：第 3 部分。在Destroy All Humans项目中，Kryo 用于与 Android 手机进行通信，Android 手机充当机器人大脑（视频）。

不是直接答案，但您可以浏览 Kryo 源和/或 javadocs。查看 Kryo 类上的 read* 和 write* 方法，然后查看 Serializer 类。这确实是图书馆的核心。

回复收藏 0 原文

青巷忧颜 2024-09-06 16:31:59

Kryo 是雅虎 S4（简单可扩展流系统）项目的一部分。据我所知，S4 还没有量产。

回复收藏 0 原文

清醇 2024-09-06 16:31:59

在上面 Jim Ferrans 的回复和评论的帮助下，我在此页面上找到了有关 Kryo 日期序列化问题的更详细说明：http://groups.google.com/group/kryo-users/browse_thread/thread/91969c6f48a45bdf/
还有如何使用 Kryo 的 DateSerializer()：

kryo.register(Date.class, new DateSerializer());

我希望这可以帮助其他人。

回复收藏 0 原文