Scala/Java 中的简单、无麻烦、零样板序列化类似于 Python 的 Pickle？

Question

Scala/Java 中是否有一种类似于 Python 的 pickle 的简单、无麻烦的序列化方法？ Pickle 是一个极其简单的解决方案，在空间和时间上相当有效（即不是很糟糕），但不关心跨语言可访问性、版本控制等，并允许可选的自定义。

我所知道的是：

• Java 的内置序列化速度非常慢 ([1]< /a>, [2]),臃肿、脆弱。还必须将类标记为可序列化——当有些东西明显可序列化但没有该注释时（例如，没有多少 Point2D 作者将这些标记为可序列化），这很烦人。
• Scala 的 BytePickle 需要一堆样板文件键入你想要腌制的内容，即使这样它不适用于（循环）对象图。
• jserial：未维护且似乎并没有比默认的 Java 序列化更快/更小。
• kryo：无法（反）序列化没有 0 参数的对象，这是一个严重的限制。 （此外，您还必须注册计划序列化的每个类，否则您会得到 显着减慢/膨胀，但即便如此，它仍然比 pickle 更快。）
• protostuff：AFAICT，您必须在“模式”中提前注册要序列化的每个类。

Kryo 和 protostuff 是我发现的最接近的解决方案，但我想知道是否还有其他解决方案（或者是否有某种我应该知道的使用这些解决方案的方法）。请附上使用示例！理想情况下还包括基准。

Answer 1

我实际上认为你最好使用 kryo （我不知道除了非二进制协议之外提供更少模式定义的替代方案）。您提到，pickle 不会受到 kryo 在不注册类的情况下出现的速度减慢和膨胀的影响，但即使没有注册类，kryo 仍然比 pickle 更快且更不臃肿。请参阅以下微基准（显然要持保留态度，但这就是我可以轻松做到的）：

Python pickle

import pickle
import time
class Person:
    def __init__(self, name, age):
        self.name = name
        self.age = age
people = [Person("Alex", 20), Person("Barbara", 25), Person("Charles", 30), Person("David", 35), Person("Emily", 40)]
for i in xrange(10000):
    output = pickle.dumps(people, -1)
    if i == 0: print len(output)
start_time = time.time()
for i in xrange(10000):
    output = pickle.dumps(people, -1)
print time.time() - start_time    

对我来说输出 174 字节和 1.18-1.23 秒（64 位 Linux 上的 Python 2.7.1）

Scala kryo

import com.esotericsoftware.kryo._
import java.io._
class Person(val name: String, val age: Int)
object MyApp extends App {
  val people = Array(new Person("Alex", 20), new Person("Barbara", 25), new Person("Charles", 30), new Person("David", 35), new Person("Emily", 40))
  val kryo = new Kryo
  kryo.setRegistrationOptional(true)
  val buffer = new ObjectBuffer(kryo)
  for (i <- 0 until 10000) {
    val output = new ByteArrayOutputStream
    buffer.writeObject(output, people)
    if (i == 0) println(output.size)
  }
  val startTime = System.nanoTime
  for (i <- 0 until 10000) {
    val output = new ByteArrayOutputStream
    buffer.writeObject(output, people)
  }
  println((System.nanoTime - startTime) / 1e9)
}

为我输出 68 个字节和 30-40 毫秒（Kryo 1.04、Scala 2.9.1、Java 64 位 Linux 上的 1.6.0.26 热点 JVM）。作为比较，如果我注册类，它会输出 51 个字节和 18-25 毫秒。

对比

Kryo 在不注册类时使用 Python pickle 约 40% 的空间和 3% 的时间，而在注册类时则使用约 30% 的空间和 2% 的时间。当您需要更多控制时，您始终可以编写自定义序列化程序。

Answer 2

编辑2020-02-19：请注意，正如下面@federico提到的，这个答案不再有效，因为存储库已被所有者存档。

Scala 现在有 Scala-pickling，根据场景，其性能与 Kyro 一样好或更好 - 请参阅幻灯片 34- 39 在 此演示文稿。

Answer 3

Twitter 的 chill 库 非常棒。它使用 Kryo 进行序列化，但使用起来非常简单。也很好：提供了一个 MeatLocker[X] 类型，使任何 X 都可以序列化。

Answer 4

我会推荐 SBinary。它使用在编译时解析的隐式，因此非常有效且类型安全。它内置了对许多常见 Scala 数据类型的支持。您必须为您的（案例）类手动编写序列化代码，但这很容易做到。

简单 ADT 的使用示例

Answer 5

另一个不错的选择是最近的（2016）**netvl/picopickle** ：

• 小并且几乎无依赖（核心库仅依赖于shapeless ）。
• 可扩展性：您可以为您的类型定义自己的序列化器，并且可以创建自定义后端，也就是说，您可以对不同的序列化格式（集合、JSON、BSON 等）使用相同的库.);序列化行为的其他部分（例如空值处理）也可以自定义。
• 灵活性和便利性：默认的序列化格式适合大多数用途，但在方便的转换器 DSL 的支持下几乎可以任意自定义。
• 不带反射的静态序列化：无形状通用宏用于为任意类型提供序列化器，这意味着不使用反射。

例如：

基于Jawn的pickler还提供了额外的函数，readString()/writeString()和readAst()/writeAst( )，分别将对象序列化为字符串，将 JSON AST 序列化为字符串：

import io.github.netvl.picopickle.backends.jawn.JsonPickler._

case class A(x: Int, y: String)

writeString(A(10, "hi")) shouldEqual """{"x":10,"y":"hi"}"""
readString[A]("""{"x":10,"y":"hi"}""") shouldEqual A(10, "hi")