在哈希表上使用 get() 方法时的 scala 速度？ （是否生成临时 Option() 对象？）

Question

我正在将一些代码转换为 Scala。它的代码位于包含大量数据的内部循环中，因此需要速度快，并且涉及在哈希表中查找键并计算概率。它需要根据是否找到密钥来执行不同的操作。使用“标准”习惯用法，代码看起来像这样：

counts.get(word) match {
  case None => {
    WordDist.overall_word_probs.get(word) match {
      case None => (unseen_mass*WordDist.globally_unseen_word_prob
                    / WordDist.num_unseen_word_types)
      case Some(owprob) => unseen_mass * owprob / overall_unseen_mass
    }
  }
  case Some(wordcount) => wordcount.toDouble/total_tokens*(1.0 - unseen_mass)
}

但我担心这种代码会非常慢，因为所有这些临时 Some() 对象都被创建然后被垃圾收集。 Scala2e 书声称智能 JVM“可能”优化这些，以便代码高效地执行正确的操作，但是使用 Sun 的 JVM 真的会发生这种情况吗？有人知道吗？

Answer 1

如果您在 jvm 中启用逃逸分析，则可能会发生这种情况与：

-XX:+DoEscapeAnalysis

在 JRE 1.6 上。本质上，它应该检测正在创建的对象，这些对象不会逃逸方法激活帧，并将它们分配到堆栈上，或者在不再需要它们后立即对其进行 GC。

您可以做的一件事是使用 scala.testing.Benchmark 特征。只需使用单例对象扩展它并实现 run 方法，编译并运行它。它将多次运行 run 方法，并测量执行时间。

Answer 2

是的，Some 对象将被创建（None 是单例）。当然，除非 JVM 忽略了这一点——这取决于许多因素，包括 JVM 是否认为代码被调用了那么多。

无论如何，该代码并不是真正的标准习惯用法。甚至有一个关于它的模因：有一次，一位经验丰富的 Scala 开发人员编写了这样的代码，而另一位开发人员回答说“这是什么？业余时间？平面地图那该死！”

不管怎样，我是这样重写它的：

( counts 
  get word
  map (_.toDouble / total_tokens * (1.0 - unseen_mass))
  getOrElse (
    WordDist.overall_word_probs
    get word
    map (unseen_mass * _ / overall_unseen_mass)
    getOrElse (unseen_mass * WordDist.globally_unseen_word_prob
                / WordDist.num_unseen_word_types)
  )
)

然后你可以重构它——两个 getOrElse 参数都可以用不同的方法分割，并使用漂亮的名称。由于它们只是返回一个值而不需要输入，因此它们应该非常快。

现在，我们在 Option 上仅调用两个方法：map 和 getOrElse。以下是其实现的开始：

@inline final def map
@inline final def getOrElse

由于 getOrElse 的参数是按名称传递的，因此涉及匿名函数的创建。当然，map 的参数也是一个函数。除此之外，这些方法被内联的机会非常好。

所以，这是重构的代码，尽管我对它了解不够，无法给出好名字。

def knownWordsFrequency = counts get word map computeKnownFrequency
def computeKnownFrenquency = 
  (_: Int).toDouble / total_tokens * (1.0 - unseen_mass)

def probableWordsFrequency = (
  WordDist.overall_word_probs 
  get word 
  map computeProbableFrequency
)
def computeProbableFrequency = unseen_mass * (_: Double) / overall_unseen_mass

def unknownFrequency = (unseen_mass * WordDist.globally_unseen_word_prob
  / WordDist.num_unseen_word_types)

def estimatedWordsFrequency = probablyWordsFrequency getOrElse unknownFrequency

knownWordsFrequency getOrElse estimatedWordsFrequency