当我想要对同一输入调用多个昂贵的操作然后收集结果时，我可以使用 Scala 的并行集合吗？

Question

我发现了一个类似的问题但是它有一个似乎更简单的情况，其中昂贵的操作总是相同的。就我而言，我想收集一些我想并行执行的昂贵 API 调用的一组结果。

假设我有：

def apiRequest1(q: Query): Option[Result]
def apiRequest2(q: Query): Option[Result]

其中 q 是相同的值。

我想要一个 List[Result] 或类似的（显然 List[Option[Result]] 很好），并且我希望这两个昂贵的操作并行发生。

当然，简单的 List 构造函数不会并行执行：

List(apiRequest1(q), apiRequest2(q))

并行集合有帮助吗？或者我应该寻找期货之类的东西？我能想到的使用并行集合的唯一方法似乎很老套：

 List(q, q).par.zipWithIndex.flatMap((q) =>
   if (q._2 % 2 == 0) apiRequest1(q._1) else apiRequest2(q._1)
 )

实际上，所有事情都是平等的，也许这并没有那么糟糕......

Answer 1

你为什么不写

List(apiRequest1 _, apiRequest2 _).par.map(_(q))

Answer 2

快速而肮脏的解决方案：

scala> def apiRequest1(q: Query): Option[Result] = { Thread.sleep(1000); Some(new Result) }
apiRequest1: (q: Query)Option[Result]

scala> def apiRequest2(q: Query): Option[Result] = { Thread.sleep(3000); Some(new Result) }
apiRequest2: (q: Query)Option[Result]

scala> val f = List(() => apiRequest1(q), () => apiRequest2(q)).par.map(_())
f: scala.collection.parallel.immutable.ParSeq[Option[Result]] = ParVector(Some(Result@1f24908), Some(Result@198c0b5))

Answer 3

我不确定如果你只有两个或少量的调用，它实际上会并行工作，并行化有一个阈值，并且它可能会在如此小的集合中按顺序工作，因为它不值得并行化开销（它无法知道，因为它取决于您想要运行的操作，但对集合操作设置阈值是合理的）。