Scala：通过生成器公开 JDBC 结果集（可迭代）

Question

我在数据库中有一组行，我想提供一个接口来旋转它们，如下所示：

def findAll: Iterable[MyObject]

我们不需要同时将所有实例都存储在内存中。在 C# 中，您可以使用 Yield 轻松创建这样的生成器，编译器负责将循环记录集的代码转换为迭代器（某种程度的反转）。

我当前的代码如下所示：

def findAll: List[MyObject] = {
  val rs = getRs
  val values = new ListBuffer[MyObject]
  while ( rs.next() ) 
    values += new valueFromResultSet(rs)
  values.toList
}

有没有办法可以将其转换为不将整个集合存储在内存中？也许我可以用 a 来理解？

Answer 1

我遇到了同样的问题，基于上面的想法，我通过简单地编写一个适配器类创建了以下解决方案：

class RsIterator(rs: ResultSet) extends Iterator[ResultSet] {
    def hasNext: Boolean = rs.next()
    def next(): ResultSet = rs
}

有了这个，您可以对结果集执行map操作 - 这是我个人的意图：

val x = new RsIterator(resultSet).map(x => {
    (x.getString("column1"), x.getInt("column2"))
})

附加 .toList 以强制评估。如果在使用这些值之前关闭数据库连接，这非常有用。否则，您将收到错误消息，指出连接关闭后无法访问 ResultSet。

Answer 2

尝试扩展 Iterator。我还没有测试过它，但是是这样的：

def findAll: Iterator[MyObject] = new Iterator[MyObject] {
  val rs = getRs
  override def hasNext = rs.hasNext
  override def next = new valueFromResultSet(rs.next)
}

这应该在调用时存储 rs，否则只是调用 rs 的轻量级包装器。

如果您想保存遍历的值，请查看 Stream。

Answer 3

实现相同目的的更简单（惯用）方法是

Iterator.continually((rs.next(), rs)).takeWhile(_._1).map(r => valueFromResultSet(r._2)).toList

您需要 .toList 来强制求值，否则底层集合将是一个流，并且 ResultSet 可能会在求值发生之前关闭。

Answer 4

我在 Scala 2.13 中设计了一个解决方案，通过使用包含 .map() 方法的隐式类来增强 ResultSet。

implicit class ResultSetOps(resultSet: ResultSet) {
  def iterator: Iterator[ResultSet] =
    Iterator
      .continually(resultSet)
      .takeWhile(_.next())

  def map[T](toT: ResultSet => T): Iterator[T] =
    iterator.map(toT)
}

对于较少数量的行，要这样使用：

val ts =
  resultSet
    .map(resultSet => {
      val marketId = resultSet.getString("market_id")
      println(s"marketId=$marketId")

      marketId
    })
    .toList

记住最后的 .toList 至关重要，因为它会导致 Iterator 遍历 ResultSet< /代码>。

---

对于不希望耗尽内存的大量行，替代方法是使用 .foreach() 进行工作，如下所示：

val ts =
  resultSet
    .iterator
    .foreach(resultSet => {
      val marketId = resultSet.getString("market_id")
      println(s"marketId=$marketId")
      
      //perform and (side-effect) persist the row here
    })