将 BLOB 从一个数据库读取到另一个数据库

Question

我正在尝试从 mysql 集转移到 postgres 集，而我在移动时遇到问题的字段之一是 mysql LBLOB。我正在尝试将其移至 postgres 中的 LargeObject 类型，但遇到了一些速度问题。我正在 Java/Groovy 中执行此操作，坦率地说，流媒体业务让我感到困惑。

我尝试了两种方法：将 LBLOB 保存在内存中并将其直接写入 LO，然后将 LBLOB 写入磁盘（毕竟它是一个文件），然后将文件读回 LO。

第二种方法快了很多很多倍，我不明白为什么，因为我认为它仍然太慢了。

这是第一种方法。

InputStream ins = rs.getBinaryStream(1);
def b
while ((b = ins.read()) > -1) {
    obj.write(b.toInteger().byteValue())
}

“ins”是一个 ByteArrayInputStream，所以我将其读入（到一个 int），然后将其写入“obj”，即 LO。对于 1MB 的文件，这大约需要 7 分钟。我的直觉告诉我这应该比第二个更有效，但事实并非如此。

我将保留写入文件版本的代码片段，但它非常基本。它以相同的方式从数据库读取，但随后将输出写入磁盘上的文件。然后我从磁盘读取文件并将其写入 LO。对于同一文件，该方法大约需要 8 秒。

到底是怎么回事？

Answer 1

obj.write(b.toInteger().byteValue())

这种方法看起来效率不太高。

尝试缓冲 I/O：

  public void drain(InputStream in, OutputStream out) throws IOException {
    byte[] buffer = new byte[1024];
    int r;
    while ((r = in.read(buffer)) > -1) {
      out.write(buffer, 0, r);
    }
  }

适当调整缓冲区大小。

如果文件很大，您可能会发现操作系统在执行磁盘缓存（即磁盘 I/O 以及内存管理）时出现问题。从互联网的这一端很难确定。尝试分析和比较这两种方法（至少，您可以使用 -Xprof 命令行开关）。