将 600MB 文件作为文件流数据插入 SQL Server Express 时出现内存不足错误

Question

（请阅读下面的更新部分，为了清楚起见，我也保留了原来的问题）

我将许多文件插入到为文件流配置的 SQL Server 数据库中。

我正在循环中将文件从文件夹插入到数据库表中。

一切都很顺利，直到我尝试插入 600 MB 的文件。

当它插入时，任务管理器中的内存使用量为 +600MB，并且出现错误。

DB 大小 < 1 GB，文档的总大小为 8 GB，我使用的是 SQL Server Express R2，根据文档，只有在尝试插入大于 10 GB 的文档（Express 限制）时才会出现问题 - 当前数据库大小。

谁能告诉我为什么会出现这个错误？这对我来说非常重要。

赏金更新：

我提供了 150，因为这对我来说非常重要！

这似乎是Delphi内存管理器的限制，试图插入大于500MB的文档，我没有检查确切的阈值，反正它在500到600MB之间。我使用 SDAC 组件，特别是 TMSQuery（但我认为可以使用 TDataset 后代完成同样的操作），将文档插入到具有 PK (ID_DOC_FILE) 和 varbinary(max) 字段 (DOCUMENT) 的表中：

procedure UploadBigFile;
var 
  sFilePath: String; 
begin 
  sFilePath := 'D:\Test\VeryBigFile.dat'; 
  sqlInsertDoc.ParamByName('ID_DOC_FILE').AsInteger := 1; 
  sqlInsertDoc.ParamByName('DOCUMENT').LoadFromFile(sFilePath, ftblob); 
  sqlInsertDoc.Execute; 
  sqlInsertDoc.Close; 
end;

SDAC 团队告诉我这是 Delphi 内存管理器的限制。现在，由于 SDAC 不支持文件流，我无法执行第一个答案中 c# 中建议的操作。唯一的解决方案是向 Embarcadero 报告并要求修复错误吗？

最终更新：

真的感谢所有回答我的人。当然，对于 Express 版来说，插入大 blob 可能会是一个问题（因为 1 GB 内存的限制），无论如何，我在企业版上遇到了错误，而且这是一个“delphi”错误，而不是 sql server 错误。所以我认为我接受的答案确实解决了问题，即使我现在没有时间验证它。

Answer 1

SDAC 团队告诉我这是 Delphi 内存管理器的限制

对我来说这看起来像是一个简单的答案，我进行了调查。我没有 SDAC 组件，也不使用 SQL Server，我最喜欢的是 Firebird SQL 和 IBX 组件集。我尝试使用 IBX 将 600Mb blob 插入表中，然后使用 ADO 尝试相同的操作（涵盖两种连接技术，都是 TDataSet 的后代）。我发现事实是在中间的某个地方，它并不是真正的内存管理器，这不是 SDAC 的错（嗯...他们有能力对此做点什么，如果更多的人尝试将 600 Mb blob 插入到数据库，但这与本讨论无关）。 “问题”出在Delphi 中的DB 代码上。事实证明，Delphi 坚持使用单个 Variant 来保存可能加载到参数中的任何类型的数据。这是有道理的，毕竟我们可以将很多不同的东西加载到 INSERT 的参数中。第二个问题是，Delphi 希望将该 Variant 视为 VALUE 类型：它将它在列表中复制两次，也许三次！从文件加载参数时会立即生成第一个副本。当参数准备发送到数据库引擎时，创建第二个副本。

写这个很简单：

var V1, V2:Variant;
V1 := V2;

对于整数、日期和小字符串来说工作得很好，但是当 V2 是一个 600 Mb 变体数组时，赋值显然会产生一个完整的副本！现在考虑一下未在“3G”模式下运行的 32 位应用程序的可用内存空间。只有 2 Gb 的寻址空间可用。其中一些空间是保留的，一些空间用于可执行文件本身，然后是库，然后是为内存管理器保留的一些空间。在进行第一个 600 Mb 分配后，可能没有足够的可用寻址空间来分配其他 600 Mb 缓冲区！因此，可以放心地将其归咎于内存管理器，但话又说回来，为什么 DB 内容到底需要 600 Mb 怪物的另一个副本？

一种可能的修复方法

尝试将文件分割成更小、更易于管理的块。将数据库表设置为具有 3 个字段：ID_DOCUMENT、SEQUENCE、DOCUMENT。还将表上的主键设置为（ID_DOCUMENT，SEQUENCE）。接下来试试这个：

procedure UploadBigFile(id_doc:Integer; sFilePath: String);
var FS:TFileStream;
    MS:TMemoryStream;
    AvailableSize, ReadNow:Int64;
    Sequence:Integer;
const MaxPerSequence = 10 * 1024 * 1024; // 10 Mb
begin

  FS := TFileStream.Create(sFilePath, fmOpenRead);
  try
    AvailableSize := FS.Size;
    Sequence := 0;
    while AvailableSize > 0 do
    begin
      if AvailableSize > MaxPerSequence then
        begin
          ReadNow := MaxPerSequence;
          Dec(AvailableSize, MaxPerSequence);
        end
      else
        begin
          ReadNow := AvailableSize;
          AvailableSize := 0;
        end;
      Inc(Sequence); // Prep sequence; First sequence into DB will be "1"
      MS := TMemoryStream.Create;
      try
        MS.CopyFrom(FS, ReadNow);

        sqlInsertDoc.ParamByName('ID_DOC_FILE').AsInteger := id_doc; 
        sqlInsertDoc.ParamByName('SEQUENCE').AsInteger := sequence; 
        sqlInsertDoc.ParamByName('DOCUMENT').LoadFromStream(MS, ftblob); 
        sqlInsertDoc.Execute; 

      finally MS.Free;
      end;
    end;
  finally FS.Free;
  end;

  sqlInsertDoc.Close;       

end;

Answer 2

您可以循环遍历要插入的对象的字节流，并一次将其中一部分缓冲到数据库中，直到存储整个对象为止。

如果您使用 .NET，我会看一下 Buffer.BlockCopy() 方法。

在我的脑海中，解析文件的方法可能如下所示：

        var file = new FileStream(@"c:\file.exe");
        byte[] fileStream;
        byte[] buffer = new byte[100];
        file.Write(fileStream, 0, fileStream.Length);
        for (int i = 0; i < fileStream.Length; i += 100)
        {
            Buffer.BlockCopy(fileStream, i, buffer, 0, 100);
            // Do database processing
        }

Answer 3

下面是读取磁盘文件并将其保存到 FILESTREAM 列中的示例。 （它假设您已经在变量“filepath”和“txContext”中拥有事务上下文和文件路径。

'Open the FILESTREAM data file for writing
Dim fs As New SqlFileStream(filePath, txContext, FileAccess.Write)

'Open the source file for reading
Dim localFile As New FileStream("C:\temp\microsoftmouse.jpg",
                                FileMode.Open,
                                FileAccess.Read)

'Start transferring data from the source file to FILESTREAM data file
Dim bw As New BinaryWriter(fs)
Const bufferSize As Integer = 4096
Dim buffer As Byte() = New Byte(bufferSize) {}
Dim bytes As Integer = localFile.Read(buffer, 0, bufferSize)

While bytes > 0
    bw.Write(buffer, 0, bytes)
    bw.Flush()
    bytes = localFile.Read(buffer, 0, bufferSize)
End While

'Close the files
bw.Close()
localFile.Close()
fs.Close()

Answer 4

您可能在某个地方遇到了内存碎片问题。使用非常大的内存块，尤其是在可能需要重新分配内存的任何情况下，当理论上您有足够的内存来完成这项工作时，往往会导致内存不足错误。如果它需要一个 600mb 的块，但找不到 600mb 宽的洞，那就说明内存不足了。

虽然我从未尝试过，但我倾向于创建一个非常小的程序，仅执行一个操作。保持尽可能简单，以尽量减少内存分配。当面临这样的危险操作时，调用外部程序来完成这项工作。程序运行，执行一项操作并退出。关键是新程序位于它自己的地址空间中。

唯一真正的解决办法是 64 位，但我们还没有这个选项。

Answer 5

我最近在一个非常大的表上运行 DBCC CHECKDB 时遇到了类似的问题。我会得到这个错误：

系统内存不足
资源池“内部”来运行它
查询。

这是在 SQL Server 2008 R2 Express 上进行的。有趣的是，我可以通过向表中添加或删除一定数量的行来控制错误的发生。

经过与各种 SQL Server 专家的广泛研究和讨论，我得出的结论是，问题是 内存压力 和 SQL Server Express 的 1 GB 内存限制。

给我的建议是要么

1. 购买一台具有更多内存和
   SQL Server 的许可版本或...
2. 将表分区为相当大的
   DBCC CHECKDB 可以的块
   由于

将这些文件解析为 FILSTREAM 对象的复杂性，我建议使用 文件系统 方法，并简单地使用 SQL Server 来存储文件的位置。

Answer 6

“虽然支持的数据库或用户数量没有限制，但仅限于使用一个处理器、1 GB 内存和 4 GB 数据库文件（SQL Server Express 2008 R2 中的 10 GB 数据库文件）。”问题不是数据库文件的大小，而是“1 GB 内存”。尝试吐出 600MB 以上的文件，但将其放入流中。