如何在 Delphi 中使用大文件？

Question

当我在内存流或文件流中使用大文件时，我看到“内存不足”错误 我该如何解决这个问题？

例子：

procedure button1.clıck(click);
var
  mem:TMemoryStream;
  str:string;
begin
  mem:=Tmemorystream.create;
  mem.loadfromfile('test.txt');----------> there test.txt size 1 gb..
  compressstream(mem);
end;

Answer 1

你的实现非常混乱。我不知道 CompressStream 到底是做什么的，但是如果您想将大文件作为流处理，您可以通过简单地使用 TFileStream 来节省内存，而不是尝试一次将整个文件读入 TMemoryStream 中。

此外，当您使用完 TMemoryStream 后，您永远不会释放它，这意味着您将泄漏大量内存。 （除非 CompressStream 解决了这个问题，但从代码中并不清楚，这样写确实不是一个好主意。）

Answer 2

您无法将整个文件放入单个连续的 32 位地址空间块中。因此出现内存不足错误。

将文件分成较小的部分读取并逐部分处理。

Answer 3

回答标题中的问题，如果需要的话，您需要逐个、逐字节地处理文件：您绝对不会将文件一次全部加载到内存中！如何执行此操作显然取决于您需要对文件执行什么操作；但既然我们知道您正在尝试实现霍夫曼编码器，我将为您提供一些具体的提示。

霍夫曼编码器是一种流编码器：字节输入，位输出。每个传入数据单元都将替换为其相应的位模式。编码器不需要立即查看整个文件，因为它实际上每次只处理一个字节。

以下是如何对文件进行霍夫曼压缩而不将其全部加载到内存中；当然，实际的霍夫曼编码器没有显示，因为问题是关于处理大文件，而不是构建实际的编码器。这段代码包括缓冲的输入和输出，并展示了如何将实际的编码器过程链接到它。

（请注意，在浏览器中编写的代码；如果它无法编译，您需要修复它！）

type THuffmanBuffer = array[0..1023] of Byte; // Because I need to pass the array as parameter

procedure DoActualHuffmanEncoding(const EncodeByte:Byte; var BitBuffer: THuffmanBuffer; var AtBit: Integer);
begin
  // This is where the actual Huffman encoding would happen. This procedure will
  // copy the correct encoding for EncodeByte in BitBuffer starting at AtBit bit index
  // The procedure is expected to advance the AtBit counter with the number of bits
  // that were actually written (that's why AtBit is a var parameter).   
end;

procedure HuffmanEncoder(const FileNameIn, FileNameOut: string);
var InFile, OutFile: TFileStream;
    InBuffer, OutBuffer: THuffmanBuffer;
    InBytesCount: Integer;
    OutBitPos: Integer;
    i: Integer;
begin
  // First open the InFile
  InFile := TFileStream.Create(FileNameIn, fmOpenRead or fmShareDenyWrite);
  try
    // Now prepare the OutFile
    OutFile := TFileStream.Create(FileNameOut, fmCreate);
    try
      // Start the out bit counter
      OutBitPos := 0;
      // Read from the input file, one buffer at a time (for efficiency)
      InBytesCount := InFile.Read(InBuffer, SizeOf(InBuffer));
      while InBytesCount <> 0 do
      begin
        // Process the input buffer byte-by-byte
        for i:=0 to InBytesCount-1 do
        begin
          DoActualHuffmanEncoding(InBuffer[i], OutBuffer, OutBitPos);
          // The function writes bits to the outer buffer, not full bytes, and the
          // encoding for a rare byte might be significantly longer then 1 byte.
          // Whenever the output buffer approaches it's capacity we'll flush it
          // out to the OutFile
          if (OutBitPos > ((SizeOf(OutBuffer)-10)*8) then
          begin
            // Ok, we've got less then 10 bytes available in the OutBuffer, time to
            // flush!
            OutFile.Write(OutBuffer, OutBitPos div 8);
            // We're now possibly left with one incomplete byte in the buffer.
            // We'll copy that byte to the start of the buffer and continue.
            OutBuffer[0] := OutBuffer[OutBitPos div 8];
            OutBitPos := OutBitPos mod 8;
          end;
        end;
        // Read next chunk
        InBytesCount := InFile.Read(InBuffer, SizeOf(InBuffer));
      end;

      // Flush the remaining of the output buffer. This time we want to flush
      // the final (potentially incomplete) byte as well, because we've got no
      // more input, there'll be no more output.
      OutFile.Write(OutBuffer, (OutBitPos + 7) div 8);

    finally OutFile.Free;
    end;     
  finally InFile.Free;
  end;
end;

霍夫曼编码器不是一个难以实现的编码器，但正确执行它快速可能是一个挑战。我建议您从一个正确编码器开始，一旦您完成了编码和解码工作，就可以弄清楚如何实现快速编码器。

Answer 4

尝试类似 http://www.explainth.at/en/delphi/mapstream.shtml< /a>