Delphi：使用 Reset/ReadLn 读取文本文件的替代方法

Question

我想逐行处理文本文件。过去，我将文件加载到 StringList 中：

slFile := TStringList.Create();
slFile.LoadFromFile(filename);

for i := 0 to slFile.Count-1 do
begin
   oneLine := slFile.Strings[i];
   //process the line
end;

问题是一旦文件达到几百兆字节，我就必须分配巨大内存块;实际上我只需要足够的内存一次保存一行。 （另外，当系统在步骤 1 中锁定加载文件时，您无法真正指示进度）。

我尝试使用 Delphi 提供的本机推荐文件 I/O 例程：

var
   f: TextFile;
begin
   Reset(f, filename);
   while ReadLn(f, oneLine) do
   begin
       //process the line
   end;

Assign 的问题是没有选项可以在不锁定的情况下读取文件（即 fmShareDenyNone >）。前一个 stringlist 示例也不支持无锁，除非您将其更改为 LoadFromStream：

slFile := TStringList.Create;
stream := TFileStream.Create(filename, fmOpenRead or fmShareDenyNone);
   slFile.LoadFromStream(stream);
stream.Free;

for i := 0 to slFile.Count-1 do
begin
   oneLine := slFile.Strings[i];
   //process the line
end;

所以现在即使我没有获得任何锁定，我返回将整个文件加载到内存中。

是否有一些替代 Assign/ReadLn 的方法，我可以在其中逐行读取文件，而无需获取共享锁？

我不想直接进入 Win32 CreateFile/ReadFile，并且必须处理分配缓冲区和检测 CR、LF< /code>、CRLF 的。

我考虑过内存映射文件，但是如果整个文件不适合（映射）到虚拟内存中，并且必须一次映射文件的视图（片段），则会出现困难。开始变得丑陋。

我只想使用 fmShareDenyNone 来重置！

Answer 1

因为看起来 FileMode 变量对于文本文件无效，但我的测试表明从文件中多次读取是没有问题的。您在问题中没有提到它，但是如果您在读取文本文件时不打算写入它，那么应该没问题。

Answer 2

如果您需要在旧版 Delphis 中支持 ansi 和 Unicode，您可以使用我的 GpTextFile 或GpTextStream。

Answer 3

我所做的是使用 TFileStream，但我将输入缓冲到相当大的块（例如，每个块几兆字节）中，并一次读取和处理一个块。这样我就不必一次加载整个文件。

这样，即使对于大文件，它的工作速度也相当快。

我确实有一个进度指示器。当我加载每个块时，我将其增加额外加载的文件的一部分。

一次读取一行，如果没有任何缓冲，对于大文件来说太慢了。

Answer 4

几年前我遇到了同样的问题，尤其是锁定文件的问题。我所做的是使用 shellapi 中的低级读取文件。我知道这个问题自从我回答以来已经很老了（两年），但也许我的贡献可以帮助将来的某人。

const
  BUFF_SIZE = $8000;
var
  dwread:LongWord;
  hFile: THandle;
  datafile : array [0..BUFF_SIZE-1] of char;

hFile := createfile(PChar(filename)), GENERIC_READ, FILE_SHARE_READ or FILE_SHARE_WRITE, nil, OPEN_EXISTING, FILE_ATTRIBUTE_READONLY, 0);
SetFilePointer(hFile, 0, nil, FILE_BEGIN);
myEOF := false;
try
  Readfile(hFile, datafile, BUFF_SIZE, dwread, nil);   
  while (dwread > 0) and (not myEOF) do
  begin
    if dwread = BUFF_SIZE then
    begin
      apos := LastDelimiter(#10#13, datafile);
      if apos = BUFF_SIZE then inc(apos);
      SetFilePointer(hFile, aPos-BUFF_SIZE, nil, FILE_CURRENT);
    end
    else myEOF := true;
    Readfile(hFile, datafile, BUFF_SIZE, dwread, nil);
  end;
finally
   closehandle(hFile);
end;

对我来说，速度的提高似乎是显着的。

Answer 5

为什么不直接从 TFileStream 本身一次读取文件行呢？

即（伪代码）：

  readline: 
    while NOT EOF and (readchar <> EOL) do
      appendchar to result


  while NOT EOF do
  begin
    s := readline
    process s
  end;

您可能会发现的一个问题是 iirc TFileStream 没有缓冲，因此大文件的性能将不是最佳的。不过，对于非缓冲流的问题有很多解决方案，包括这个 ，您可能希望调查此方法是否解决了您最初的问题。

Answer 6

在最新的 Delphi 版本中，您可以使用 TStreamReader。使用文件流构建它，然后调用 其 ReadLine方法（继承自TTextReader）。

所有 Delphi 版本的一个选项是使用 Peter Below 的 StreamIO 单元，它为您提供AssignStream。它的工作方式与AssignFile 类似，但针对的是流而不是文件名。使用该函数将流与 TextFile 变量关联后，您可以像调用任何其他文件一样调用 ReadLn 以及其他 I/O 函数。

Answer 7

您可以使用此示例代码：

TTextStream = class(TObject)
      private
        FHost: TStream;
        FOffset,FSize: Integer;
        FBuffer: array[0..1023] of Char;
        FEOF: Boolean;
        function FillBuffer: Boolean;
      protected
        property Host: TStream read FHost;
      public
        constructor Create(AHost: TStream);
        destructor Destroy; override;
        function ReadLn: string; overload;
        function ReadLn(out Data: string): Boolean; overload;
        property EOF: Boolean read FEOF;
        property HostStream: TStream read FHost;
        property Offset: Integer read FOffset write FOffset;
      end;

    { TTextStream }

    constructor TTextStream.Create(AHost: TStream);
    begin
      FHost := AHost;
      FillBuffer;
    end;

    destructor TTextStream.Destroy;
    begin
      FHost.Free;
      inherited Destroy;
    end;

    function TTextStream.FillBuffer: Boolean;
    begin
      FOffset := 0;
      FSize := FHost.Read(FBuffer,SizeOf(FBuffer));
      Result := FSize > 0;
      FEOF := Result;
    end;

    function TTextStream.ReadLn(out Data: string): Boolean;
    var
      Len, Start: Integer;
      EOLChar: Char;
    begin
      Data:='';
      Result:=False;
      repeat
        if FOffset>=FSize then
          if not FillBuffer then
            Exit; // no more data to read from stream -> exit
        Result:=True;
        Start:=FOffset;
        while (FOffset<FSize) and (not (FBuffer[FOffset] in [#13,#10])) do
          Inc(FOffset);
        Len:=FOffset-Start;
        if Len>0 then begin
          SetLength(Data,Length(Data)+Len);
          Move(FBuffer[Start],Data[Succ(Length(Data)-Len)],Len);
        end else
          Data:='';
      until FOffset<>FSize; // EOL char found
      EOLChar:=FBuffer[FOffset];
      Inc(FOffset);
      if (FOffset=FSize) then
        if not FillBuffer then
          Exit;
      if FBuffer[FOffset] in ([#13,#10]-[EOLChar]) then begin
        Inc(FOffset);
        if (FOffset=FSize) then
          FillBuffer;
      end;
    end;

    function TTextStream.ReadLn: string;
    begin
      ReadLn(Result);
    end;

用法：

procedure ReadFileByLine(Filename: string);
var
  sLine: string;
  tsFile: TTextStream;
begin
  tsFile := TTextStream.Create(TFileStream.Create(Filename, fmOpenRead or    fmShareDenyWrite));
  try
    while tsFile.ReadLn(sLine) do
    begin
      //sLine is your line
    end;
  finally
    tsFile.Free;
  end;
end;