逐行处理和更新大文件

Question

所以我正在处理一个 200 mb 的 txt 文件，我必须读取文件中的每一行更新一两列，然后保存相同的内容。实现同样目标的最佳方法是什么？

我正在考虑加载到数据表中，但是在内存中保存这么大的文件是一个很大的痛苦。

我意识到我应该分批进行，但是实现相同目标的最佳方法是什么？

我不认为我想首先加载到 dB，因为无论如何我都无法进行批量更新。我也必须在那里逐行阅读。

就像更新一样，我的文件基本上具有任何顺序的列，并且我需要始终更新两列或更多列。

谢谢。

Answer 1

读取一行，解析它，并将字段写入临时文件。完成所有行后，删除原始文件并重命名临时文件。

Answer 2

要添加蚂蚁所说的内容...

您有选择...

• 逐行：

  <块引用>

  StreamReader fileStream = new StreamReader( sourceFileName );
  StreamWriter ansiWriter = new StreamWriter( 目标文件名,  
    假，Encoding.GetEncoding（20127））；  
  字符串文件内容；  
  while ( ( fileContent = fileStream.ReadLine() ) != null )  
  {  
      YourReplaceMethod( 文件内容 );  
      ansiWriter.WriteLine( 文件内容 );  
  }
  文件流.关闭();  
  ansiWriter.Close();  
  

  ：

• 批量（今天的盒子应该能够处理 200MB，不会出现问题）：

  <块引用>

  byte[] bytes = File.ReadAllBytes( sourceFileName );
  byte[] writeMeBytes = YourReplaceMethod( bytes );
  File.WriteAllBytes( 目标文件名, writeMeBytes );