在生产计算机 ASP.Net 上使用 FtpWebRequest 从 ftp 服务器流式传输和保存文件时的不同行为

Question

对此可能有一些非常简单的答案，但我真的坚持这个问题。

我编写了一些代码，通过 ftp 获取相当大（4GB+）的 xml 文件，将其作为字符串读取，并将文档分割成更小的部分。最后较小的文件被写入光盘。

在我的开发机器上一切都运行得很好，但是当投入生产时，脚本在只读完文件的十分之一后突然结束。不会引发任何异常。每行代码都按预期执行。它在浏览整个文件之前就结束了。这让我认为是某些 IIS 或 web.config 设置需要被篡改。

代码作为自定义用户控件在 Umbraco CMS 内运行。服务器是运行 IIS 的 2008 Windows 计算机。

有什么想法吗？这是代码：

FtpWebRequest request = (FtpWebRequest)WebRequest.Create(serverUri);
    request.Credentials = new NetworkCredential("anonymous", "[email protected]");
    request.Method = WebRequestMethods.Ftp.DownloadFile;
    request.Timeout = -1;
    request.KeepAlive = true;
    request.UsePassive = true;
    request.UseBinary = true;
    using (response = (FtpWebResponse)request.GetResponse())
    using (responseStream = response.GetResponseStream())
    using (StreamReader sr = new StreamReader(responseStream))
    {
      ReadStreamIntoNewRecord(fileName, sr, ref progress, ref result);
    }

ReadStreamIntoNewRecord 函数如下所示：

private void ReadStreamIntoNewRecord(string fileName, StreamReader sr, int NumberOfRecordsPerBatch)
{
    string line = "";
    string record = "";
    int i = 0;  
    XDocument xdoc = new XDocument(new XElement("collection"));
    while (sr.Peek() >= 0)
    {
        line = sr.ReadLine();
        if (line.Contains("</record>"))
        {
            xdoc.Element("collection").Add(MakeRecordFromString(record + line));
            record = "";
            i++;
            if (i % NumberOfRecordsPerBatch == 0)
            {
                SaveRecordToFile(fileName, xdoc);
                xdoc = new XDocument(new XElement("collection"));
            }
        }
        else
        {
            record = record + line;
        }

    }
    SaveRecordToFile(fileName, xdoc);            
}

Answer 1

哇，将 4GB 文件加载到内存中的字符串中是一个可怕的想法。如果磁盘上的 UTF-8 大小为 4GB，那么内存中的大小将为 8GB，因为所有 .NE 字符串在内存中均为 UTF-16。幸运的是，您并没有真正这样做，您只是说您在描述中。

我相信你应该稍微改变一下 while 循环。正如所写的，当确实有更多数据进入时，它可以检测到流的不正确结束。使用它：除此之外

while ((line = sr.ReadLine()) != null)
{
    ...
}

，您最好使用简单的 StreamWriter 或 XmlTextWriter 来保存文件而不是 XDocument。 XDocument 将整个文件保留在内存中，旨在更轻松地使用 Linq-to-Xml 进行遍历。您不使用它，并且可以从更轻的重量级别中受益。