如何处理下载流

Question

我需要从安全链接下载 xml 文件，并将内容存储到数据库中。

我可以使用文本阅读器吗？？？或者我需要先将文件存储到本地文件系统中，然后从文件系统中读取内容并存储到数据库中？

HttpWebRequest downloadRequest = (HttpWebRequest)WebRequest.Create("https://line-to-xml-file.xml");
string Content;

                downloadRequest.Credentials = new NetworkCredential()
                                              {
                                                  UserName = this._userCredentials.UserName,
                                                  Password = this._userCredentials.Password
                                              };

                downloadRequest.PreAuthenticate = true;

                using (HttpWebResponse downloadHTTPResponse = (HttpWebResponse)downloadRequest.GetResponse())
                {
                    using (Stream downloadResponseStream = downloadHTTPResponse.GetResponseStream())
                    using (TextReader tReader = new StreamReader(downloadResponseStream))
                    {
                        Content = tReader.ReadToEnd();
                    }
                }
              return Content;

由于远程文件很大，高达 100MB，因此我在调试中看不到任何内容。 当我尝试保存它时。

using (TransactionScope trans = new TransactionScope()) <--- when comes to this line, exception throws...
{
// perform update, save the content into databse
// send a notification message to message bus, indicate content has been updated
}

它抱怨 MSDTC 事务超时/取消

Answer 1

通过将其放入流中，您应该没问题...如果您对该特定流有任何问题，那么您可以使用 MemoryStream 而不是 FileStream 并以相同的方式使用它。但我毫不怀疑这就是你的情况。

我认为您还应该确保在保存流之前以及完全加载流后打开连接...您还可以使用您的 Command.TimeOut 属性，如果保存时间非常非常长，此处“值为 0表示没有限制”，但应该避免这种情况。
但

Answer 2

有一个 XmlReader，但如果 Xml 已经存在格式良好，您不需要解析它，因为您的数据库只是将其视为 blob，或者数据库引擎将解析它，您可以使用任何内容。

取决于您的数据库架构。

听起来数据库在插入时遇到问题，但需要更多信息。

Answer 3

100MB 的文本对于塞进表格来说是很大的。你的陈述几乎肯定已经超时了。检查您的上下文和 SQL 命令对象（如果有）并增加超时值。

Answer 4

您可能会设置更长的超时时间来解决超时问题，并且确保调用Complete函数

using (TransactionScope trans = new TransactionScope(
        TransactionScopeOption.Required, new TimeSpan(1, 4, 3))) // Sets time out to 1 hour 4 minutes and 3 seconds
{
  // perform update, save the content into databse
  // send a notification message to message bus, indicate content has been updated

  trans.Complete();
}

来读取文件，您可以使用WebClient。 WebClient 允许您监控进度。

    WebClient wc = new WebClient();
    wc.Credentials = new NetworkCredential()
    {
        UserName = this._userCredentials.UserName,
        Password = this._userCredentials.Password
    };

    wc.DownloadProgressChanged += new DownloadProgressChangedEventHandler(wc_DownloadProgressChanged);
    wc.DownloadFile("https://line-to-xml-file.xml", "C:\\local.xml");

如果需要，处理程序可以记录进度：

    void wc_DownloadProgressChanged(object sender, DownloadProgressChangedEventArgs e)
    {
        // Log or show the current progress (e.ProgressPercentage or e.BytesReceived)
    }

如果您希望直接使用字符串而不需要再次读取文件，则可以使用 DownloadString 而不是 Download file。

    wc.DownloadString("https://line-to-xml-file.xml");

Answer 5

如何使用 WebClient 及其下载文件方法。只需保存在本地，使用即可，用完后删除。