如何获取网页内容并将其保存到字符串变量中

Question

如何使用 ASP.NET 获取网页内容？我需要编写一个程序来获取网页的 HTML 并将其存储到字符串变量中。

Answer 1

您可以使用 网络客户端

Using System.Net;

using(WebClient client = new WebClient()) {
    string downloadString = client.DownloadString("http://www.gooogle.com");
}

Answer 2

我之前遇到过 Webclient.Downloadstring 的问题。如果你这样做，你可以尝试这个：

WebRequest request = WebRequest.Create("http://www.google.com");
WebResponse response = request.GetResponse();
Stream data = response.GetResponseStream();
string html = String.Empty;
using (StreamReader sr = new StreamReader(data))
{
    html = sr.ReadToEnd();
}

Answer 3

我建议不要使用WebClient.DownloadString。这是因为（至少在 .NET 3.5 中）DownloadString 不够智能，无法使用/删除 BOM（如果存在）。这可能会导致 BOM (< code>) 在返回 UTF-8 数据时错误地显示为字符串的一部分（至少没有字符集） - 糟糕！

相反，这种细微的变化将在 BOM 中正常工作：

string ReadTextFromUrl(string url) {
    // WebClient is still convenient
    // Assume UTF8, but detect BOM - could also honor response charset I suppose
    using (var client = new WebClient())
    using (var stream = client.OpenRead(url))
    using (var textReader = new StreamReader(stream, Encoding.UTF8, true)) {
        return textReader.ReadToEnd();
    }
}

Answer 4

Webclient client = new Webclient();
string content = client.DownloadString(url);

传递你想要获取的页面的URL。您可以使用 htmlagilitypack 解析结果。

Answer 5

我一直在使用 WebClient，但在发表这篇文章时（.NET 6 可用），WebClient 已被弃用。

首选方式是

HttpClient client = new HttpClient();
string content = await client.GetStringAsync(url);