C# 如何检查 URL 是否存在/有效？

Question

我正在使用 Visual C# 2005 编写一个简单的程序，用于在 Yahoo! 上查找股票代码。 金融，下载历史数据，然后绘制指定股票代码的价格历史记录。

我知道获取数据所需的确切 URL，并且如果用户输入现有的股票代码（或至少包含雅虎财经上的数据），则它可以正常工作。 但是，如果用户编写了一个股票代码，那么我会遇到运行时错误，因为程序尝试从不存在的网页中提取数据。

我正在使用 WebClient 类，并使用 DownloadString 函数。 我查看了 WebClient 类的所有其他成员函数，但没有看到任何可以用来测试 URL 的内容。

我怎样才能做到这一点？

Answer 1

这是此解决方案的另一个实现：

using System.Net;

///
/// Checks the file exists or not.
///
/// The URL of the remote file.
/// True : If the file exits, False if file not exists
private bool RemoteFileExists(string url)
{
    try
    {
        //Creating the HttpWebRequest
        HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
        //Setting the Request method HEAD, you can also use GET too.
        request.Method = "HEAD";
        //Getting the Web Response.
        HttpWebResponse response = request.GetResponse() as HttpWebResponse;
        //Returns TRUE if the Status code == 200
        response.Close();
        return (response.StatusCode == HttpStatusCode.OK);
    }
    catch
    {
        //Any exception will returns false.
        return false;
    }
}

来自： http://www.dotnetthoughts.net/2009/10/14/how-to-check-remote-file-exists-using-c/

Answer 2

您可以发出 "HEAD" 请求，而不是 "得到”？
因此，要测试 URL 而无需下载内容：

// using MyClient from linked post
using(var client = new MyClient()) {
    client.HeadOnly = true;
    // fine, no content downloaded
    string s1 = client.DownloadString("http://google.com");
    // throws 404
    string s2 = client.DownloadString("http://google.com/silly");
}

您可以在 DownloadString 周围 try/catch 来检查错误； 没有错误？ 它存在...

---

使用 C# 2.0 (VS2005)：

private bool headOnly;
public bool HeadOnly {
    get {return headOnly;}
    set {headOnly = value;}
}

和

using(WebClient client = new MyClient())
{
    // code as before
}

Answer 3

这些解决方案非常好，但他们忘记了除了 200 OK 之外还可能有其他状态代码。 这是我在生产环境中用于状态监控等的解决方案。

如果目标页面上存在 url 重定向或其他条件，则使用此方法返回 true。 此外，GetResponse() 将引发异常，因此您将无法获得它的 StatusCode。 您需要捕获异常并检查 ProtocolError。

任何 400 或 500 状态代码都将返回 false。 其他所有都返回 true。
可以轻松修改此代码以满足您对特定状态代码的需求。

/// <summary>
/// This method will check a url to see that it does not return server or protocol errors
/// </summary>
/// <param name="url">The path to check</param>
/// <returns></returns>
public bool UrlIsValid(string url)
{
    try
    {
        HttpWebRequest request = HttpWebRequest.Create(url) as HttpWebRequest;
        request.Timeout = 5000; //set the timeout to 5 seconds to keep the user from waiting too long for the page to load
        request.Method = "HEAD"; //Get only the header information -- no need to download any content

        using (HttpWebResponse response = request.GetResponse() as HttpWebResponse)
        {
            int statusCode = (int)response.StatusCode;
            if (statusCode >= 100 && statusCode < 400) //Good requests
            {
                return true;
            }
            else if (statusCode >= 500 && statusCode <= 510) //Server Errors
            {
                //log.Warn(String.Format("The remote server has thrown an internal error. Url is not valid: {0}", url));
                Debug.WriteLine(String.Format("The remote server has thrown an internal error. Url is not valid: {0}", url));
                return false;
            }
        }
    }
    catch (WebException ex)
    {
        if (ex.Status == WebExceptionStatus.ProtocolError) //400 errors
        {
            return false;
        }
        else
        {
            log.Warn(String.Format("Unhandled status [{0}] returned for url: {1}", ex.Status, url), ex);
        }
    }
    catch (Exception ex)
    {
        log.Error(String.Format("Could not test url {0}.", url), ex);
    }
    return false;
}

Answer 4

很多答案都比 HttpClient 更旧（我认为它是在 Visual Studio 2013 中引入的）或者没有异步/等待功能，所以我决定发布我自己的解决方案：

private static async Task<bool> DoesUrlExists(String url)
{
    try
    {
        using (HttpClient client = new HttpClient())
        {
            //Do only Head request to avoid download full file
            var response = await client.SendAsync(new HttpRequestMessage(HttpMethod.Head, url));

            if (response.IsSuccessStatusCode) {
                //Url is available is we have a SuccessStatusCode
                return true;
            }
            return false;
        }                
    } catch {
            return false;
    }
}

我使用 HttpClient.SendAsync 和 < code>HttpMethod.Head 仅发出 head 请求，而不下载整个文件。 就像 David 和 Marc 已经说过的那样，不仅有 http 200 就可以了，所以我使用 IsSuccessStatusCode 来允许所有成功状态代码。

Answer 5

如果我正确理解你的问题，你可以使用这样的小方法来给你 URL 测试的结果：

WebRequest webRequest = WebRequest.Create(url);  
WebResponse webResponse;
try 
{
  webResponse = webRequest.GetResponse();
}
catch //If exception thrown then couldn't get response from address
{
  return 0;
} 
return 1;

你可以将上面的代码包装在一个方法中并使用它来执行验证。 我希望这能回答您所问的问题。

Answer 6

我一直发现异常的处理速度要慢得多。

也许强度较低的方法会产生更好、更快的结果？

public bool IsValidUri(Uri uri)
{

    using (HttpClient Client = new HttpClient())
    {

    HttpResponseMessage result = Client.GetAsync(uri).Result;
    HttpStatusCode StatusCode = result.StatusCode;

    switch (StatusCode)
    {

        case HttpStatusCode.Accepted:
            return true;
        case HttpStatusCode.OK:
            return true;
         default:
            return false;
        }
    }
}

然后只需使用：

IsValidUri(new Uri("http://www.google.com/censorship_algorithm"));

Answer 7

试试这个（确保您使用 System.Net）：

public bool checkWebsite(string URL) {
   try {
      WebClient wc = new WebClient();
      string HTMLSource = wc.DownloadString(URL);
      return true;
   }
   catch (Exception) {
      return false;
   }
}

当调用 checkWebsite() 函数时，它会尝试获取以下内容的源代码
传入其中的 URL。 如果获取到源代码，则返回 true。 如果不，
它返回 false。

代码示例：

//The checkWebsite command will return true:
bool websiteExists = this.checkWebsite("https://www.google.com");

//The checkWebsite command will return false:
bool websiteExists = this.checkWebsite("https://www.thisisnotarealwebsite.com/fakepage.html");

Answer 8

WebRequest request = WebRequest.Create("http://www.google.com");
try
{
     request.GetResponse();
}
catch //If exception thrown then couldn't get response from address
{
     MessageBox.Show("The URL is incorrect");`
}

Answer 9

这个解决方案似乎很容易遵循：

public static bool isValidURL(string url) {
    WebRequest webRequest = WebRequest.Create(url);
    WebResponse webResponse;
    try
    {
        webResponse = webRequest.GetResponse();
    }
    catch //If exception thrown then couldn't get response from address
    {
        return false ;
    }
    return true ;
}

Answer 10

这是另一个选择

public static bool UrlIsValid(string url)
{
    bool br = false;
    try {
        IPHostEntry ipHost = Dns.Resolve(url);
        br = true;
    }
    catch (SocketException se) {
        br = false;
    }
    return br;
}

Answer 11

许多其他答案都在使用 WebRequest，但它现在已经过时了。

这是一个具有最少代码并使用当前最新的类和方法的方法。

我还测试了其他投票最多的函数，这些函数可能会产生误报。
我使用这些 URL 进行了测试，这些 URL 指向 Visual Studio 社区安装程序 在此页面找到。

//Valid URL
https://aka.ms/vs/17/release/vs_community.exe

//Invalid URL, redirects. Produces false positive on other methods.
https://aka.ms/vs/14/release/vs_community.exe

using System.Net;
using System.Net.Http;

//HttpClient is not meant to be created and disposed frequently.
//Declare it staticly in the class to be reused.
static HttpClient client = new HttpClient();

/// <summary>
/// Checks if a remote file at the <paramref name="url"/> exists, and if access is not restricted.
/// </summary>
/// <param name="url">URL to a remote file.</param>
/// <returns>True if the file at the <paramref name="url"/> is able to be downloaded, false if the file does not exist, or if the file is restricted.</returns>
public static bool IsRemoteFileAvailable(string url)
{
    //Checking if URI is well formed is optional
    Uri uri = new Uri(url);
    if (!uri.IsWellFormedOriginalString())
        return false;

    try
    {
        using (HttpRequestMessage request = new HttpRequestMessage(HttpMethod.Head, uri))
        using (HttpResponseMessage response = client.Send(request))
        {
            return response.IsSuccessStatusCode  && response.Content.Headers.ContentLength > 0;
        }
    }
    catch
    {
        return false;
    }
}

请注意，这不适用于 .NET Framework，因为 HttpClient.Send 不存在。
要使其在 .NET Framework 上运行，您需要将 client.Send(request) 更改为 client.SendAsync(request).Result。

Answer 12

Web 服务器以 HTTP 状态代码进行响应，指示请求的结果，例如 200（有时 202）表示成功，404 - 未找到等（请参阅 此处）。 假设 URL 的服务器地址部分是正确的，并且您没有收到套接字超时，则异常很可能会告诉您 HTTP 状态代码不是 200。我建议检查异常的类并查看异常是否携带HTTP 状态代码。

IIRC - 有问题的调用抛出 WebException 或后代。 检查类名以查看是哪个类，并将调用包装在 try 块中以捕获条件。

Answer 13

我有一个更简单的方法来确定 url 是否有效。

if (Uri.IsWellFormedUriString(uriString, UriKind.RelativeOrAbsolute))
{
   //...
}

Answer 14

根据已经给出的示例，我想说，最好的做法是将响应包装在这样的使用中

    public bool IsValidUrl(string url)
    {
         try
         {
             var request = WebRequest.Create(url);
             request.Timeout = 5000;
             request.Method = "HEAD";

             using (var response = (HttpWebResponse)request.GetResponse())
             {
                response.Close();
                return response.StatusCode == HttpStatusCode.OK;
            }
        }
        catch (Exception exception)
        { 
            return false;
        }
   }