System.Net.WebClient 请求收到 403 Forbidden，但浏览器在 Apache 服务器上却没有

Question

奇怪的是，我正在尝试阅读 部分。许多不同网站的部分，以及一种特定类型的服务器 Apache，有时会给出代码 403 禁止。并非所有 apache 服务器都这样做，因此它可能是配置设置或服务器的特定版本。

然后，当我使用网络浏览器（例如 Firefox）检查 url 时，页面加载正常。代码看起来像这样：

var client = new WebClient();
var stream = client.OpenRead(new Uri("http://en.wikipedia.org/wiki/Barack_Obama"));

通常，403 是访问权限失败之类的事情，但这些通常是不安全的页面。我认为 Apache 正在过滤请求标头中的某些内容，因为我不想创建任何内容。

也许对 Apache 有更多了解的人可以给我一些关于标头中缺少的内容的想法。我希望标头尽可能小，以最大限度地减少带宽。

谢谢

Answer 1

尝试设置 UserAgent 标头：

string _UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";
client.Headers.Add(HttpRequestHeader.UserAgent, _UserAgent);

Answer 2

我遇到了类似的问题，下面的设置解决了它

Client.Headers["Accept"] = "application/x-ms-application, image/jpeg, application/xaml+xml, image/gif, image/pjpeg, application/x-ms-xbap, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*";
Client.Headers["User-Agent"] ="Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MDDC)";

Answer 3

正如“thedugas”所说，这可能是 UserAgent 标头的问题，或者实际上是浏览器默认配置要做的任何事情。例如，可能是未使用浏览器正在使用的代理服务器，或者未使用代理服务器的正确凭据。这些事情可能已经配置到浏览器中，因此您不知道需要完成它们。

Answer 4

我有同样的问题，答案并不明显。我找到了嗅探网络通信的解决方案。当 Apache 给出“Testing 1 2 3...”页面时，它会返回一个带有 403 禁止代码的 html。浏览器忽略获取代码并显示页面，但 de WebClient 返回错误消息。解决方案是读取 Try 语句的 Catch 内的响应。这是我的代码：

            Dim Retorno As String = ""
            Dim Client As New SiteWebClient
            Client.Headers.Add("User-Agent", "Mozilla/ 5.0(Windows NT 10.0; Win64; x64) AppleWebKit/537.36 " &
                               "(KHTML, Like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134")
            Client.Headers.Add("Accept-Language", "pt-BR, pt;q=0.5")
            Client.Headers.Add("Accept", "Text/ html, application / xhtml + Xml, application / Xml;q=0.9,*/*;q=0.8")
            Try
                Retorno = Client.DownloadString("http://" & HostName & SitePath)
            Catch ex As Exception
                If ex.GetType = GetType(System.Net.WebException) Then
                    Try
                        Dim Exception As System.Net.WebException = ex
                        Dim Resposta As System.Net.HttpWebResponse = Exception.Response
                        Using WebStream As New StreamReader(Resposta.GetResponseStream(), System.Text.Encoding.GetEncoding("utf-8"))
                            Retorno = WebStream.ReadToEnd
                        End Using
                    Catch ex1 As Exception

                    End Try
                End If
            End Try

在 Try 语句之后，Retorno 将包含来自服务器的 HTML 响应，无论服务器返回什么错误代码。

标头对此行为没有影响。