WebClient 禁止打开维基百科页面？

Question

这是我尝试运行的代码：

var wc = new WebClient();
var stream = wc.OpenRead(
             "http://en.wikipedia.org/wiki/List_of_communities_in_New_Brunswick");

但我不断收到 403 禁止错误。不明白为什么。对于其他页面来说效果很好。我可以在浏览器中正常打开该页面。我该如何解决这个问题？

Answer 1

我通常不会使用 OpenRead()，而是尝试使用 DownloadData() 或 DownloadString()。

另外，维基百科也可能故意阻止您的请求，因为您没有提供用户代理字符串：

WebClient client = new WebClient();
client.Headers.Add("user-agent", 
    "Mozilla/5.0 (Windows; Windows NT 5.1; rv:1.9.2.4) Gecko/20100611 Firefox/3.6.4");

我经常使用 WebClient，并且很快了解到，如果您不提供用户代理字符串，网站可以并且将会阻止您的请求与已知的网络浏览器匹配。另外，如果您编写自己的用户代理字符串（例如“我的超酷网络抓取工具”），您也将被阻止。

[编辑]

我将示例用户代理字符串更改为现代版本 Firefox 的用户代理字符串。我给出的原始示例是 IE6 的用户代理字符串，这不是一个好主意。为什么？某些网站可能会基于 IE6 执行过滤，并向使用该浏览器的任何人发送消息或发送到其他页面，提示“请更新您的浏览器” - 这意味着您将无法获得您想要的内容。