使用HttpClient抓取网页，返回状态400此错误是什么原因?

Question

使用HttpClient抓取网页，有些网站能够正常返回 ，有的却返回不了，发现状态是400。不知道有人遇到过没有?

Answer 1

我用的版本是最新的4.2.3，百度了一下怎么设置Header发现几乎都是3.x版本的。看了官方文档，在请求的时候设置Header的方法是

httpClient.addRequestInterceptor(new HttpRequestInterceptor() {

            @Override
            public void process(HttpRequest request, HttpContext context)
                    throws HttpException, IOException {
                    request.addHeader("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)");
            }
});

Answer 2

貌似没用。代码中，我是这样设置 UserAgent的：
request.addHeader("User-Agent","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)");

但网页上得到后，显示user-agent:Apache-HttpClient/4.2.3 (java 1.5)

Answer 3

再模拟一下相应的
userAgent数据吧，还有来源这些，劲量的模拟完全

Answer 4

不好意思。我的问题是在Java中，用的Apache HttpComponents

Answer 5

有些网站会验证
userAgent信息。你用HttpWebRequest(C#)就行了