Apache httpclient 在加载之前返回页面？

Question

我在使用 apache httpclient 库时注意到一个奇怪的现象，我想知道为什么会发生它。我创建了一些示例代码来演示。 考虑以下代码：

//Example URL
 String url = "http://www.amazon.com/gp/offer-listing/05961580/ref=dp_olp_used?ie=UTF8";
 GetMethod get = new GetMethod(url);
 HttpMethodRetryHandler httpHandler = new DefaultHttpMethodRetryHandler(1, false);
 get.getParams().setParameter(HttpMethodParams.RETRY_HANDLER, httpHandler );
 get.getParams().setCookiePolicy(CookiePolicy.IGNORE_COOKIES);
 HttpConnectionManager connectionManager = new SimpleHttpConnectionManager();
 HttpClient client = new HttpClient( connectionManager );
 client.getParams().setParameter("http.useragent", FIREFOX );
 String line;
 StringBuilder stringBuilder = new StringBuilder();
 String toStreamBody = null;
 String toStringBody = null;
 try {
  int statusCode = client.executeMethod(get);
  if( statusCode != HttpStatus.SC_OK ){
   System.err.println("Internet Status: " + HttpStatus.getStatusText(statusCode) );
   System.err.println("While getting page: " + url );
  }
 //toString
  toStringBody = get.getResponseBodyAsString();
 //toStream
  InputStreamReader isr = new InputStreamReader(get.getResponseBodyAsStream())
  BufferedReader rd = new BufferedReader(isr);
  while ((line = rd.readLine()) != null) {
  stringBuilder.append(line);
  }
 } catch (java.io.IOException ex) {
  System.out.println( "Failed to get page: " + url);
 } finally {
  get.releaseConnection();
 }       
 toStreamBody = stringBuilder.toString();

该代码不打印任何内容：

 System.out.println(toStringBody); // ""

该代码打印网页：

 System.out.println(toStreamBody); // "Whole Page"

但它变得更奇怪...... 替换：

get.getResponseBodyAsString();

为：

 get.getResponseBodyAsString(150000);

现在我们得到错误： 无法获取页面：http://www.amazon.com/gp/offer-listing/0596158068/ref=dp_olp_used?ie=UTF8

除了亚马逊之外，我无法找到另一个复制此页面的网站行为，但我认为还有其他行为。

我知道根据 http://hc.apache.org/httpclient-3.x/performance.html 的文档不鼓励使用 getResponseBodyAsString()，它并不是说页面不会加载，只是说您可能面临内存不足异常的风险。 getResponseBodyAsString() 是否有可能在加载之前返回页面？为什么只有亚马逊才会出现这种情况？

Answer 1

您是否使用其他 URL 进行了测试？

您提供的代码中的 URL 使用 302 重定向到 http://www. amazon.com/dp/05961580/?tag=stackoverfl08-20，然后返回 404（未找到）。

HttpClient 不处理重定向： http://hc.apache.org/httpclient- 3.x/redirects.html