通过 gzip/deflate 压缩轻松实现 HTTP 请求

Question

我试图找出如何轻松发送 HTTP/HTTPS 请求以及处理 gzip/deflate 压缩响应和 cookie 的最佳方法。

我发现最好的是 https://github.com/mikeal/request 它可以处理除压缩。是否有一个模块或方法可以完成我要求的一切？

如果没有，我可以以某种方式将 request 和 zlib 结合起来吗？我尝试将 zlib 和 http.ServerRequest 结合起来，但失败得很惨。

Answer 1

对于最近遇到这个问题的人来说，请求库现在支持开箱即用的 gzip 解压缩。使用方式如下：

request(
    { method: 'GET'
    , uri: 'http://www.google.com'
    , gzip: true
    }
  , function (error, response, body) {
      // body is the decompressed response body
      console.log('server encoded the data as: ' + (response.headers['content-encoding'] || 'identity'))
      console.log('the decoded data is: ' + body)
    }
  )

来自github自述文件https://github.com/request/request

gzip - 如果为 true，则添加 Accept-Encoding 标头以请求压缩
来自服务器的内容编码（如果尚未存在）并解码
响应中支持的内容编码。注：自动解码
响应内容的处理是对通过返回的主体数据执行的
请求（通过请求流并传递给回调
函数），但不在响应流上执行（可从
响应事件），这是未修改的 http.IncomingMessage
可能包含压缩数据的对象。请参阅下面的示例。

Answer 2

注意：从 2019 年开始，request 内置了 gzip 解压缩功能。您仍然可以使用以下方法手动解压缩请求。您

可以简单地将 request 和 zlib 结合起来代码> 与流。

下面是一个示例，假设您有一个服务器正在侦听端口 8000 ：

var request = require('request'), zlib = require('zlib');

var headers = {
    'Accept-Encoding': 'gzip'
};

request({url:'http://localhost:8000/', 'headers': headers})
    .pipe(zlib.createGunzip()) // unzip
    .pipe(process.stdout); // do whatever you want with the stream

Answer 3

这是一个压缩响应的工作示例

function gunzipJSON(response){

    var gunzip = zlib.createGunzip();
    var json = "";

    gunzip.on('data', function(data){
        json += data.toString();
    });

    gunzip.on('end', function(){
        parseJSON(json);
    });

    response.pipe(gunzip);
}

完整代码： https://gist.github.com/0xPr0xy/5002984< /a>

Answer 4

查看 http://nodejs.org/docs/v0 中的示例。 6.0/api/zlib.html#examples

zlib 现已内置到 Node 中。

Answer 5

查看 源代码 - 您必须设置 gzip 参数在请求库本身上，以便 gzip 工作。不确定这是有意还是无意，但这是当前的实现。不需要额外的标头。

var request = require('request');
request.gzip = true;
request({url: 'https://...'},  // use encoding:null for buffer instead of UTF8
    function(error, response, body) { ... }
);

Answer 6

这里的所有答案都不起作用，我取回了原始字节，并且 gzip 标志也不起作用。事实证明，您需要将编码设置为 null 以防止请求将响应转换为 utf-8 编码，而是保留二进制响应。

const request = require("request-promise-native");
const zlib = require("zlib");

const url = getURL("index.txt");
const dataByteBuffer = await request(url, { encoding: null });
const dataString = zlib.gunzipSync(response);