创建一个 http 代理，可以在将 http 响应发送到客户端之前对其进行修改

Question

我正在使用 wget 从网络上抓取一些内容，但我不想关注页面的一部分。我想我可以设置一个代理，在将网页返回到 wget 之前删除我不想处理的部分，但我不确定如何实现这一点。

有没有一个代理可以让我轻松修改 python 或 node.js 中的 http 响应？

Answer 1

有多种方法可以实现这一目标。这应该可以帮助您开始（使用node.js）。在下面的示例中，我将获取 google.com 并将“google”的所有实例替换为“foobar”。

// package.json file...
{
  "name": "proxy-example",
  "description": "a simple example of modifying response using a proxy",
  "version": "0.0.1",
  "dependencies": {
    "request": "1.9.5"
  }
}

// server.js file...
var http = require("http")
var request = require("request")
var port = process.env.PORT || 8001

http.createServer(function(req, rsp){
  var options = { uri: "http://google.com" }

  request(options, function(err, response, body){
    rsp.writeHead(200)
    rsp.end(body.replace(/google/g, "foobar"))
  })

}).listen(port)

console.log("listening on port " + port)

Answer 2

在nodejs中，我会分叉 node-http-proxy 并根据我的需要自定义代码。

恕我直言，比从头开始编写 http 代理要简单得多。