如何使用node.js、Express 和 knox 将文件从浏览器上传到 Amazon S3？

Question

我试图找到一些使用node.js、Express 和knox 的示例代码。

Knox 的文档仅给出了如何上传已存储在文件系统中的文件的清晰示例。 https://github.com/learnboost/knox#readme

此外，还有许多简单的教程（甚至在 Express 本身）如何直接上传文件到 Express 并保存到文件系统。

我找不到一个示例，它允许您将客户端上传到节点服务器，并将数据直接传输到 S3，而不是首先存储在本地文件系统中。

有人可以向我指出包含此类信息的要点或其他示例吗？

Answer 1

之前的所有答案都涉及通过 Node.js 服务器进行上传，这是低效且不必要的。您的节点服务器不必处理带宽或上传文件的处理，因为 Amazon S3 允许直接从浏览器上传。

看一下这篇博文：http://blog.tcs。 de/post-file-to-s3-using-node/

我还没有尝试过那里列出的代码，但查看过它后，它看起来很可靠，我将很快尝试实现它，广告将更新此用我的发现来回答。

Answer 2

下面是一个直接流式传输到 s3 的示例，无需接触硬盘驱动器，使用 multiparty 和 < a href="https://github.com/LearnBoost/knox" rel="nofollow">knox：

var http = require('http')
  , util = require('util')
  , multiparty = require('multiparty')
  , knox = require('knox')
  , Batch = require('batch')
  , PORT = process.env.PORT || 27372

var s3Client = knox.createClient({
  secure: false,
  key: process.env.S3_KEY,
  secret: process.env.S3_SECRET,
  bucket: process.env.S3_BUCKET,
});

var Writable = require('readable-stream').Writable;
util.inherits(ByteCounter, Writable);
function ByteCounter(options) {
  Writable.call(this, options);
  this.bytes = 0;
}

ByteCounter.prototype._write = function(chunk, encoding, cb) {
  this.bytes += chunk.length;
  cb();
};

var server = http.createServer(function(req, res) {
  if (req.url === '/') {
    res.writeHead(200, {'content-type': 'text/html'});
    res.end(
      '<form action="/upload" enctype="multipart/form-data" method="post">'+
      '<input type="text" name="path"><br>'+
      '<input type="file" name="upload"><br>'+
      '<input type="submit" value="Upload">'+
      '</form>'
    );
  } else if (req.url === '/upload') {
    var headers = {
      'x-amz-acl': 'public-read',
    };
    var form = new multiparty.Form();
    var batch = new Batch();
    batch.push(function(cb) {
      form.on('field', function(name, value) {
        if (name === 'path') {
          var destPath = value;
          if (destPath[0] !== '/') destPath = '/' + destPath;
          cb(null, destPath);
        }
      });
    });
    batch.push(function(cb) {
      form.on('part', function(part) {
        if (! part.filename) return;
        cb(null, part);
      });
    });
    batch.end(function(err, results) {
      if (err) throw err;
      form.removeListener('close', onEnd);
      var destPath = results[0]
        , part = results[1];

      var counter = new ByteCounter();
      part.pipe(counter); // need this until knox upgrades to streams2
      headers['Content-Length'] = part.byteCount;
      s3Client.putStream(part, destPath, headers, function(err, s3Response) {
        if (err) throw err;
        res.statusCode = s3Response.statusCode;
        s3Response.pipe(res);
        console.log("https://s3.amazonaws.com/" + process.env.S3_BUCKET + destPath);
      });
      part.on('end', function() {
        console.log("part end");
        console.log("size", counter.bytes);
      });
    });
    form.on('close', onEnd);
    form.parse(req);

  } else {
    res.writeHead(404, {'content-type': 'text/plain'});
    res.end('404');
  }

  function onEnd() {
    throw new Error("no uploaded file");
  }
});
server.listen(PORT, function() {
  console.info('listening on http://0.0.0.0:'+PORT+'/');
});

示例取自 https://github.com/superjoe30/node-multiparty/blob/master /examples/s3.js

Answer 3

Node/Express 代码不适用于 NodeJS v0.4.7

这里是 NodeJS v0.4.7 的更新代码

app.post('/upload', function (req, res) {
  // connect-form additions
  req.form.complete(function (err, fields, files) {
    // here lies your uploaded file:
    var path = files['upload-file']['path'];
    // do knox stuff here
  });
});

Answer 4

* 更新*

自 2009 年中期起，亚马逊支持 CORS，不再需要通过 Node.js 服务器上传。您可以直接将文件上传到S3。

---

在“connect-form”模块的帮助下，您可以将文件上传到您的服务器（通过正常的多部分表单），然后处理 S3 的内容...

<form action="/upload" method="POST" id="addContentForm" enctype="multipart/form-data">
  <p><label for="media">File<br/><input type="file" name="media" /></label></p>
  <p><button type="submit">upload</button></p>
</form>

节点/快速代码：

app.post('/upload', function (req, res) {
  // connect-form additions
  req.form.complete(function (err, fields, files) {
    // here lies your uploaded file:
    var path = files['media']['path'];
    // do knox stuff here
  });
});

您必须将以下行添加到应用程序配置：

app.configure(function(){
  // rest of the config stuff ...
  app.use(form({ keepExtensions: true }));
  // ...
});

Answer 5

connect-stream-s3 库可以将所有表单文件作为中间件的一部分上传到 S3，因此您无需自己执行任何逻辑。目前它需要express.bodyParser()才能工作，但我正在开发一个版本，该版本可以在将文件写入磁盘之前将其直接流式传输到Amazon S3：

• https://github.com/appsattic/connect-stream-s3

请让我知道您的进展如何。希望一旦您进入页面处理程序，这比您自己做的麻烦要少得多。 :)

Answer 6

我这样做是为了直接从 Jquery 文件上传插件上传到 S3，文件是公开的 - 它应该为您指明正确的方向。

https://gist.github.com/3995819