使用 node.js 上的 knox 将八位字节流从请求流式传输到 S3

Question

我正在尝试使用 node.js 上的 knox 将八位字节流直接流式传输到 S3。 octet-stream 是从浏览器上传的 XHR 文件。我以为我可以将请求流式传输到 putStream 中，一切都会正常工作，但遗憾的是没有。

这是我的代码：

var client = knox.createClient({ 
           // AWS credentials here
         });
if (req.headers['content-type'].match(/application\/octet-stream/i)) {

  var filename = '/'+req.headers['x-file-name'];

  client.putStream(req, filename, function(err, res){
    // TODO: Catch errors
    body = '{"success":"true"}'
    res.writeHead(200, 
      { 'Content-Type':'text/html'
      , 'Content-Length':body.length
      })
    res.end(body)
  });

}

以及我收到的错误：

TypeError: Bad argument
    at Object.stat (fs.js:354:11)
    at Client.putStream (./lib/knox/client.js:181:6)

Answer 1

我正在做这样的事情：

app.post('/uploadAmazon', function(req, res) {  
var params = req.query;

var request = client.request("PUT", '/' + req.header('x-file-name') + '?partNumber=' + params.partNumber 
        + '&uploadId=' + params.uploadId, {
    'Content-Length' : req.header('Content-Length')
} );

req.on('data', function(data){
    request.write(data);
});


request.on('response', function(response) {
    console.log('Partial ' + params.partNumber + ' statusCode: ' + response.statusCode);
    if (response.statusCode== 200) {
        uploadMap[params.id].currentSize++;
        uploadMap[params.id].completeXmlArray[+(params.partNumber) - 1] = '<Part><PartNumber>' + params.partNumber + '</PartNumber><ETag>' + response.headers.etag + '</ETag></Part>' ; 

        if (uploadMap[params.id].currentSize == uploadMap[params.id].totalSize) {
            uploadMap[params.id].uploadId = params.uploadId;
            completeSend(uploadMap[params.id]);
        }
    }
}).end();

res.end();

});

假设我从帖子中收到文件名、部件号和 uploadId。

Answer 2

我相信 client.putStream 接受 4 个参数，如下所示：

client.putStream(stream, filepath, {
  'Content-Length': file.length,
  'Content-Type': 'application/octet-stream',
  'x-amz-acl': 'private'
}, function(err, res) {
  ...
});

Answer 3

如果您使用的 Node.js 版本早于 0.4.5，请升级。

查看 util 模块 并使用 util.pump 复制文件输入流到输出流。如果必须先下载文件，只需使用文件中的 ReadStream 作为输入流。

另外，请查看 util.pump 的 Javascript 代码 因为我怀疑你还没有完全掌握异步 I/O 在 Node.js 中的工作原理。