Node.js 中 fs.createReadStream 与 fs.readFile 的优缺点是什么？

Question

我正在研究 Node.js，并发现了两种读取文件并将其发送到网络的方法，一旦我确定文件存在并使用 writeHead 发送了正确的 MIME 类型：

// read the entire file into memory and then spit it out

fs.readFile(filename, function(err, data){
  if (err) throw err;
  response.write(data, 'utf8');
  response.end();
});

// read and pass the file as a stream of chunks

fs.createReadStream(filename, {
  'flags': 'r',
  'encoding': 'binary',
  'mode': 0666,
  'bufferSize': 4 * 1024
}).addListener( "data", function(chunk) {
  response.write(chunk, 'binary');
}).addListener( "close",function() {
  response.end();
});

我是否正确假设 fs如果相关文件很大（例如视频），.createReadStream 可能会提供更好的用户体验？感觉它可能不那么块状；这是真的吗？还有其他我需要知道的优点、缺点、注意事项或陷阱吗？

Answer 1

如果您只是要将“data”连接到“write()”并将“close”连接到“end()”，则更好的方法是：

// 0.3.x style
fs.createReadStream(filename, {
  'bufferSize': 4 * 1024
}).pipe(response)

// 0.2.x style
sys.pump(fs.createReadStream(filename, {
  'bufferSize': 4 * 1024
}), response)

read.pipe(write) 或 sys.pump(read, write) 方法的优点是还可以添加流量控制。因此，如果写入流无法快速接受数据，它会告诉读取流后退，以最大限度地减少内存中缓冲的数据量。

flags:"r" 和 mode:0666 暗示它是一个 FileReadStream。 binary 编码已被弃用——如果未指定编码，它将仅适用于原始数据缓冲区。

此外，您还可以添加一些其他功能，使您的文件服务更加顺畅：

1. 嗅探 req.headers.range 并查看它是否与 /bytes=([0 -9]+)-([0-9]+)/。如果是这样，您只想从该开始位置流式传输到结束位置。 （缺少的数字表示 0 或“结束”。）
2. 将 stat() 调用中的 inode 和创建时间散列到 ETag 标头中。如果您收到的请求标头中包含与该标头匹配的“if-none-match”，请发回 304 Not Modified。
3. 根据 stat 对象上的 mtime 日期检查 if-modified-since 标头。 304 如果自提供的日期以来未进行修改。

另外，一般来说，如果可以的话，请发送 Content-Length 标头。 （你正在stat-ing该文件，所以你应该有这个。）

Answer 2

正如您所指出的，fs.readFile 会将整个文件加载到内存中，而 fs.createReadStream 将以您指定的大小块读取文件。

客户端还将使用 fs.createReadStream 开始更快地接收数据，因为数据在读取时以块的形式发送出去，而 fs.readFile 将读取整个文件然后才开始将其发送给客户端。这可能可以忽略不计，但如果文件很大并且磁盘速度很慢，则可能会产生影响。

但想一想，如果您在 100MB 文件上运行这两个函数，第一个函数将使用 100MB 内存来加载文件，而后者最多只使用 4KB。

编辑：我真的不明白你为什么要使用 fs.readFile 特别是因为你说你将打开大文件。

Answer 3

如果它是一个大文件，那么“readFile”会占用内存，因为它会缓冲内存中的所有文件内容，并可能会挂起您的系统。
而ReadStream则分块读取。

运行此代码并观察任务管理器性能选项卡中的内存使用情况。

 var fs = require('fs');

const file = fs.createWriteStream('./big_file');


for(let i=0; i<= 1000000000; i++) {
  file.write('Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.\n');
}

file.end();


//..............
fs.readFile('./big_file', (err, data) => {
  if (err) throw err;
  console.log("done !!");
});

事实上，你不会看到“完成！！”信息。
“readFile”将无法读取文件内容，因为缓冲区不够大，无法容纳文件内容。

现在，使用 readStream 代替“readFile”并监视内存使用情况。

注意：代码取自 Pluralsight 上的 Samer Buna Node 课程

Answer 4

另一个可能不太为人所知的事情是，我相信与 fs.createReadStream 相比，使用 fs.readFile 后 Node 更擅长清理未使用的内存。您应该对此进行测试以验证哪种效果最好。另外，我知道，随着 Node 的每一个新版本的出现，这一点都变得更好（即垃圾收集器在处理这些类型的情况时变得更加智能）。