读取json文件，require和fs.readFile哪个性能更好？

Question

需求：想监听一个json文件的变化，需要知道其变更前后的数据差异。

思路：使用chokidar监听json文件，在add和change事件回调中通过require或fs.readFile获取到文件数据。

问题：该json文件数据较大，存放的着几百万条文件的数据，每条数据约200字节。总大小1G多。不知道能否通过require读取这么大的文件，读取效率相比fs.readFile如何。

Answer 1

尝试造数据模拟跑了10+，得出下列对比数据，从统计数据上看有2个结论：

1、require读取JSON文件 相当于 fs.readFileSync + JSON.parse，明显在这题里，require方案不用考虑

2、如果只是读取文本数据，fs.readFile 要比 fs.createReadStream 快得多，但是如果要转成数据的话，反而是 fs.createReadStream 快的多且稳定，数据量越大越明显。

700w条数据，134M	fs.readFileSync	fs.readFile	fs.createReadStream	require + 删缓存
读取文本数据	294ms	294ms	1220ms	-
读取JSON对象数据（文本再转对象）	27200ms	27200ms	16000ms	27000ms

1000w条数据，495M	fs.readFile	fs.createReadStream
读取文本数据	422ms	1690ms
读取JSON对象数据（文本再转对象）	47571ms	28016ms

Answer 2

以stream的形式读文件指定位置，这样不用读取全部

Answer 3

1G多的json文件太大了,不应该直接读到内存.
另外, require 是会有缓存的, 如果要手动删除 require 缓存, 再重新引入, 又比较复杂..
所以还是用读取部分, 然后对比的方式比较好.

Answer 4

@星空 问个小点，文本转数据是读取完成再转的么