nodejs读/写二进制数据到/从文件中

Question

好吧，所以我有一个带有二进制数据的字符串（“ 111011 10001等”），我正在尝试将其保存到他们的文件中，然后使用流在另一个文件上读取它，问题是，流正在切割数据OFF（切断块中的最终二进制数）

这就是我将数据发送到文件的方式（读取文件，使用Golombrice Encoder编码并将其编码并将其存储在文件中，并使用数据块）

  const writer = fs.createWriteStream(
    `./encodedAndDecoded/encoded${filename}`,
    {
      encoding: "binary",
    }
  );
  const reader = fs.createReadStream(`./silesia/${filename}`, {
    encoding: "base64",
  });

  await new Promise((resolve, reject) => {
    reader.on("data", (chunk) => {
      writer.write(Buffer.from(golombRiceEncoding(chunk, 3)));
    });
    reader.on("end", () => {
      writer.end();
      resolve();
    });
  });

这就是我正在阅读的方式（读取编码的文件，用Golombrice编码解码并将其存储在文件中，使用大量数据，因此问题是块没有完整的二进制数据是因为流将其切开）

  const writer = fs.createWriteStream(`./encodedAndDecoded/decoded${filename}`);

  const reader = fs.createReadStream(`./encodedAndDecoded/encoded${filename}`, {
    encoding: "binary",
  });

  await new Promise((resolve, reject) => {
    reader.on("data", (chunk) => {
      writer.write(Buffer.from(golombRiceDecoding(chunk, 3), "base64"));
    });
    reader.on("end", () => {
      writer.end();
      resolve();
    });
  });

是否想知道是否有一种方法可以使其使用流读取数据，但没有削减二进制数字？我不介意一次读取X，问题是它剪切二进制数字，在解码时使数据无效。 谢谢

Answer 1

您试图解码的特定压缩方案看起来是一个变量字节方案。因此，如果块边界与变量字节的压缩大小并不完美，则您的减压库将失败。

要飞行地解码类似的内容，您必须将逻辑直接构建到解码器中，该解码器仅具有部分数据，然后缓冲将其与到达的下一个数据相结合的缓冲。由于压缩是可变字节的，因此您不知道在没有成为减压逻辑的一部分的情况下，适当的边界在哪里。

或者，您可以在拥有所有数据时立即放弃所有压缩数据的解码和缓冲，然后一次将其全部解压缩（那么您就没有任何块边界需要担心）。