压缩浮点数据

Question

是否有任何无损压缩方法可以应用于浮点时间序列数据，并且会显着优于将数据作为二进制写入文件并通过 gzip 运行它？

降低精度可能是可以接受的，但它必须以受控方式发生（即我必须能够设置必须保留多少位数字的界限）

我正在处理一些大型数据文件，这些文件是一系列相关的双精度数s，描述时间的函数（即值是相关的）。我通常不需要完整的双精度，但我可能需要的不仅仅是float。

由于有专门的图像/音频无损方法，我想知道是否有专门针对这种情况的方法。

澄清：我正在寻找现有的实用工具，而不是描述如何实现此类内容的论文。速度与 gzip 相当的东西将是非常好的。

Answer 1

如果您想创建自己的简单算法，这里有一些想法：

• 使用当前值与前一个值的异或以获得一组描述差异的位。
• 将此差异分为两部分：一部分是“尾数位”，一部分是“指数位”。
• 使用可变长度编码（每个值不同的位数/字节数）或您选择的任何压缩方法来保存这些差异。您可以对尾数和指数使用单独的流，因为尾数有更多的位需要压缩。
• 如果您在两个不同的时间价值流源之间交替，这可能效果不佳。因此，您可能必须将每个源压缩到单独的流或块中。
• 要失去精度，您可以从尾数中删除最低有效位或字节，同时保持指数不变。

Answer 2

您可能想查看以下资源：

• 预测浮点值的无损压缩
• 论文 < a href="http://cs.txstate.edu/~mb92/">马丁·伯彻：FPC 双精度浮点压缩
  算法及其实现、科学浮点数据的快速无损压缩和双精度高吞吐量压缩
  浮点数据

您可能还想尝试 Logluv 压缩的 TIFF 为此，我想我还没有我自己用过它们。

Answer 3

HDF5 人们使用的一种技术是“混洗”，即将 N 个浮点值的每个字节分组在一起。这更有可能为您提供重复的字节序列，这些字节序列可以通过 gzip 更好地压缩，例如< /a>.

我发现的第二种方法可以大大减少压缩 gzip 数据的大小，首先将数据转换为 float16（半精度）格式并再次返回到 float32。这会在输出流中产生大量零，从而在压缩后将文件大小缩小约 40-60%。一个微妙之处是最大 float16 值相当低，因此您可能需要首先缩放数据，例如在 python 中。

import numpy as np
import math

input = np.array(...)

# format can only hold 65504 maximum, so we scale input data
log2max = int(math.log(np.nanmax(input), 2))
scale = 2**(log2max - 14)
scaled = input * (1./scale)

# do the conversion to float16
temp_float16 = np.array(scaled, dtype=np.float16)
# convert back again and rescale
output = np.array(temp_float16, dtype=np.float32) * scale

一些测试表明，某些数据的输入和输出之间的平均绝对分数差约为 0.00019，最大值为 0.00048。这与尾数的2**11精度一致。

Answer 4

由于您声明需要介于“float”和“double”之间的精度：您可以将单精度和双精度浮点数中任意数量的最低有效位清零。 IEEE-754 浮点数字的二进制表示方式大致类似于 seeeffffffffff，它表示值

符号*1.fffffff*2^(eee)。

您可以将最低有效分数 (f) 位清零。对于单精度（32 位）浮点数，有 23 个小数位，您可以将其中最多 22 个清零。对于双精度（64 位），它是 52 个，最多 51 个。（如果将所有位清零） ，那么特殊值 NaN 和 +/-inf 将丢失）。

特别是如果数据表示十进制值，例如 1.2345，这将有助于数据压缩。这是因为1.2345不能精确地表示为二进制浮点值，而是表示为0x3ff3c083126e978d，这对数据压缩不友好。砍掉最低有效 24 位将得到 0x3ff3c08312000000，它仍然精确到大约 9 位十进制数字（在本例中，差异为 1.6e-9）。

如果您对原始数据执行此操作，然后存储后续数字之间的差异，如果原始数据变化缓慢，则压缩（通过 gzip）会更加友好。

下面是 C 中的一个示例：

#include <inttypes.h>

double double_trunc(double x, int zerobits)
{
  // mask is e.g. 0xffffffffffff0000 for zerobits==16
  uint64_t mask = -(1LL << zerobits);  
  uint64_t floatbits = (*((uint64_t*)(&x)));
  floatbits &= mask;
  x = * ((double*) (&floatbits));
  return x;
}

以及 python/numpy 中的一个示例：

import numpy as np

def float_trunc(a, zerobits):
    """Set the least significant <zerobits> bits to zero in a numpy float32 or float64 array.
    Do this in-place. Also return the updated array.
    Maximum values of 'nzero': 51 for float64; 22 for float32.
    """

at = a.dtype
assert at == np.float64 or at == np.float32 or at == np.complex128 or at == np.complex64
if at == np.float64 or at == np.complex128:
    assert nzero <= 51
    mask = 0xffffffffffffffff - (1 << nzero) + 1
    bits = a.view(np.uint64)
    bits &= mask
elif at == np.float32 or at == np.complex64:
    assert nzero <= 22
    mask = 0xffffffff - (1 << nzero) + 1
    bits = a.view(np.uint32)
    bits &= mask

return a

Answer 5

由于您要求使用现有工具，也许 zfp 可以解决问题。

Answer 6

可用于浮点压缩的可能方法：

• 浮点转置 4xN，双精度转置 8xN + lz77
  实现：TurboTranspose 中的浮点压缩
  另请参见误差有界有损压缩

• 预测器（例如有限上下文方法）+编码（例如“整数压缩”）。
  实现：TurboPFor 中的浮点压缩

• 如果可能，将所有浮点数转换为整数（例如. 1.63 -> 163),
  然后使用整数压缩
  实现：整数压缩

您可以使用 icapp 适用于 Linux 和 Windows 的工具。

Answer 7

您可以使用霍尔特指数平滑算法（这是基于预测的压缩算法）。最初为数据分配一些权重并预测下一个值。如果两个数据相同，则通过执行 XOR 运算在 MSB 中产生许多零

Answer 8

TL；博士
尝试ALP：https://github.com/cwida/ALP ( C++）。目前 DuckDB 中默认使用的无损浮点压缩开源算法来压缩 float/double。总体压缩比最高，速度快得惊人。

详细答案：

近年来，出现了一系列针对浮点数据的新无损编码，这些编码在本线程中没有提及，并且已经被证明比 FPC、zfp、 fpzip（在另一个答案中提到）和任何基于预测的方法或其他方法。

我将简要总结这些并链接可供使用的实现。

基于 XOR 的方法：通过与序列中的先前值（无预测变量）进行按位 XOR 进行压缩。目前此类中最好的两个是：

• Chimp128：https://github.com/ panagiotisl/chimp (Java)
• Elf: https://github.com/Spatio-Temporal-Lab/elf (Java)（通过权衡压缩速度获得更多压缩比）
• Gorilla 是最著名的之一XORing 方法，但它已被证明不如 Chimp128。 Python 和 Java。

基于异或的方法有一些缺点。例如，它们无法压缩高精度数据。此外，尽管比预测方案更快，但它们的按值解压缩情况（分支代码）和数据依赖性（无法 SIMD 化）使它们无法真正快速。

ALP：https://github.com/cwida/ALP (C++ ）。通过无损地将双精度转换为整数表示形式进行压缩（从视觉上看，您可以将其视为移动逗号，直到不再有小数），然后使用参考框架对这些整数进行编码。这只适用于一定的精度。如果浮点数是高精度的（例如ML参数），则方案会更改为使用字典编码来压缩前位。 ALP 的解码速度非常快（数量级；甚至比读取未压缩数据还要快），同时实现了比所有其他算法更高的压缩比。

其他替代方案：Zstd (https://github.com/facebook/zstd) 在浮点数据上效果很好。然而，压缩和解压缩（相对）较慢。此外，解压缩必须在相对较大的值块中完成（如果您只想读取数据的几个值，这很糟糕）。

免责声明：我是 ALP 的创建者之一。我们做了一项研究，比较了许多现代浮点编码在各种数据集上的压缩率和编码/解码速度。结果可以在这里查看：https://dl.acm.org/doi/pdf/ 10.1145/3626717。第 16 页：表 4 压缩比比较和第 2 页：图 1 和图 2第 17 页：表 5 用于[解]压缩速度比较。

Answer 9

我刚刚找到了这个专注于压缩 FLOAT32 的链接：
https://computing.llnl.gov/projects/floating-point-compression

我下面的旧答案仍然适用于任何数据点

TAR ZSTD 似乎是最快且“最压缩”的压缩算法。您可以通过以下命令使用它：

tar --use-compress-program=zstd -cvf NameOFCompressedFile.tar.zst ./Files2BeCompressed   

要解压缩文件，请使用以下命令：

tar --use-compress-program=zstd -xvf NameOFCompressedFile.tar.zst

要列出文件的内容而不解压缩，请使用以下命令：

tar --use-compress-program=zstd --list --verbose --file=NameOFCompressedFile.tar.zst

据我所知，zstd 算法仅适用于 UNIX 操作系统。您可以在这里找到更多相关信息：
https://github.com/centminmod/tar-zstd/blob/ master/readme.md