数据转储的最佳压缩算法是什么
我正在从我的网站创建数据转储以供其他人下载和分析。每个转储都将是一个巨大的 XML 文件。
我正在尝试找出最佳的压缩算法:
- 有效压缩(CPU 方面)
- 生成尽可能小的文件
- 相当常见
我了解压缩的基础知识,但不知道哪种算法适合该要求。我将使用 MySQL 和 Python 来生成转储,因此我需要带有良好 python 库的东西。
I'm creating data dumps from my site for others to download and analyze. Each dump will be a giant XML file.
I'm trying to figure out the best compression algorithm that:
- Compresses efficiently (CPU-wise)
- Makes the smallest possible file
- Is fairly common
I know the basics of compression, but haven't a clue as to which algo fits the bill. I'll be using MySQL and Python to generate the dump, so I'll need something with a good python library.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
对于大多数情况,具有标准压缩级别的 GZIP 应该没问题。更高的压缩级别=更多的CPU时间。 BZ2 包装更好,但也更慢。好吧,CPU 消耗/运行时间和压缩效率之间总是需要权衡……所有具有默认压缩级别的压缩都应该没问题。
GZIP with standard compression level should be fine for most cases. Higher compression levels=more CPU time. BZ2 is packing better but is also slower. Well, there is always a trade-off between CPU consumption/running time and compression efficiency...all compressions with default compression levels should be fine.