大数数组压缩

Question

我有一个 JavaScript 应用程序，可以通过网络发送大量数字数据。然后该数据被存储在数据库中。我遇到大小问题（带宽太多，数据库太大）。我现在准备牺牲一些性能来进行压缩。

我正在考虑实现一个基数 62 number.toString(62) 和 parseInt(compressed, 62)。这肯定会减少数据的大小，但在我继续这样做之前，我想我会把它告诉这里的人们，因为我知道一定有一些我没有考虑过的开箱即用的解决方案。

基本规格是： - 将大量数组压缩为字符串以进行 JSONP 传输（所以我认为 UTF 已经过时了） - 相对较快，看起来我并不期望与现在相同的性能，但我也不想要 gzip 压缩。

任何想法将不胜感激。

谢谢吉

多·塔皮亚

Answer 1

另一种方法可能是编码为二进制类型，例如有符号/无符号整数，并手动解码，如 http://snippets.dzone.com/posts/show/685 这需要服务器端代码来创建二进制数据。

然后，您可以进行霍夫曼压缩或类似的 RLE 压缩（请参阅 http://rosettacode.org/wiki/Run -length_encoding#JavaScript 用于实现，尽管在不修改的情况下在 IE 中可能会出现一些问题）以进一步压缩数据。

编辑：
或者，您可以将数字本身转换为未编码 URI 字符范围中的基数（基数）（请参阅 http ://en.wikipedia.org/wiki/Percent-encoding）如果许多数字大于 2 位数字，它应该可以很好地工作。我在 http://code 转换了代码来自 python 的 .activestate.com/recipes/111286-numeric-base-converter-that-accepts-任意-digi/ 来执行此操作。

它目前不处理浮动，但可以相当容易地完成：

function get_map(s) {
    d = {}
    for (var i=0; i<s.length; i++) {
        d[s.charAt(i)] = i}
    d.length = s.length
    d._s = s
    return d}

var separate_with = '~';
var encodable = get_map('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789_.'); // - is reserved for negatives obviously :-P
var base10 = get_map('0123456789')

// UNCOMMENT ME for length/speed testing in a wider base!
// You may wish to experiment with the ranges for a happy medium between bandwidth and DB space :-P
/*var encodable = ''
for (var i=1; i<128; i++) {
    encodable += String.fromCharCode(i)
}
encodable = get_map(encodable)*/

function baseconvert(number, fromdigits, todigits) {
    var number = String(number)

    if (number.charAt(0) == '-') {
        number = number.slice(1, number.length)
        neg=1}
    else {
        neg=0}

    // make an integer out of the number
    var x = 0
    for (var i=0; i<number.length; i++) {
        var digit = number.charAt(i)
        x = x*fromdigits.length + fromdigits[digit]
    }

    // create the result in base 'todigits.length'
    res = ""
    while (x>0) {
        remainder = x % todigits.length
        res = todigits._s.charAt(remainder) + res
        x = parseInt(x/todigits.length)
    }

    if (neg) res = "-"+res
    return res
}

function encodeNums(L) {
    var r = []
    for (var i=0; i<L.length; i++) {
         r.push(baseconvert(L[i], base10, encodable))
    }
    return r.join(separate_with)
}

function decodeNums(s) {
    var r = []
    var s = s.split(separate_with)
    for (var i=0; i<s.length; i++) {
         r.push(parseInt(baseconvert(s[i], encodable, base10)))
    }
    return r
}

var test = [5, 654645, 24324, 652124, 65, 65289543, 65278432, 643175874158, 652754327543]
alert(encodeNums(test))
alert(decodeNums(encodeNums(test)))

Answer 2

选项

• 使用 js 库（请参阅 Josh 的回答），但注意脚本超时
• 使用某种也执行 zip 功能的 activex 或 silverlight 上传程序
• 使用 java 插件
• 使用基于 flash 的压缩上传程序

Answer 3

我现在正在考虑将数字的长度编码为数字本身。我还没有完善这个算法，但一旦完成就会发布它。但大致这就是我目前正在努力实现的目标：

边界：

• 允许精度损失 (+- 3)
• 最大数量为 3200
• 最小为 0 （所以没有负数）
• 无小数 - 浮点数

所以现在给出我知道的最大允许数量以 62 为基数的编码数字的最大长度为 2。因此任何编码数字的长度都是 1 或 2 个字符。惊人的。所以现在我将根据它是 1 个还是 2 个字符将数字设为奇数或偶数（记住我可以处理精度损失）。这消除了对分隔符的需要。

现在我看到大约 70%-80% 的压缩，目前它有很多错误，但我对此感到兴奋，所以这篇文章鼓励围绕这种方法进行讨论。