Java 中客户端/服务器传输的压缩字符串

Question

我使用专有的客户端/服务器消息格式来限制我可以通过网络发送的内容。我无法发送序列化对象，我必须将消息中的数据存储为字符串。我发送的数据是大的逗号分隔值，我想在将数据作为字符串打包到消息中之前对其进行压缩。

我尝试使用 Deflater/Inflater 来实现这一点，但在这个过程中我遇到了困难。

我使用以下两种方法来放气/充气。但是，将 compressString() 方法的结果传递给 decompressStringMethod() 将返回 null 结果。

public String compressString(String data) {
  Deflater deflater = new Deflater();
  byte[] target = new byte[100];
  try {
   deflater.setInput(data.getBytes(UTF8_CHARSET));
   deflater.finish();
   int deflateLength = deflater.deflate(target);
   return new String(target);
  } catch (UnsupportedEncodingException e) {
   //TODO
  }

  return data;
 }

 public String decompressString(String data) {

  String result = null;
  try {
   byte[] input = data.getBytes();

   Inflater inflater = new Inflater();
   int inputLength = input.length;
   inflater.setInput(input, 0, inputLength);

   byte[] output = new byte[100];
   int resultLength = inflater.inflate(output);
   inflater.end();

   result = new String(output, 0, resultLength, UTF8_CHARSET);
  } catch (DataFormatException e) {
   // TODO Auto-generated catch block
   e.printStackTrace();
  } catch (UnsupportedEncodingException e) {
   // TODO Auto-generated catch block
   e.printStackTrace();
  }

  return result;
 }

Answer 1

据我所知，您当前的方法是：

1. 使用 getBytes("UTF-8") 将字符串转换为字节数组。
2. 压缩字节数组
3. 使用 new String(bytes, ..., "UTF-8") 将压缩字节数组转换为字符串。
4. 发送压缩字符串
5. 接收压缩字符串
6. 使用getBytes("UTF-8") 将压缩字符串转换为字节数组。
7. 解压缩字节数组
8. 使用 new String(bytes, ..., "UTF-8") 将解压缩的字节数组转换为字符串。

此方法的问题在于步骤 3。压缩字节数组时，您创建的字节序列可能不再是有效的 UTF-8。结果将在步骤 3 中出现异常。

解决方案是使用 Base64 等“字节到字符”编码方案，将压缩后的字节转换为可传输的字符串。换句话说，将步骤 3 替换为对 Base64 编码函数的调用，将步骤 6 替换为对 Base64 解码函数的调用。

注意：

1. 对于小字符串，压缩和
   编码实际上可能是
   增加传输字符串的大小。
2. 如果压缩的字符串要合并到 URL 中，您可能需要选择与 Base64 不同的编码，以避免需要 URL 转义的字符。
3. 根据您传输的数据的性质，您可能会发现特定于域的压缩比通用压缩效果更好。在创建逗号分隔的字符串之前考虑压缩数据。考虑逗号分隔字符串的替代方案。

Answer 2

问题在于您将压缩字节转换为字符串，这会破坏数据。您的 compressString 和 decompressString 应该适用于 byte[]

编辑：这是修订版本。它有效

编辑2：关于base64。您发送的是字节，而不是字符串。你不需要base64。

public static void main(String[] args) {
    String input = "Test input";
    byte[] data = new byte[100];

    int len = compressString(input, data, data.length);

    String output = decompressString(data, len);

    if (!input.equals(output)) {
        System.out.println("Test failed");
    }

    System.out.println(input + " " + output);
}

public static int compressString(String data, byte[] output, int len) {
    Deflater deflater = new Deflater();
    deflater.setInput(data.getBytes(Charset.forName("utf-8")));
    deflater.finish();
    return deflater.deflate(output, 0, len);
}

public static String decompressString(byte[] input, int len) {

    String result = null;
    try {
        Inflater inflater = new Inflater();
        inflater.setInput(input, 0, len);

        byte[] output = new byte[100]; //todo may oveflow, find better solution
        int resultLength = inflater.inflate(output);
        inflater.end();

        result = new String(output, 0, resultLength, Charset.forName("utf-8"));
    } catch (DataFormatException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }

    return result;
}

Answer 3

对我来说：自己编写压缩算法很困难，但将二进制写入字符串并不困难。因此，如果我是你，我将正常序列化对象并通过压缩（由 ZipFile 提供）对其进行压缩，然后使用类似 Base64 编码/解码。

我实际上有 BASE64 ENCODE/DECODE 函数。如果你想要的话我可以把它发布在这里。

Answer 4

如果你有一段代码似乎默默地失败了，也许你不应该捕获并吞下异常：

catch (UnsupportedEncodingException e) {
    //TODO
}

但是 decompress 返回 null 的真正原因是因为你的异常处理没有指定如何处理 result< /code> 当您捕获异常时 - result 保留为 null。您是否检查输出以查看是否发生任何异常？

如果我在格式错误的字符串上运行 decompress()，Inflater 会抛出这个 DataFormatException：

java.util.zip.DataFormatException: incorrect header check
    at java.util.zip.Inflater.inflateBytes(Native Method)
    at java.util.zip.Inflater.inflate(Inflater.java:223)
    at java.util.zip.Inflater.inflate(Inflater.java:240)

Answer 5

充气器/放气器不是压缩字符串的解决方案。
我认为 GZIPInputString 和 GZIPOutputString 是压缩字符串的正确工具

Answer 6

我遇到了类似的问题，通过 Base64 解码输入解决了这个问题。
即而不是

data.getBytes(UTF8_CHARSET)  

我尝试过

Base64.decodeBase64(data)  

并且它有效。