压缩要通过 RMI 发送的 Java HashMap

Question

我们有一个通过 RMI 进行通信的客户端/服务器应用程序。服务器将 HashMap 发送到客户端。一切正常，但是当发送大型 HashMap 时，传输时间可能会很慢。

有没有办法在发送之前压缩HashMap，然后在客户端解压？我不想在磁盘上创建任何文件（所有文件都必须位于 RAM 中）

谢谢

Answer 1

您可以将 DeflatorOutputStream 用于 ByteArrayOutputStream，但是您最终会得到一个 byte[]，因此您的 RMI 调用应该返回一个 byte[]。

小的可序列化对象不能很好地压缩，但是如果您有许多可序列化对象，它可以很好地压缩。大量文本也是如此。

最简单的事情就是尝试一下。如果存在重复的字符串甚至部分字符串，这将有助于压缩。

public static void main(String... args) throws IOException {
    Map<String, String> map = new HashMap<String, String>();

    for(int i=0;i<1000;i++)
        map.put(""+Math.random(), ""+Math.random());
    byte[] bytes1 = toBytes(map);
    byte[] bytes2 = toCompressedBytes(map);
    System.out.println("HashMap with "+map.size()+" entries, Uncompressed length="+bytes1.length+", compressed length="+bytes2.length);
}

public static byte[] toCompressedBytes(Object o) throws IOException {
    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    ObjectOutputStream oos = new ObjectOutputStream(new DeflaterOutputStream(baos));
    oos.writeObject(o);
    oos.close();
    return baos.toByteArray();
}

public static byte[] toBytes(Object o) throws IOException {
    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    ObjectOutputStream oos = new ObjectOutputStream(baos);
    oos.writeObject(o);
    oos.close();
    return baos.toByteArray();
}

public static Object fromCompressedBytes(byte[] bytes) throws IOException, ClassNotFoundException {
    ObjectInputStream ois = new ObjectInputStream(new InflaterInputStream(new ByteArrayInputStream(bytes)));
    return ois.readObject();
}

印刷

HashMap with 1000 entries, Uncompressed length=42596, compressed length=19479

Answer 2

不要对哈希图做任何事情。相反，编写自定义套接字工厂使用 DeflaterOutputStream 压缩数据。

Answer 3

许多年前，我曾经将对象序列化为字节数组，然后对其进行压缩。 Java 仍然支持 Zip :) 所以尝试这个方法。

Answer 4

您可以尝试对哈希图中的元素使用自定义序列化机制。

您要发送什么样的信息？里面的物体是什么样子的？

即使使用默认机制，并将所有不需要的属性标记为瞬态也会有所帮助。

此外，您可以尝试将自己序列化的数据发送到 ZipOutputStream 但我会将其作为最后一个资源，因为二进制内容不会压缩太多。

编辑

由于您仅使用字符串，因此您可以创建一个包装器，其自定义序列化是一个压缩数组（与 Peter Lawrey 的答案非常相似），但是，使用自定义序列化可以让您封装序列化过程并拥有它对 RMI 进行一些“透明”的工作（RMI 序列化永远不会知道您正在使用压缩版本）

这是一个演示：

import java.io.*;
import java.util.*;
import java.util.zip.*;

public class MapDemo implements Serializable { 

    private Map<String,String> map = new HashMap<String,String>();
    // only for demo/comparison purposes, default would use compressoin always
    private boolean useCompression;
    public MapDemo( Map<String,String> map , boolean compressed ) { 
        this.map = map;
        this.useCompression = compressed;
    }

   // This is the custom serialization using compression 
   private void writeObject(ObjectOutputStream out) throws IOException {
     ByteArrayOutputStream baos = new ByteArrayOutputStream();

     OutputStream os = useCompression ?  new DeflaterOutputStream( baos ) : baos;

     ObjectOutputStream oos     = new ObjectOutputStream(  os );
     oos.writeObject( this.map  );
     oos.close();

     out.write( baos.toByteArray() );
   }
}

class Main { 
    public static void main( String [] args )  throws IOException { 
        Map<String,String> regular    = new HashMap<String,String>();
        Map<String,String> compressed = new HashMap<String,String>();
        Random r = new Random();
        for( int i = 0 ; i < 100000 ; i++ ) { 
            String key      = ""+r.nextInt(1000000);
            String value    = ""+r.nextInt(1000000) ;
            // put the same info 
            compressed.put( key , value );
            regular.put( key , value );
        }   
        save( new MapDemo( compressed, true ) , "map.compressed");
        save( new MapDemo( regular, false ) , "map.regular");
    }
    private static void save( Object o, String toFile ) throws IOException  { 
        // This is similar to what RMI serialization would do behind scenes
        ObjectOutputStream oos = new ObjectOutputStream( new FileOutputStream(toFile));
        oos.writeObject( o );
        oos.close();
    }

}