Boost.MultiIndex：有没有办法在两个进程之间共享对象？

Question

我有一个大约 10Gb 的 Boost.MultiIndex 大数组。为了减少读取，我认为应该有一种方法将数据保存在内存中，并且其他客户端程序将能够读取和分析它。

正确的组织方式是什么？

该数组看起来像：

    struct particleID
    {
    int           ID;// real ID for particle from Gadget2 file "ID" block
    unsigned int  IDf;// postition in the file
    particleID(int id,const unsigned int idf):ID(id),IDf(idf){}
    bool operator<(const particleID& p)const { return ID<p.ID;}
    unsigned int getByGID()const {return (ID&0x0FFF);};

    };

struct ID{};
struct IDf{};
struct IDg{};

typedef multi_index_container<
    particleID,
    indexed_by<
        ordered_unique<
            tag<IDf>,  BOOST_MULTI_INDEX_MEMBER(particleID,unsigned int,IDf)>,
        ordered_non_unique<
            tag<ID>,BOOST_MULTI_INDEX_MEMBER(particleID,int,ID)>,
        ordered_non_unique<
            tag<IDg>,BOOST_MULTI_INDEX_CONST_MEM_FUN(particleID,unsigned int,getByGID)> 
    >
> particlesID_set;

欢迎任何想法。

亲切的问候阿曼。

编辑： RAM 和核心数量不受限制。目前我有 16Gb 和 8 核。

更新

我在 Boost.Users 论坛中提出的同样的问题，我从 Joaquín M López Muñoz（Boost.MultiIndex 的开发者）那里得到了答案。答案是是。可以使用 Boost.Interprocess 在进程之间共享 multi_index。有关更多详细信息，您可以参阅 此链接

Answer 1

您是否看过 Boost.Interprocess ？

Answer 2

你有没有想过把它切成碎片。

并发访问很难。很难做到正确，很难维护，也很难推理。

另一方面，10GB 非常大，我想知道是否可以对数据进行集群。保持相同的 index 结构，但根据某些条件（例如大 ID）将其分派为 10 个（或更多）独立对象。

这样，您就可以自然地单独处理每个块，而无需首先处理并发访问。