C++ 中的无锁共享内存对于可变长度记录

Question

我是 IPC 新手。 Writer进程将数据写入共享内存，许多reader进程读取数据。要写入的数据具有唯一标识符，必须通过唯一键进行索引以加快访问速度（例如用于查找的 STL::map 或 hashmap）。数据也是可变长度记录（XML）（平均长度为200-250字节）。操作系统是 Intel Xeon 四核服务器上的Solaris 10 (i86pc)。

总数据量超过200G。但我们将只在共享内存中保留最新数据。历史数据驻留在文件中。共享内存大小约为4G~6G。

没有像 Boost::interprocess 这样的外部库可用

我有几个问题，可能有很多问题

1. 哪个更有效：shared_memory 或 mmap（内存映射文件）
2. 如何为可变长度记录构建索引。 [我不知道，可能是一些散列？]。
3. 如果将 XML 转换为固定大小的结构（权衡 - 结构的大小将会很大，接近 300 多个可能的字段），这会很简洁吗
4. ？我们可以通过提供自定义分配器将任何 STL 放置在共享内存中吗？
5. 是否可以在没有信号量的情况下实现（使用 CAS 无锁实现）。

谢谢

这个怎么样。

|--------------------------|
| start_id   |   end_id    |   ->  range of msg id present in the segment
|--------------------------|
| id1 | start_mem | length |   ->
|--------------------------|   ->
| id2 | start_mem | length |   -> table of index for the actual data
|--------------------------|   ->
| id3 | start_mem | length |   ->
|--------------------------|   ->
| id4 | start_mem | length |   ->
|--------------------------|   ->
|                          |
|                          |
|                          |
|       data segment       |
|       varibale length    |
|       xml are stored     |
|                          |
|                          |
|--------------------------|

当新数据到达并且段已满时。最旧的数据以循环方式删除。可能需要删除 1 条以上的记录。

Answer 1

最简单的解决方案，如果您需要复杂的索引和其他类似的东西，您应该真正考虑面向服务的体系结构而不是共享内存。只需指定一个进程作为主缓存进程，并让它接受来自需要数据的其他进程的本地连接（通过 unix 域套接字、TCP 套接字或其他方式）。这让事情变得非常非常简单。

如果您不选择此路线，请注意共享内存很难。你所要求的在共享内存中肯定是可行的 - 你可以在这个 shmem 块中创建一个堆分配器，等等。STL 分配器可能工作，但不要指望任何第三方库会满意使用自定义指针类型的 STL 分配器。你将需要锁（如果你聪明的话，你也许能够在某些情况下避免它们，但不是全部，在这种情况下肯定会和STL吻别），并且你将不得不重建所有需要的东西。你通常认为这是理所当然的。

再次，我强烈建议您从一个简单的缓存守护进程开始。大多数情况下，这种扩展效果很好，只是增加了一点延迟。

Answer 2

是否可以在没有信号量的情况下实现（使用 CAS 的无锁实现）。

由于无锁（lock-free）实现很难设计，并且最终可能会陷入混乱，因此在采用无锁解决方案之前，您应该考虑以下方面和替代方案：

• 如果系统中有很多线程，那么调度程序可能会抢占持有锁的线程，因此所有其他线程将等待锁（如果不是，那么无锁不会带来显着的改进）。
• 如果可以使用读写锁来解决这个问题。 （作家明显少于读者）。
• 如果锁争用的可能性较小，那么您可以考虑自旋锁，这将为您提供与无锁相同的性能。