优化 Berkeley DB 中的 Put 性能

Question

几天前我刚刚开始使用 Berkeley DB，所以我想看看在尽可能快地存储数据方面我是否遗漏了一些东西。

以下是有关数据的一些信息： - 它有 512 字节块 - 块按顺序排列 - 块将按照 FIFO 顺序删除 - 如果我由于电源故障而丢失了一些数据，只要整个数据库没有损坏就可以了

在阅读了一堆文档之后，似乎队列数据库正是我想要的。

然而，在尝试了一些测试代码后，我最快的结果约为每秒 1MByte，只需循环使用 DB_APPEND 设置的 DB-> put 即可。我还尝试过使用交易和批量看跌期权，但这两种方式都会大大减慢速度，所以我没有花太多时间追求它们。我正在将其插入在 Freescale i.MX35 开发板上的 NANDFlash 芯片上创建的新数据库中。

由于我们希望获得至少 2MBytes 每秒的写入速度，我想知道是否有一些我错过的东西可以提高我的速度，因为我知道我的硬件可以比这更快地写入。

Answer 1

尝试将其放入您的 DB_CONFIG 中：

set_flags DB_TXN_WRITE_NOSYNC
set_flags DB_TXN_NOSYNC

根据我的经验，这些可以大大提高写入性能。

---

DB_TXN_NOSYNC
如果设置，Berkeley DB 将不会在事务提交或准备时写入或同步刷新日志。这意味着事务表现出 ACI（原子性、一致性和隔离性）属性，但不表现出 D（持久性）属性；也就是说，将保持数据库完整性，但如果应用程序或系统发生故障，则可能会在恢复期间撤消某些最近提交的事务。面临风险的事务数量取决于日志缓冲区可以容纳的日志更新数量、操作系统将脏缓冲区刷新到磁盘的频率以及日志设置检查点的频率
使用 DB_TXN_NOSYNC 标志调用 DB_EN​​V->set_flags 仅影响指定的 DB_EN​​V 句柄（以及在该句柄范围内打开的任何其他 Berkeley DB 句柄）。为了在整个环境中保持一致的行为，在环境中打开的所有 DB_EN​​V 句柄必须设置 DB_TXN_NOSYNC 标志，或者应在 DB_CONFIG 配置文件中指定该标志。

DB_TXN_NOSYNC 标志可用于在应用程序生命周期内的任何时间配置 Berkeley DB。

---

DB_TXN_WRITE_NOSYNC
如果设置，Berkeley DB 将在事务提交或准备时写入日志，但不会同步刷新。这意味着事务表现出 ACI（原子性、一致性和隔离性）属性，但不表现出 D（持久性）属性；也就是说，将保持数据库完整性，但如果系统发生故障，则在恢复期间可能会撤消某些最近提交的事务。面临风险的事务数量取决于系统将脏缓冲区刷新到磁盘的频率以及日志检查点的频率。
使用 DB_TXN_WRITE_NOSYNC 标志调用 DB_EN​​V->set_flags 仅影响指定的 DB_EN​​V 句柄（以及在该句柄范围内打开的任何其他 Berkeley DB 句柄）。为了在整个环境中保持一致的行为，在环境中打开的所有 DB_EN​​V 句柄必须设置 DB_TXN_WRITE_NOSYNC 标志，或者应在 DB_CONFIG 配置文件中指定该标志。

DB_TXN_WRITE_NOSYNC 标志可用于在应用程序生命周期内的任何时间配置 Berkeley DB。

请参阅http://www.mathematik.uni-ulm.de/ help/BerkeleyDB/api_c/env_set_flags.html 了解更多详细信息。

Answer 2

如果正如您提到的，如果数据库损坏而无法重新创建数据库（即它不仅仅是本地缓存），我建议您必须使用事务/TDS 数据存储。如果您不关心在崩溃/断电时丢失一些项目，那么 DB_TXN_WRITE_NOSYNC 将提高 TDS 性能，您的数据库仍然是完整且可恢复的。
如果您使用 BTREE 和数字索引（如果没有自然键）进行存储，并注意字节顺序问题，以便获得良好的键局部性和高页面利用率，那么您应该能够每秒获得超过 2000 次插入，尤其是对于SSD，特别是当您使用 DbMultileKeyDataBuilder 进行批量插入时。