JUnit 使用嵌入式服务器测试 Cassandra

Question

在我们的例子中，为将数据保存到 nosql 数据存储的代码编写单元测试的最佳方法是什么？

=>我们正在使用嵌入式服务器方法，使用 git hub 中的实用程序（https://github.com/hector-client/hector/blob/master/test/src/main/java/me/prettyprint/hector/testutils/EmbeddedServerHelper.java）。但是我已经看到了一些问题。 1）它在多个测试用例中保存数据，这使得我们很难确保测试类的测试用例中的数据是不同的。我尝试在每个测试用例之后调用 cleanUp @After，但这似乎并没有清理数据。 2）当我们添加更多测试时，我们的内存不足，这可能是因为 1，但我还不确定。我目前有 1G 堆大小来运行我的构建。

=>我一直在考虑的另一种方法是模拟 cassandra 存储。但这可能会泄露 cassandra 模式中的一些问题，因为我们经常发现上述方法会捕获数据存储到 cassandra 中的方式的问题。

请让我知道您对此的想法，以及是否有人使用过 EmbeddedServerHelper 并且熟悉我提到的问题。

---

只是一个更新。通过将测试嵌入式服务器使用的 cassandra.yaml 中的 in_memory_compaction_limit_in_mb 参数更改为 32，我能够解决 2) 运行构建时 Java 堆空间不足的问题。下面的链接帮助我 http:// www.datastax.com/docs/0.7/configuration/storage_configuration#in-memory-compaction-limit-in-mb。它是 64，并且在压缩过程中开始持续失败。

Answer 1

我们使用嵌入式 cassandra 服务器，我认为这是测试 cassandra 时最好的方法，模拟 cassandra API 太容易出错。

EmbeddedServerHelper.cleanup() 只是从文件系统中删除文件，但数据可能仍然存在于内存中。

在 EmbeddedServerHelper 中有一个 teardown() 方法，但我不确定它的效果如何，因为 cassandra 有很多静态单例，其状态不会被 < code>teardown()

我们所做的是我们有一个调用 在测试之间对每个列族进行截断。这将删除所有数据。

Answer 2

我想你可以看看 cassandra-unit ： https://github.com/jsevellec/cassandra -单位/维基

Answer 3

我使用 Mojo Cassandra maven 插件。

这是一个示例插件配置，我用它来启动 Cassandra 服务器以供我的单元测试使用：

 <build>
    <plugins>
        <plugin>
            <groupId>org.codehaus.mojo</groupId>
            <artifactId>cassandra-maven-plugin</artifactId>
            <version>1.1.0-1</version>
            <executions>
                <execution>
                    <goals>
                        <goal>start</goal>
                        <goal>flush</goal>
                        <goal>cleanup</goal>
                    </goals>
                    <phase>compile</phase>
                </execution>
            </executions>
        </plugin>
     <plugins>
  <build>

我确实设法让 Hector 的嵌入式服务器帮助程序类正常工作，这非常有用，但是由于 此错误。

Answer 4

您无法在一台虚拟机内重新启动 Cassandra 实例 - 由于它们正在使用单例，Cassandra 具有“每次终止时关闭策略”。

您也不需要重新启动 Casandra，只需删除所有列族 (CF) 即可。为了删除CF，您需要首先刷新数据，压缩它，然后最后您可以删除它。

此代码将连接到嵌入式 Cassandra 并执行所需的清理：

private void cleanAndCompact() throws Exception {
    MBeanServer mbs = ManagementFactory.getPlatformMBeanServer();
    ObjectName ssn = new ObjectName("org.apache.cassandra.db:type=StorageService");
    StorageServiceMBean ssmb = JMX.newMBeanProxy(mbs, ssn, StorageServiceMBean.class);

    List<String> keyspaces = ssmb.getKeyspaces();
    if (keyspaces == null) {
        LOG.info("No keysaces to cleanup");
        return;
    }

    for (String keyspace : keyspaces) {
        if (keyspace.equalsIgnoreCase("system")) {
            continue;
        }
        execCleanup(ssmb, keyspace);
    }

}

private void execCleanup(StorageServiceMBean ssmb, String keyspace) throws Exception {
    LOG.info("Cleaning up keyspace: " + keyspace);

    ssmb.invalidateKeyCaches(keyspace, new String[0]);
    ssmb.invalidateRowCaches(keyspace, new String[0]);
    ssmb.forceTableFlush(keyspace, new String[0]);
    ssmb.forceTableCompaction(keyspace, new String[0]);
    ssmb.forceTableCleanup(keyspace, new String[0]);
}

现在执行 CLI drop CF 脚本：

CliMain.main(new String[] { "-host", host, "-port", Integer.toString(rpcPort), "-f", "/my/script/path/script.txt","-username", "myUser", "-password", "123456" });

script.txt 可能包含：

use ExampleTestSpace;
drop column family ExampleCF;

Answer 5

“似乎没有清理数据”到底是什么意思？您仍然可以在数据库中看到您的数据吗？

该问题可能是由于 Cassandra 不会立即删除“值”，而是仅在经过 gc_grace_seconds 秒后（通常默认为 10 天）才删除。 Cassandra 标记要删除的值。

Answer 6

除了已发布的内容之外，在某些情况下您还想测试错误处理 - 当 Cassandra 查询失败时您的应用程序如何表现。

有一些库可以帮助您解决此问题：

• 存根 Cassandra
• Cassandra-Spy

我是 cassandra-spy 的作者，并写信给它帮助我测试这些案例。