而Cassandra压缩线程CompactionExecutor中出现致命异常

Question

1. 我在 EC2 上有 12 个节点的 cassandra 集群，运行 cassandra-0.8.2。 在压缩时，我遇到了以下异常，导致种子节点宕机。

2. 下面是异常堆栈跟踪。

错误 [CompactionExecutor:31] 2011-12-16 08:06:02,308 AbstractCassandraDaemon.java（第 139 行）线程 Thread[CompactionExecutor:31,1,main] 中的致命异常 java.io.IOError: java.io.EOFException: EOF after 430959023 bytes out of 778986868 在 org.apache.cassandra.io.sstable.SSTableIdentityIterator。（SSTableIdentityIterator.java:149） 在 org.apache.cassandra.io.sstable.SSTableIdentityIterator。（SSTableIdentityIterator.java:90） 在 org.apache.cassandra.io.sstable.SSTableIdentityIterator。（SSTableIdentityIterator.java:74） 在 org.apache.cassandra.io.sstable.SSTableScanner$KeyScanningIterator.next(SSTableScanner.java:179) 在 org.apache.cassandra.io.sstable.SSTableScanner$KeyScanningIterator.next(SSTableScanner.java:144) 在 org.apache.cassandra.io.sstable.SSTableScanner.next(SSTableScanner.java:136) 在 org.apache.cassandra.io.sstable.SSTableScanner.next(SSTableScanner.java:39) 在 org.apache.commons.collections.iterators.Collat​​ingIterator.set(Collat​​ingIterator.java:284) 在 org.apache.commons.collections.iterators.Collat​​ingIterator.least（Collat​​ingIterator.java:326） 在 org.apache.commons.collections.iterators.Collat​​ingIterator.next(Collat​​ingIterator.java:230) 在 org.apache.cassandra.utils.ReducingIterator.computeNext(ReducingIterator.java:69) 在 com.google.common.collect.AbstractIterator.tryToComputeNext(AbstractIterator.java:140) 在 com.google.common.collect.AbstractIterator.hasNext(AbstractIterator.java:135) 在 org.apache.commons.collections.iterators.FilterIterator.setNextObject(FilterIterator.java:183) 在 org.apache.commons.collections.iterators.FilterIterator.hasNext(FilterIterator.java:94) 在org.apache.cassandra.db.compaction.CompactionManager.doCompactionWithoutSizeEstimation（CompactionManager.java:569） 在 org.apache.cassandra.db.compaction.CompactionManager.doCompaction(CompactionManager.java:506) 在 org.apache.cassandra.db.compaction.CompactionManager$1.call(CompactionManager.java:141) 在 org.apache.cassandra.db.compaction.CompactionManager$1.call(CompactionManager.java:107) 在 java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303) 在 java.util.concurrent.FutureTask.run(FutureTask.java:138) 在 java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) 在 java.lang.Thread.run(Thread.java:662) 引起原因：java.io.EOFException：778986868 中 430959023 字节后的 EOF 在 org.apache.cassandra.io.util.FileUtils.skipBytesFully(FileUtils.java:229) 在 org.apache.cassandra.io.sstable.IndexHelper.skipIndex(IndexHelper.java:63) 在 org.apache.cassandra.io.sstable.SSTableIdentityIterator。（SSTableIdentityIterator.java:141） ... 23 更多

• 它说它是 Caused by: java.io.EOFException:
• 是因为损坏的 sstables 吗？ 如果是，那么如何删除或修复这些 sstables？

Answer 1

看起来这确实是由损坏的 sstables 引起的（这可能表明存在硬件问题）。我的建议：

1. 升级到最新稳定的 Cassandra 0.8.x 版本。这将是 0.8.2 的直接替代品。
2. 在出现问题的计算机上运行“nodetool scrap”
3. 查看 http://www.datastax.com/ docs/1.0/install/cluster_init -- 我建议每个数据中心使用两个种子节点，但请记住，仅在重新启动节点时才会咨询种子节点，因此在正常操作期间关闭一个种子节点并不是什么大问题