为什么 Mutation 不为现有列进行插入

Question

我正在将初始数据（爬虫程序的 URL 列表）加载到 Cassandra，状态已爬取 = 0。然后使用 Hadoop 我爬行所有链接并尝试将爬行从 0 更改为其他内容，例如 1 或 2 或 3。当我签入 Cassandra cli 界面时，获取 ColumnFamily['www.somedomain.com'] 爬虫的值列保持不变。如果在初始导入期间我没有提到已爬网列，它会正确添加。这只是算法的一部分，我需要通过其他 Map/Reduce 作业等进一步更新本专栏。

在 Thrift 和 Cassandra API 中，据说我们只有插入和删除。插入应该作为更新。

对于爬网列，我有 UTF8 类型。

突变类是这样的：

  private static Mutation getMutationCrawled(Text crawledVal)
  {
      Text column = new Text();
      column.set("crawled");

      Column c = new Column();

      c.setName(ByteBuffer.wrap(Arrays.copyOf(column.getBytes(), column.getLength())));
      c.setValue(ByteBuffer.wrap(crawledVal.getBytes()));
      c.setTimestamp(System.currentTimeMillis());

      Mutation m = new Mutation();
      m.setColumn_or_supercolumn(new ColumnOrSuperColumn());
      m.column_or_supercolumn.setColumn(c);

      return m;
  }

Answer 1

Cassandra 使用突变的时间戳来解决冲突，最大的时间戳获胜。您可以将时间戳值设置为您想要的任何值，但约定是将时间戳设置为以微秒为单位的值。在上面的示例中，您设置时间戳，

 c.setTimestamp(System.currentTimeMillis());

最有可能填充值的初始导入代码是以微秒为单位设置时间戳。微秒时间戳值大于毫秒时间戳值，因此您的更新将被忽略。