写入 HDFS：文件被覆盖

Question

我正在写入 hadoop 文件系统。但每次我附加一些内容时，它都会覆盖数据，而不是将其添加到现有数据/文件中。下面提供了执行此操作的代码。对于不同的数据，会一次又一次地调用此代码。每次打开一个新的 SequenceFile.Writer 是否有问题？

每次我将路径获取为 new Path("someDir");

  public void writeToHDFS(Path path, long uniqueId, String data){
      FileSystem fs = path.getFileSystem(conf);
      SequenceFile.Writer inputWriter = new SequenceFile.Writer(fs, conf,
          path, LongWritable.class, MyWritable.class);
      inputWriter.append(new LongWritable(uniqueId++), new MyWritable(data));
      inputWriter.close();
  }

Answer 1

目前无法通过 API 附加到现有的 SequenceFile。当您创建新的 SequenceFile.Writer 对象时，它不会附加到该 Path 处的现有文件，而是覆盖它。请参阅我的之前的问题。

正如 Thomas 指出的，如果您保留相同的 SequenceFile.Writer 对象，您将能够追加到文件，直到您调用 close()。