如何由于Apache Beam Java SDK中的错误而找到被拒绝的文件

Question

我有要处理的相同类型文件的n我将提供通配符输入模式（c：\\ users \\*\\*\\*）。 因此，现在我如何找到文件名和记录，这些文件名和记录已被拒绝在Java中的BigQuery时。

Answer 1

我猜BQ将您传递到管道而不到本地的临时位置路径（老实说不确定）。

在我的情况下，使用Python，我曾经以GCS存储桶的形式将TMP位置传递给我，当我显示错误时，它们通常显示包含命令行日志中拒绝错误的日志文件的名称。

然后我使用gsutil cp命令将其复制到我的本地计算机并阅读

Answer 2

BigQuery I/O（Java and Python SDK）支持致死模式：

Java

result
      .getFailedInsertsWithErr()
      .apply(
          MapElements.into(TypeDescriptors.strings())
              .via(
                  x -> {
                    System.out.println(" The table was " + x.getTable());
                    System.out.println(" The row was " + x.getRow());
                    System.out.println(" The error was " + x.getError());
                    return "";
                  }));

Python

errors = (
  result['FailedRows']
  | 'PrintErrors' >>
  beam.FlatMap(lambda err: print("Error Found {}".format(err))))