用apache spark/prem hadoop撰写avro文件到Google Cloud Storage

Question

我正在尝试使用“ Hadoop”上的Hadoop上的一些Spark Workfrows迁​​移到Google Cloud Storage。

假设VPC，网络，云互连和防火墙都已井井有条，那么首先将如何将AVRO文件（目前在Parquet）编写到外部目的地，例如Google Cloud Storage？使用Oozie＆amp;例如，Spark-Submit？我需要将Google Cloud Storage映射为位置吗？我们想摆脱将HDF存储的存储，但是现在所有的工作流都目的地都在Hadoop中写入Hadoop。

Answer 1

您可以使用

对于新/现有的Spark作业，您将需要 core-site.xml 中进行配置，然后您应该能够将数据框架写入GCS

val dataframe = spark.read.load("hdfs://some/data") // existing parquet files

dataframe.write
    .format("avro")
    .save("gs://bucket/path")

spark avro数据源