不要选择选择XML作为AWS胶水中的来源
我正在尝试学习AWS胶水。我在S3中有一个XML，需要用作源。 但是，我没有选择 XML 作为数据格式。为什么？ 这些是我唯一的选择： 我如何在AWS胶中解析X…
Pyspark DataFrames与GLUE DYAMICFRAMES的性能
因此，我最近首次开始使用Glue和Pyspark。任务是创建一个执行以下操作的胶作业： 来自S3存储桶中的Parquet文件的加载数据 将过滤器应用于数据 添加列…
如何保留使用Serde的胶水中的JSON键的情况？
我创建了一个胶水表，该表将JSON转换为Parquet文件。在列之一中，该列定义为 map＆lt; string，string＆gt; 具有嵌套的json。我看到嵌套的json键正在…
AWS GLUE 3.0 -PYSPARK的铸造问题
我正在使用胶3.0 data = [("Java", "6241499.16943521594684385382059800664452")] rdd = spark.sparkContext.parallelize(data) df = rdd.toDF() df.…
AWS步骤函数操作GetJob（AWS胶水）尽管文档说应该，但我缺少什么文档，但仍未返回CodegenconFigurationNodes？
根据 https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-jobs-job.html#aws-glue-api-jobs-jobs-jobs-job-job-job-getjob-getjob 操作GetJob…
如果文件夹名称使用AWS GLUE或LAMBDA匹配，则将文件夹从AWS存储库中的一个文件夹复制到另一个文件夹
我有2个AWS存储桶登台，目的地都具有相同数量的子文件夹，让我们假设3。 如此登台的3个名称为A，B，C和目的地具有3 a，b，c。现在，我想从3个子文件夹…
胶水工作成功，但没有插入目标表（Aurora mysql）的数据
我使用以下“视觉”选项卡创建了一个胶水作业。首先，我将数据源连接到MySQL表中，该数据源已经在我的数据目录中。然后，在“转换节点”中，我编写了…
AWS GLUE NOCLASSDEFFOUNDERROR在Job.init（）上
尝试使用GLUE ETL库在本地调试AWS胶水脚本。 我已经安装了AWS-Glue-libs和Spark-3.1.1-AMZN-0-BIN-3.2.1-AMZN-3.TGZ。 当我运行 job.init（）时，我会…
尝试在Mac上的AWS_GLUE的Docker图像上运行Pyspark代码
我遇到的以下错误。 该代码由于致命错误而失败。有些事情要尝试：a）确保Spark为Jupyter提供足够的可用资源来创建火花上下文。 b）与您的Jupyter管理…
使用AWS CDK从EventBridge触发AWS GLUE WORKLFOW
如此链接，它不受2级构造的支持。但是，可以使用1级构造来实现它。谁能使用1级结构向我展示如何进行或给我一个例子？非常感谢。…
如何执行REST API呼叫胶水动态帧
我需要构建GLUE SPARK应用程序来转换原始事件，然后执行REST API以推动转换的数据。我正在使用胶水动态框架来转换原始事件，但无法执行REST API调用。…
AWS GLUE SQL与右表的单行连接
IM试图在AWS胶水 表1中加入两个数据集（别名AF）： ID 数据 创建 1 字符串1 2020-02-10 2 字符串2 2020-02-11 3 字符串3 2020-02-12 表2（别名MP）： …
