胶Pyspark错误：PyWritedYnamicFrame。 org.apache.parquet.column.values.dictionary.plainvaluesdictionary $ plainlongdictionary
我已经进行了2天的调试，并试图弄清楚发生了什么，而没有成功。 AWS支持也无法在这里帮助我，所以让我解释一下。 我有一个名为 provisioned.customer …
AWS胶：调用O100.PyWritedYnamicFrame时发生错误。无法找到数据来源：未知
运行胶水管道时会遇到以下 An error occurred while calling o100.pyWriteDynamicFrame. Failed to find data source: UNKNOWN. Please find packages…
使用AWS胶创建雅典娜S3中存储的镶木质数据表
我想在S3存储桶中预览Athena数据。数据在镶木中。此doc 在这里描述如何描述如何描述使用AWS胶水创建预览。这里的一个强制性步骤是输入列详细信息。这…
AWS胶 - 版本控制和设置连续集成
我们正在为AWS胶水ETL过程设置CI / CD过程。现有的ETL流程包含以下AWS胶组件 - 爬行者，目录中的注册表，作业，触发器和工作流程。 显然，第一步是设…
我如何使用ExportTableTopointIntimereQuest等待导出完成？
我已经使用ExportTableTopointIntimeRequest API将DynamoDB表导出到Java中的S3。我想仅在完成导出完成时处理下一步，因为还与胶合作业相关联，它将读…
JSON FOMPTING PYSPARK
我有一个以下格式存储为字符串的JSON， { 'aaa':'', 'bbb':'', 'ccc':{ 'ccc':[{dict of values}] //list of dictionaries } 'ddd':'', 'eee':{ 'eee'…
为什么Gluestudio在AWS控制台中看到的脚本与Legacy Jobs视图不相同？
当我在S3（脚本路径）和Open Glue Studio中更新脚本时，我看不到此脚本的更新（pyspark）。但是，如果我打开传统作业，它将具有最新的代码。奇怪的是…
使用JQ替换后，将JSON传递给AWS胶水创建工作
我有以下我执行的bash脚本，以通过CLI创建新的胶作业： #!/usr/bin/env bash set -e NAME=$1 PROFILE=$2 SCRIPT_LOCATION='s3://bucket/scripts/'$1'.…
使用Awsglueml.transforms.findmatches使用AWS胶合作业，似乎随机地错误了
我有一个胶水ETL作业（使用PySpark），在尝试访问Awsglueml.transforms.findmatches库时，它似乎是随机的。胶水仪表板上的错误是： An error occurred…
AWS胶 - 从时间戳字段创建日期分区
字段 时间戳 框 的 具有 具有 数据 代码>应用绘制将数据保存到新的S3位置。目前，我已经添加了 id 和版本通过在Visual编辑器中选择这些字…
在AWS -Glue本地设置（Docker Image）上为Jupyter安装NBEXTENSION-获取权限问题
我正在尝试为我的jupyter笔记本安装nbextensions，但会遇到用户许可错误。在阅读了多个网站后，我添加了 - 用户，但是问题仍然存在。 这是在MacBook步…
