AWS胶水中的KeyTab设置使用SPARK（使用Active Directory）连接SQL Server
我正在尝试使用Active Directory凭据从AWS胶（使用Spark）中提取MS SQL Server。但是要遇到代币错误。设置与本地用户凭据正常工作。 我已经阅读了有关…
如何捕获awsglue中的数据变化？
我们在本地 sql-server 中有源数据。我们使用 AWSglue 从 sql-server 获取数据并将其放置到 S3。谁能帮助我们如何在 AWS Glue 中实现变更数据捕获？ …
AWS Python Lambda - 如何仅在爬网程序完成运行时运行作业？
这是我正在使用的代码片段。我需要运行作业，但仅在爬网程序成功运行后才能运行： 创建 cloudwatch 触发器更好吗？ 非常感谢 #update crawler respons…
在 Athena DB 中使用胶水爬虫为不同文件夹创建 2 个单独的表
s3 路径 [s3 存储桶名称] |- mcc |-- p1 |---- cl |-------- book3.csv |---- ml |------ book1.csv |-- p2 |---- cl |------ book4.csv |---- ml |--…
AWS Glue Studio -Jupyter 外部库
我很难将外部库添加到Jupyter笔记本电脑中。 例如，我下载了PG8000 ZIP文件或WHL文件。 我在下面的“配置”部分中设置了参数： "extra_py_files": "s3…
使用 If Else 逻辑提取结构体的嵌套数组
我需要从下面的架构结构中得出两个新字段 - 新列 beaver_id 和 llama_id 。如果需要将其他逻辑应用于struct数组，则有一些逻辑。所需的最终结果是CSV…
如何更新/删除AWS中hudi表中的记录？
我需要更新或删除 hudi 表的记录，一种方法是按照以下指南中提到的步骤使用 pyspark/scala 来执行此操作 https://docs.aws.amazon.com/emr/latest/Rel…
使用 AWS Glue 在两个 S3 存储桶之间加载数据时如何更新数据？
这是我的第一个数据分析项目，我正在 AWS 上开发数据管道，管道步骤应如下所示： 以 parquet 格式将数据从 RDS 导出到 S3（完成）。 使用 Athena 查询…
Trino 冰山连接器“未实现 GlueHiveMetastore 的 getTablesWithParameter”
我在EMR 6.5版上运行Trino，并且我为Trino添加了冰山连接器，我希望它使用胶水目录。这些是冰山下的配置。 connector.name=iceberg iceberg.file-form…
成功将 MONGODB 表爬行到 AWS 数据目录后，无法创建动态框架
我成功地创建了一个MongoDB连接，我的连接测试成功了，并且能够使用轨道在胶水数据目录中创建元数据。但是，当我在下面使用下面的位置，将我的mongoDB…
使用 Lambda Fucntion 读取 Glue 元数据并将其推送到 RDS PostgreSQL
我是Lambda功能的新手，在编写Lambda功能方面需要一些帮助，该功能将访问Glue目录数据库元数据并将其转储到RDS PostgreSQL数据库表中。 请让我知道是…
在 AWS Glue ETL 脚本中使用自定义连接器
我正在使用动态框架粘合抽象来编写 AWS Glue ETL 脚本，并在 python 中编写代码。 我在胶水数据目录中创建了一个名为 sap-lpr-connection 的 JDBC 连…
通过Python对Snowflake错误消息进行切片
如果源和目标计数不匹配，我有一个雪花程序，将下文投掷到以下错误消息，这是在AWS胶水python异常块中捕获的： 100132 (P0000): JavaScript execution…
