presto/trino可以阅读蜂巢视图
我一直在尝试使用胶水数据目录和EMR上的Presto/Trino查询一些非常简单的Hive视图，但没有运气。 该错误要么是“找不到”或“不支持的蜂巢视图”。我试…
胶水/火花：过滤一个具有数千条条件的大型动态框架
我正在尝试用数百万行具有数据的数百万行滤波胶胶框架： id val ts a 1.3 2022-05-03T14:18:00.000Z a 9.2 2022-05-03T12:18:00.000Z c 8.2 2022-05-0…
需要管道列名称，列编号，数据类型更改检测器的想法 - 胶水
我在AWS中设置了以下管道设置（试图在此处不提供太多公司信息）。这可能是过度简化的，但是这里是。 我们有一个ETL过程，其中包含每天爬行的数据源，…
get_column_statistics_for_table方法的EntityNotFoundException错误AWS胶
我试图从S3位置的桌子上拉出元数据。我正在尝试在AWS胶水中使用get_column_statistics_for_table（）方法，但它给我带来了EntityNotFoundException错…
AWS胶合作业有时无法解决＆＃xxx`＆＃xxx`＆＃x27;给定的输入列
当我执行AWS胶合作业时，在雅典娜成功运行的SQL查询语句将在这里报告一个错误，并且似乎通过日志的单引号存在问题。 有人知道这里发生了什么吗？ pysp…
为什么不存在AWS胶水资源策略“不存在”。实际上，当校长（角色）存在时出错
在Terraform中，我正在尝试创建胶水资源策略，该政策允许特定的IAM角色使用胶水资源。 相关的TF片段如下： resource "aws_iam_role" "process_banking…
每当S3 Bucket＆amp;然后为每个文件触发胶水作业
我有一个通用的胶水作业，该作业将根据降落在S3存储桶中的文件名来执行。因此，现在我们正在创建一个基于事件的触发器，该触发器将执行工作流程。 （…
AWS胶NTLM身份验证
我正在尝试使用NTLM身份验证将本地SQLServer从AWS胶水连接，为此，我需要将以下参数添加到连接URL中， integratedSecurity=true;authenticationScheme…
AWS ETL的工作将数据写入CSV格式的S3存储桶
我完全是AWS的新手，需要您的支持将我指向我的要求。 要求： 我需要从S3存储桶中读取多个CSV文件，Union数据执行一些转换并将其加载到另一个S3存储桶…
更新AWS胶水表时，可以自动更新分区元数据
我有一个分区的S3桶。我正在使用AWS Athena阅读分区中的数据。我通过云形式堆栈创建了雅典娜中使用的AWS胶水表。 如果我更新云形式 S3ServerAccessLog…
如何在AWS胶Python Shell作业中插入数据中的数据库？
我在S3中有大量数据。在我的python胶合作业中，我将以熊猫数据框架的形式从这些文件中提取数据，并在数据框架上应用必要的转换，然后使用PYMSSSQL库将…
无法在AWS胶水中导入psycopg2
我正在尝试在基于Python的AWS胶水脚本中导入Psycopg2。 我已经在S3中上传了它的鸡蛋文件（使用PIP install pyscopg2二进制文件和PYPI本身的基本文件获…
重写Pyspark函数以加入JSON中的列
我需要获取Spark DataDrame的所有列，并创建其他列作为JSON，其中包含键和值作为列名称和值。例如，类似的数据帧： C1 C2 CN 10 20 ABC 99 CDE 40 50 …
AWS胶 - 阅读a＆＃x27; local＆＃x27;在Python中归档
在AWS胶水中，我使用了一个旧版Python软件包，该软件包从同一软件包中读取恒定的JSON文件。要简化事情，假设 testlib 软件包具有 test_lib.py 和 data…
