aws-glue-data-catalog

aws-glue-data-catalog

文章 0 浏览 1

成功将 MONGODB 表爬行到 AWS 数据目录后,无法创建动态框架

我成功地创建了一个MongoDB连接,我的连接测试成功了,并且能够使用轨道在胶水数据目录中创建元数据。但是,当我在下面使用下面的位置,将我的mongoDB…

通知家属抬走 2025-01-19 03:43:54 6 0

使用 Lambda Fucntion 读取 Glue 元数据并将其推送到 RDS PostgreSQL

我是Lambda功能的新手,在编写Lambda功能方面需要一些帮助,该功能将访问Glue目录数据库元数据并将其转储到RDS PostgreSQL数据库表中。 请让我知道是…

吃兔兔 2025-01-19 02:32:26 5 0

胶水爬虫无法对大小 > 的 JSON 数据进行分类20MB

我是 AWS Glue 的新手。我在 s3 中有一个 JSON 格式的原始数据,大小 > 20MB。 对此 JSON 数据创建爬网程序后,在查看表详细信息时,分类和压缩类型显…

源来凯始玺欢你 2025-01-16 10:54:21 5 0

AWS Glue Crawler - 创建为字符串的时间戳字段

我有一个数据文件,其中包含一个名为 extraction_time 的字段,该字段具有如下所示的字段。 ..,"extraction_time":"2022-03-15T02:33:39",.. 在我的爬…

把梦留给海 2025-01-16 03:36:56 3 0

不支持的 DataType 情况:com.amazonaws.services.glue.schema.types.StringType@e7b95c9 和 DynamicNode:longnode

我尝试使用 AWS Glue 中的可视化编辑器从单个数据库中提取 27 个 DynamoDB 表。我已经成功抓取了数据库,我的工作流程是。 从源表 (DynamoDB) 中提取…

最后的乘客 2025-01-16 01:24:08 5 0

将单个 DynamoDB 数据库中的所有 26 个表提取到 AWS Glue Catalog 中的最简单方法是什么

我正在尝试使用 AWS Athena 构建 AWS QuickSight 报告,AWS Athena 为所述报告构建特定视图。然而,尽管能够从 Dynamo 中选择整个数据库爬虫所需的所…

廻憶裏菂餘溫 2025-01-15 03:43:38 5 0

AWS Glue Studio 未创建表

因此,我一直在使用 AWS Glue Studio 来创建 ETL 作业。我当前将其设置为目标节点是 S3 存储桶,但我还想在数据目录上创建一个表。但是,一旦我运行 E…

爱她像谁 2025-01-14 14:25:47 3 0

CONSTRAINT_VIOLATION:注入的投影分区列 id 必须在 WHERE 子句中仅具有(且至少一个)相等条件

执行此查询但出现 CONSTRAINT_VIOLATION。 投影分区应用于id和日期。 select * from thermostat_device_telemetry_stats where id like 'node%' and "…

孤芳又自赏 2025-01-13 09:40:50 4 0

aws 胶水爬虫太慢

胶水爬虫有没有只爬取s3下某些文件夹的功能?目前,我们的管道变得越来越慢,因为我们不断有新数据进入。我们当然知道哪些文件夹是新的以及采用哪种模…

独木成林 2025-01-12 21:37:37 4 0

正确访问 Glue 中的数据目录表

我在 Athena 中创建了一个表,没有来自 S3 源的爬虫。它出现在我的数据目录中。然而,当我尝试通过 Glue ETL 中的 python 作业访问它时,它显示它没有…

苍暮颜 2025-01-12 12:42:44 3 0

在 AWS Glue 中查询通过爬网 XML 创建的表时,AWS Athena 出错

我已经通过 AWS Glue 中的爬网程序解析了一个 XML 文件,该文件创建了一个表。我尝试在 AWS Athena 中获取相同的 DDL 脚本,但出现以下错误: FAILED…

世界等同你 2025-01-10 21:41:11 4 0
更多

推荐作者

十二

文章 0 评论 0

飞烟轻若梦

文章 0 评论 0

OPleyuhuo

文章 0 评论 0

wxb0109

文章 0 评论 0

旧城空念

文章 0 评论 0

-小熊_

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文