aws-glue-data-catalog

aws-glue-data-catalog

文章 0 浏览 1

get_column_statistics_for_table方法的EntityNotFoundException错误AWS胶

我试图从S3位置的桌子上拉出元数据。我正在尝试在AWS胶水中使用get_column_statistics_for_table()方法,但它给我带来了EntityNotFoundException错…

似梦非梦 2025-02-13 01:02:09 2 0

AWS胶NTLM身份验证

我正在尝试使用NTLM身份验证将本地SQLServer从AWS胶水连接,为此,我需要将以下参数添加到连接URL中, integratedSecurity=true;authenticationScheme…

杯别 2025-02-12 01:47:38 2 0

AWS数据胶水爬网桌找不到

我正在运行爬行者,在日志中,它向我展示了一个表格并添加到数据库中,该表也已创建。但是,当我想检查桌子时,它不在那里。我发现一些问题,人们由于…

野侃 2025-02-11 00:50:03 3 0

通过Zeppelin查询存储在胶水数据目录中的缓存错误

我对Zeppelin Cache表的方式有错误。我们实时更新胶水数据目录中的数据,因此,当我们想查询使用SPARK更新的分区时,有时我们会收到以下错误: org.ap…

久伴你 2025-02-09 23:01:15 2 0

AWS胶水横梁排除模式功能

我们需要忽略几条路径,同时爬行特定路径。以下是详细信息: Include Path: s3://dev-bronze/api/sp/reports/xyz/ Exclude Path: brand=abc/client=xx…

世界和平 2025-02-09 19:42:28 3 0

AWS胶水爬虫在排除模式条件下添加分区

我遇到了以下情况:假设我有以下S3结构 S3://my_bucket/path_to_to_crawl/partition=A/some_file.parquet.parquet s3://my_bucket/path_to_crawl/par…

执笔绘流年 2025-02-09 15:01:01 3 0

AWS GLUE按名称获取列

我有2种类型的CSV文件 - 一个包含10列,一根包含50列。第一个文件类型的10列也出现在第二个文件类型中,我只想从两个文件类型中抓取这10列。 将来,我…

烟若柳尘 2025-02-02 18:13:43 5 0

记录大于AWS胶水中的拆分尺寸?

我是AWS胶水和Spark的新手。 我在此构建了我的ETL。 当将我的S3与200MB的文件连接时,大约没有读取此内容。 错误是该 An error was encountered: An e…

烟酉 2025-01-31 11:01:26 6 0

非分区表模式未使用胶水ETL作业更新

我们有一个ETL作业,该作业使用以下代码片段来更新目录表: sink = glueContext.getSink(connection_type='s3', path=config['glue_s3_path_bc'], ena…

┼── 2025-01-28 20:37:22 6 0

AWS GLUE create_partition使用boto3成功,但雅典娜没有显示查询结果

我有一个使用Create_Partition()创建新分区的胶水脚本。胶水脚本正在成功运行,使用节目分区时,我可以在雅典娜控制台中看到分区。对于粘合脚本crea…

弄潮 2025-01-24 13:36:43 6 0

胶水秘密经理集成:未提供SecretID

我使用GlueEtl库从本地计算机运行胶水板脚本。 从Glue目录创建数据框时, dyf_user_book_reading_stat = glueContext.create_dynamic_frame.from_cata…

妄司 2025-01-24 01:55:51 6 0

如果文件夹名称使用AWS GLUE或LAMBDA匹配,则将文件夹从AWS存储库中的一个文件夹复制到另一个文件夹

我有2个AWS存储桶登台,目的地都具有相同数量的子文件夹,让我们假设3。 如此登台的3个名称为A,B,C和目的地具有3 a,b,c。现在,我想从3个子文件夹…

悸初 2025-01-22 07:56:11 4 0

胶水工作成功,但没有插入目标表(Aurora mysql)的数据

我使用以下“视觉”选项卡创建了一个胶水作业。首先,我将数据源连接到MySQL表中,该数据源已经在我的数据目录中。然后,在“转换节点”中,我编写了…

仅冇旳回忆 2025-01-22 07:36:15 7 0

无法写出湖层的湖泊形成数据

我正在使用湖泊组建造一个POC,在其中阅读了火车移动信息的队列,并使用AWS Data Wrangler将单个事件持续到主管表中。这很好。 然后,我试图用AWS胶水…

耶耶耶 2025-01-21 19:29:32 5 0

如何捕获awsglue中的数据变化?

我们在本地 sql-server 中有源数据。我们使用 AWSglue 从 sql-server 获取数据并将其放置到 S3。谁能帮助我们如何在 AWS Glue 中实现变更数据捕获? …

简美 2025-01-20 09:11:54 4 0
更多

推荐作者

十二

文章 0 评论 0

飞烟轻若梦

文章 0 评论 0

OPleyuhuo

文章 0 评论 0

wxb0109

文章 0 评论 0

旧城空念

文章 0 评论 0

-小熊_

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文