AWS GLUE还是FARGATE？将数据从S3移动到RD
我试图决定要使用哪个AWS GLUE或FARGATE，想知道任何建议 /以前的经验。 因此，我们的用例是按时间表（可能每小时）将数据从S3移至RD。文件的数量约为…
AWS胶水横梁排除模式功能
我们需要忽略几条路径，同时爬行特定路径。以下是详细信息： Include Path: s3://dev-bronze/api/sp/reports/xyz/ Exclude Path: brand=abc/client=xx…
AWS胶水爬虫在排除模式条件下添加分区
我遇到了以下情况：假设我有以下S3结构 S3：//my_bucket/path_to_to_crawl/partition=A/some_file.parquet.parquet s3://my_bucket/path_to_crawl/par…
无法从＆＃x27; awsglueml.transforms＆＃x27导入名称＆＃x27;
我是第一次使用 awsglueml 软件包用于使用类 fillmissingvalues 。我正在使用文档提到的胶水3.0导入ML软件包： from awsglueml.transforms import Fil…
从S3导入数据后获取额外的 / charactor
从S3备份将数据导入新的DynamoDB之后，我会得到额外的\ carture。我正在使用的是胶水ETL的工作，而且工作正常。但是导入后，我会遇到这个问题。 我需…
如何运行AWS S3中的倍数文件的lambda函数
当检查S3存储桶中的新事件时，我具有以下Lambda功能，可以在AWS胶水中运行我的脚本。 import json import boto3 from urllib.parse import unquote_pl…
亚马逊胶，python库需求文件版本更新导致AWS胶水作业失败
Python库需求文件版本更新导致AWS胶作业中的故障。 导致这样的随机软件包错误 错误：找不到适合的分布 需求.parse（'pandas == 1.1.5'） 如何锁定特定…
通过AWS GLUE将文件转换XML到S3中的JSON
我的存储桶结构如下，并且在此S3存储夹文件夹中有XML文件降落。 S3：/Fin-app-ops/data-ops/raw-d 需要将这些XML文件转换为JSON文件，并在同一存储桶…
如何按照数据框的大小过滤（以字节）进行过滤记录
我有一个数据框，在Pyspark中，需要根据其大小（IN字节）过滤其记录。 我们正在应用此逻辑，但在所有情况下似乎都没有起作用。 purge_timestamp = get…
AWS胶Pyspark笔记本电脑错误（请求中包含的安全令牌已过期）
在运行SPARK作业时，我遇到了以下错误，用于将246GB的JSON文件（从S3）转换为Parquet文件（写入S3）， 请帮助我解决如何解决此 …
AWS雅典娜桌自动出现在AWS胶水控制台中
我最近发现，AWS Athena表可能具有的分区数量有限制（目前20000年，此处提到： https://docs.aws.amazon.com/athena/latest/latest/ug/partitions.htm…
通配符搜索数组＆lt; string＆gt;在雅典娜
我在雅典娜有一张桌子，其中一列是类型数组。 我尝试了以下查询以获取包含 Earth 的输出，但行不通。 如何在此列中执行通配符搜索？ 通配符搜索后的预…
连接保持活力以供AWS胶水
我们正在尝试在Onprem Oracle数据库中插入大量记录数据集，但在执行过程中我们会收到此错误消息，我们 2022-06-15 03:53:43,095 ERROR [main] glue.Pr…
