如何运行AWS S3中的倍数文件的lambda函数

Question

当检查S3存储桶中的新事件时，我具有以下Lambda功能，可以在AWS胶水中运行我的脚本。

import json
import boto3
from urllib.parse import unquote_plus

def lambda_handler(event, context):

  bucketName = event["Records"][0]["s3"]["bucket"]["name"]
  fileNameFull = event["Records"][0]["s3"]["object"]["key"]
  fileName = unquote_plus(fileNameFull)

  print(bucket, fileName)

  glue = boto3.client('glue')

  response = glue.start_job_run(
    JobName = 'My_Job_Glue',
    Arguments = {
      '--s3_target_path_key': fileName,
      '--s3_target_path_bucket': bucketName
    }
  )

  return {
    'statusCode': 200,
    'body': json.dumps('Hello from Lambda!')
  }
 

起初它运行良好，我部分地得到了我需要做的事情。实际发生的事情是，我将始终对同一存储桶发生多个文件，并且此当前逻辑在每个发生时都会运行我的胶水脚本（如果我有3个文件，我有3个胶合作业运行）。只有在确定所有新数据时，才能改善功能以运行脚本？今天，我有Kafka Connect配置了批次5000个记录，如果在几分钟结束时，该批次未到达，则该记录与那里一样多。

Answer 1

S3允许您使用简单队列服务（SQS）通知Lambda功能。使用SQS可以使您可以将消息批量发送到lambda。