使用气流SQSSENSOR轮询多个SQS消息

Question

我正在使用此SQSSENSOE设置进行民意调查消息，

    fetch_sqs_message = SQSSensor(
        task_id="...",
        sqs_queue="...",
        aws_conn_id="aws_default",
        max_messages=10,
        wait_time_seconds=30,
        poke_interval=60,
        timeout=300,
        dag=dag
    )

我会假设每次轮询时都应进行投票多达10条消息。我的队列在我测试时大约有5个。 但是，每次我触发DAG时，一次只会轮询1消息，我从SQS消息数中发现了这一点。 为什么这样做？我该如何使IT调查尽可能多？

Answer 1

最近，已将一项新功能添加到sqssensor中，以便传感器可以多次对SQS进行轮询，而不是仅一次。

您可以查看此合并PR

例如，如果> num_batches设置为3，sqssensor将在返回结果之前将队列轮询3次。

免责声明：我为此功能做出了贡献。