在 EC2 上运行 kafka 消费者
我创建了 MSK 集群，并从我的 Producer 发送了一条消息。 效果很好。 而且，我想让我的消费者得到这个消息。 Consumer在一个python文件中，而python文件在EC2中。 如何运行 python 文件并使我的消费者收到消息？ 实际上我可以手动运行该文件，但我希望它在生产者发送消息后自动运行。
I made MSK cluster, and sent a message from my Producer.
It works well.
And, I want to make my Consumer get the message.
The Consumer in a python file, and the python file is in EC2.
How can I run the python file and make my Consumer get the message?
Actually I can run the file manually, but I want it run automatically after the Producer sends message.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
你在Python文件中启动一个消费者吗？或者Python文件是你想要在每条Kafka消息上执行的业务逻辑？从你的问题中并不清楚。
如果是前者，您基本上需要在 EC2 引导时运行该脚本。您可以使用 user-data 这是实例启动时运行的 bash 脚本。
如果是后者，您应该启动一个使用者并将处理程序从 Python 脚本传递到使用者轮询循环。
Do you initiate a consumer in the Python file? Or the Python file is the business logic you want to execute on each Kafka message? It is not clear from your question.
If it's the former you basically need to run the script when the EC2 is bootstrapping. You can do that using user-data which is a bash script running when the instance initiated.
If it's the latter, you should initiate a consumer and pass the handler from the Python script to the consumer poll loop.
由于您正在运行 MSK，因此您可以使用 Python Lambda 操作，而无需编写任何 Kafka 使用者代码或运行 EC2 计算机。
https://docs.aws.amazon.com/lambda/ latest/dg/with-msk.html
如果您必须使用 EC2，那么您应该无限期运行您的消费者，并让它等待任何消息，而不是依赖于任何特定的生产者行动。
Since you are running MSK, you can use a Python Lambda action without writing any Kafka consumer code or running an EC2 machine.
https://docs.aws.amazon.com/lambda/latest/dg/with-msk.html
If you must use EC2, then you should run your consumer indefinitely, and have it wait for any message, not be dependent upon any specific producer action.