IBM MQ到AWS帐户之间的打开防火墙
我有一个用例，其中数据从IBM MQ（源）填充并尝试连接AWS MSK群集。我创建了AWS群集，并且有IBM MQ配置详细信息来创建连接器。我想在AWS和IBM MQ之间…
KAFKA MSK-高fetch.max.wait.ms and fetch.min.bytes的配置出乎意料
我有一个在春季应用程序上运行的Kafka消费者。 我正在尝试使用 fetch.max.wait.ms 和 fetch.min.bytes 。 我希望消费者等到有15000000字节的消息或1分…
KAFKAPRODUCER-获取错误以连接到Kafka（60.0秒后无法更新元数据）
我正在尝试阅读Oracle的数据并发送到Kafka主题。我能够从Oracle阅读，将其放入数据框中，然后在下面的代码中显示有关Kafka的所有参数，但是我遇到了错…
如何在生产区域以分布方式运行Kafka连接
根据Confluent上的文档我们可以使用Connect Rest API来开始/停止/管理Kafka Connect-只想了解当我们在云上部署资源时，最好的方法是什么（在我的情况…
AWS MSK公共集群用SASL/SCRAM确保
我配置了一个具有公共访问权限的AWS MSK群集。我通过Secrets Manager创建了一个AWS Secret，并将其分配给集群。 基于这个秘密，我设法向MSK发布了消息…
如何解决Kafkatimeouterror：在60.0秒后无法更新元数据？
我正在尝试使用Kafka-Python向我的AWS MSK无服务器集群发送消息。 我已经通过以下本指南创建了MSK无服务器集群： https://docs.aws.amazon.com/msk/la…
java lambda函数connnect msk群集超时
我在同一VPC的MSK群集安全组中创建了Java Lambda功能。但是，当lambda执行代码时，在CloudWatch： org.apache.kafka.common.errors.TimeoutException …
kafka mirrormaker 2从最新偏移而不是最早复制
我有一个与Mirrormaker 2的群集A到群集B的主题复制的问题。我想从最新偏移量中复制这些主题，而不是从一开始就复制它们。但是，当我设置 auto.offset.…
如何负载测试异步管道？
中有以下管道 我在AWS api -gateway - ＆gt; lambda-＆gt; Kafka（Amazon MSK） - ＆GT;消费者 我需要加载测试整个管道和管道中的每个组件（要识别瓶…
Kafka连接器无法连接AWS MSK
我正在尝试配置AWS中的MSK Connect，以下是配置。 INFO [AdminClient clientId=adminclient-1] Metadata update failed (org.apache.kafka.clients.ad…
MSK没有安全性，当创建从IoT Core到Kafka的规则操作时，它希望我选择安全性，我可以避免这种情况吗？
正如问题所述，当设置MSK时 - 它没有启用安全性，进而导致创建规则本身的问题。 通过AWS GUI创建规则时，必须使用“ get_secret函数”配置操作用户名…
在kubernetes上运行的pyspark结构化流上应用机架意识，并从AWS MSK读取
我在以下设置中有一个pyspark结构化流式应用程序： Pyspark -3.0.1版，使用Spark Operator在AWS EKS上运行。 KAFKA-在AWS MSK上运行2.8.1和 replica.s…
Kafka Log Cleaner是否在AWS MSK上记录任何内容？
我将AWS MSK群集与经纪人登录到CloudWatch。登录作品，我可以看到经纪人日志。我们有一些主题， clearup.policy = compact 和 callicup.policy = dele…
无法使用kafka-topics.sh保留Kafka主题（使用Kafka工具使用MSK）
我使用AWS MSK。为了检查和配置现有主题，我与MSK部署具有同一子网中的EC2，并使用Kafka-Tools从EC2运行命令。 我正在尝试找出MSK ./ kafka-topics.sh…
