kafka1.0 offset自动清理后取值-1的问题
offsets.retention.minutes = 一周 log.cleanup.policy = 默认 现象: 一周内,没有任何数据进来,consumer未停过,offset日志被清理了, 脚本获取的o…
kafka消费者消费速度慢
kafka1.1.0,用spring-kafka进行消费时出现消费者速度跟不上生产者,导致消息大量积压的问题 使用spring kafka进行消息的生产与消费,消息发送时未指定ke…
spring-kafka中argumentResolvers.add(new MessageMethodArgumentResolver())缺失MessageConverter参数
今天给项目升级Kafka版本,从1.0.0升级到1.0.5,修改了相关的配置后,启动项目,抛出异常如下: java.lang.NoSuchMethodError: org.springframework.m…
intellij启动kafka出错
D:ProgramFilesJavajdk1.7.0_71binjava -Didea.launcher.port=7535 "-Didea.launcher.bin.path=D:ProgramFilesJavaIntelliJ IDEA 2016.1.1bin" -Dfile…
kafka_2.11-0.10.1.1 无法发送消息和消费消息
异常现象如下: [2017-02-07 15:23:54,323] ERROR Error when sending message to topic test with key: null, value: 5 bytes with error: (org.apac…
kafka-connect-hdfs如何使用
@卢禹 你好,想跟你请教个问题:这个hdfs的connector下载后如何使用,没有介绍怎么用。 地址:https://github.com/confluentinc/kafka-connect-hdfs …
kafka的消费者stream iterator block,读不出消息?
rt,能够向kafka produce数据,kafka里也看得到,但是consumer却读不出数据,offset是0,程序在stream的iterator被阻塞了。demo代码如下: import ja…
获取kafka的数据,处理完之后的一些重复数据问题,使用外部介质redis
需求:kafka消费去重 环境:dubbo分布式部署,redis集群,kafka队列 模拟数据:10条相同数据 思路:多线程从kafka获取数据处理,从redis获取标识A,如…
启动kafka失败了 bin/kafka-server-start.sh config/server.properties
Failed to acquire lock on file .lock in /hadoop/kafka/./logs . A Kafka instance in another process or thread is using this directory. at ka…
kafka topic 问题
各位为好: 就是kafka将topic分为多个区,然后将区分布在多个sever上;如果将10个topic,每个topic分1个区。那么这个topic的10个区会分布在不同的ser…
求助,如何通过“出口端口(非监听端口)”反查进程(linux)
我就是想知道,哪个狗日的写了什么狗屁本地程序连接我的本地kafka又重来不主动关闭连接,导致堆了一大堆TIME_WAIT!!! # netstat -nat|grep 9092|grep …
kafka数据导入导出命令的参数在哪里,大神们帮忙看下
“> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.propertie…
Kafka添加了ACL权限后,Storm该如何消费?
Kafka采用了SASL+ACL的权限验证后,Storm中的KafkaSpout该如何修改呢? 我查看了storm-kafka-1.0.1和storm-kafka-1.1.1的源码,KafkaConfig均是使用旧…