scala连接kafka失败 如何解决?
按照官方文档的示例,写了以下程序:
def main(args: Array[String]):Unit = {
val sparkConf: SparkConf = new SparkConf().setMaster("local[4]").setAppName("ylcx_miniApp_mall_recommendation");
val streamingContext: StreamingContext = new StreamingContext(sparkConf,Seconds(5));
val kafkaParams = Map[String, Object](
"bootstrap.servers" -> "X.X.X.X:9092",
"key.deserializer" -> classOf[StringDeserializer],
"value.deserializer" -> classOf[StringDeserializer],
"group.id" -> "user",
"auto.offset.reset" -> "latest",
"enable.auto.commit" -> (false: java.lang.Boolean)
)
val topics = Array("mallRec")
val stream = KafkaUtils.createDirectStream[String, String](
streamingContext,
PreferConsistent,
Subscribe[String, String](topics, kafkaParams)
)
stream.map(record => println(record.key+' '+record.value))
stream.print()
streamingContext.start();
streamingContext.awaitTermination();
}
运行以后会有以下错误:
21/09/28 12:18:26 WARN NetworkClient: [Consumer clientId=consumer-user-1, groupId=user] Bootstrap broker X.X.X.X:9092 (id: -1 rack: null) disconnected
安全组端口已经确认打开了
如何解决?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论