SparkStream接受Kafka数据,数据处理时发生任务堵塞,如何处理?
SparkStream运行30分钟后就出现了任务堵塞,现在的任务一直在卡(没有报错),后面的任务一直在排队。
Spark on yarn 内存都足够。
读取Kafka数据成List[Put]然后解析写入Hbase
Hbase操作:
val hbaseConf = new JobConf(hbaseConnector, this.getClass)
val conn = ConnectionFactory.createConnection(hbaseConf)
val table = conn.getTable(TableName.valueOf(tablename))
def saveListPut(rows: util.ArrayList[Put]) = {
val list = new util.ArrayList[Put]()
table.put(rows)
table.close()
}
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
从hbase存取后没有将table和connection关闭。