spark streaming on yarn每个批次接收的数据量非常少的问题
最近在调试spark on yarn的程序,通过spark streming调用kafka的低阶API实时获取kafka中的数据,spark streaming中每个批次获取到的kafka数据非常少,只有几百,但是用local模式运行正常,使用Receiver的方式运行在yarn上也正常,不知道是否有高手碰到过相同的问题,或者有没有什么解决办法,望解答,谢谢.
集群环境CDH 5.6,spark 1.5,kafka 2.10-0.8.2.0,yarn 2.6.0
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
我们这个是做实时统计的,需要按照不同维度统计不同指标,用了spark sql
为啥不用storm，实时性比spark更强，也不会遇到内存的坑