flink 并发读取kafka数据问题

Question

各位，小弟请教个问题：

你好，想跟你请教个问题：

各位好：刚开始学习flink,有个问题请教：

 我搭建了有5个节点的flink集群（standalone 模式），启动flink（./start-cluster）后可以看到每个节点都是正常的。主要代码逻辑为：通过flink消费kafka的数据，完成一段业务逻辑的计算，打包在服务器上master提交后，任务只在一个节点上运行，

执行命令如下：

./flink run -p 10 -d -c com.gennlife.FlinkApplicationStarter ../../rws-streaming-flink.jar --zk.connection.urls 10.0.2.17:2181,10.0.2.18:2181,10.0.2.79:2181 --kafka.brokers 10.0.2.17:9092,10.0.218:9092  --group.id testflink --topic flinktest2

      当向kafka 中推送数据时，发现只有一台机器在执行读取和计算的，其他都没有计算。        我希望可以有多个机器同时并发的去读取kafka并完成计算，这个要怎么提交任务或者说要进行其他的哪些处理呢？

     说明：我把接收到的小时通过broadcast()函数广播后，返现所有几点都在计算，但是计算的数据确实重复的。

 

谢谢。

Answer 1

设置提高并发执行

env.setParallelism(3);

 具体可参考官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/parallel.html