spark 的rdd 和 hdfs的广播 的联系和应用，有人了解吗？

Question

spark 的rdd 和 hdfs的广播 的联系和应用，有人了解吗？

Answer 1

广播是因为excutor端的计算要用到driver端的某一份数据，不广播的话，每用到一次就会去driver那里拿，这样就会效率很低，会产生多次io，解决这样的问题就通过广播的方法解决，就是把在driver端的数据广播到excutor中，这样他就不用每次都过去取了。那spark代码中广播rdd的话，要先collect收集一下，在广播，因为rdd是不存数据的，然后你在excutor执行的代码里边是用到这个广播的数据的话，要点value一下出来就能用了。