spark 生成RDD的运行机制
生成RDD其中一种方式Parallelize，运行原理是什么，是在action时候，把数据通过网络传递给worker节点的内存中吗，textfile可以理解，各个worker分布读取到自己的内存中，但是Parallelize怎么理解呢
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
生成RDD其中一种方式Parallelize，运行原理是什么，是在action时候，把数据通过网络传递给worker节点的内存中吗，textfile可以理解，各个worker分布读取到自己的内存中，但是Parallelize怎么理解呢
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（1）
和textfile类似的道理，相当于把本地的一个集合变成rdd，也是lazy的。在真正计算的时候，会分布拷贝到各个worker上
第一个参数就是本地集合数据，第二个参数是分片数，就是希望分成多少个任务并行计算。不指定的话，spark会根据worker情况默认分配个值