没有hdfs，spark不能集群方式跑是吧？
可以读本地文件，但是只能spark本地模式运行计算这个从本地读的数据，是吧？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
可以读本地文件，但是只能spark本地模式运行计算这个从本地读的数据，是吧？
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（5）
可以脱离HDFS计算pi
spark有三种模式，单机模式可以供学习使用，通过spark－shell直接启动即可
spark并不依赖于hdfs。
spark的数据来源有很多，最常见的是kafka。
spark是一种分布式内存数据计算模式，建立在RDD数据模型之上。
现在下载1.6 pre－build版可以直接在本地运行。
可以的，你说的这个问题首先要明确你所谓的集群跑的意思是什么
如果你指的是 spark on yarn 这种集群模式，那么是需要hdfs的。
但是，你如果指的是一个standalone集群，他的数据承载并不是必须hdfs的，本地的文件系统即可，但是在任务运行的时候，要求，每个executor访问的路径下，都有你的那份数据。即如果你以PC1为driver提交任务处理/root/data/下的数据，那么假设你的集群拥有PC1，PC2，PC3的话，要求，PC2，PC3的/root/data/下也有相同的数据