Spark Master vs纱线资源经理
YARN如何为Spark应用程序分配资源以及Spark以独立模式运行时如何完成？
How does yarn allocate resources for spark applications and how it is done when spark runs in standalone mode?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
您可以在运行
spark-submit时定义驱动程序内存大小、部署模式、执行程序数量及其内存大小。如果未提供选项，则使用spark-env和/或yarn-site.xml中的默认值。然后将安排该数量的资源。例如，如果启用了动态执行程序执行，并且您正在从 HDFS 读取数据，则可能会启动或多或少的执行程序，具体取决于数据包含的文件块数量
You define the driver memory size, deployment mode, number of executors and their memory sizes when you run
spark-submit. If no options are provided, the defaults fromspark-envand/oryarn-site.xmlare used. Then that amount of resources will be scheduled.If dynamic executor execution is enabled, and you're reading data from HDFS, for example, then more or less executors may start, depending on how many file blocks the data contains