火花： - 在Spark中处理300 GB数据的空闲参数可能是什么

Question

要处理300 GB数据，请您提供以下数字。

作业读取数据，制作数据框，应用一些过滤器和聚合并写入数据

我的数据群，使用640 gm RAM和160个内核。 （10个带有64 GB RAM和每个节点的节点包含16个内核）

1. idle executor内存（如果不使用任何缓存）（没有任何溢出）
2. idle executor内存（如果使用缓存）
3. idle driver memory（不执行任何收集）
4. 闲置核心（并行性核心，让我知道每个核心都处理多少数据）
5. 最佳分区块数据大小（我认为默认为64 MB，但最佳的128 MB或256 MB是什么）
6. 没有洗牌分区（Default 200）

注意： 始终考虑处理大数据视角并优化解决方案