Question

7.1 基本概念

1. 如果使用可控的分区方式，将经常被一起访问的数据放在同一个节点上，那么可以大大减少应用的通信开销。

   • 通过正确的分区，可以带来明显的性能提升
   • 为分布式数据集选择正确的分区，类似于为传统的数据集选择合适的数据结构

2. 分区并不是对所有应用都是有好处的：如果给定的RDD 只需要被扫描一次，则我们完全没有必要对其预先进行分区处理。

   • 只有当数据集多次在诸如连接这种基于键的操作中使用时，分区才会有帮助。

3. Spark 中所有的键值对RDD 都可以进行分区。系统会根据一个针对键的函数对元素进行分组。

   • spark 可以确保同一个组的键出现在同一个节点上

4. 许多spark 操作会自动为结果RDD 设定分区

   • sortByKey() 会自动生成范围分区的RDD
   • groupByKey() 会自动生成哈希分区的RDD

   其它还有join()、leftOuterJoin()、rightOuterJoin()、cogroup()、groupWith()、groupByKey()、reduceByKey()、combineByKey()、partitionBy()，以及mapValues()（如果输入RDD有分区方式）、flatMapValues()（如果输入RDD有分区方式）

   对于map()操作，由于理论上它可能改变元素的键，因此其结果不会有固定的分区方式。

   对于二元操作，输出数据的分区方式取决于输入RDD的分区方式

   • 默认情况下，结果采用哈希分区
   • 若其中一个输入RDD 已经设置过分区方式，则结果就使用该分区方式
   • 如果两个输入RDD 都设置过分区方式，则使用第一个输入的分区方式

5. 许多spark 操作会利用已有的分区信息，如join()、leftOuterJoin()、rightOuterJoin()、cogroup()、groupWith()、groupByKey()、reduceByKey()、combineByKey()、lookup() 。 这些操作都能从分区中获得收益。

   • 任何需要将数据根据键跨节点进行混洗的操作，都能够从分区中获得好处

7.2 查看分区

1. .getNumPartitions 属性可以查看RDD 的分区数

7.3 指定分区

1. 在执行聚合或者分组操作时，可以要求Spark 使用指定的分区数（即numPartitions 参数）

   • 如果未指定该参数，则spark 根据集群的大小会自动推断出一个有意义的默认值

2. 如果我们希望在除了聚合/分组操作之外，也能改变RDD 的分区。那么Spark 提供了.repartition() 方法

   • 它会把数据通过忘了进行混洗，并创建出新的分区集合
   • 该方法是代价比较大的操作，你可以通过.coalesce() 方法将RDD的分区数减少。它是一个代价相对较小的操作。

3. .repartition(numPartitions)：返回一个拥有指定分区数量的新的RDD

   • 新的分区数量可能比旧分区数增大，也可能减小。

4. .coalesce(numPartitions,shuffle=False)：返回一个拥有指定分区数量的新的RDD

   • 新的分区数量必须比旧分区数减小

5. .partitionBy(numPartitions, partitionFunc=<function portable_hash at 0x7f51f1ac0668>)：返回一个使用指定分区器和分区数量的新的RDD

   • 新的分区数量可能比旧分区数增大，也可能减小。
   • 这里partitionFunc 是分区函数。注意：如果你想让多个RDD 使用同一个分区方式，则应该使用同一个分区函数对象（如全局函数），而不要给每个RDD 创建一个新的函数对象。

6. 对于重新调整分区的操作结果，建议对其持久化。

   • 如果未持久化，那么每次用到这个RDD时，都会重复地对数据进行分区操作，性能太差