前言：Spark的核心是弹性分布式数据集（RDD），算子是操作RDD的核心工具。本文围绕RDD算子展开，涵盖基础分类、核心算子详解、实战代码及常见问题，兼顾专业性与易懂性，适配Spark初学者及开发人员查漏补缺。本文基于Python版本Spark编写，所有代码可直接复制运行。

一、RDD算子核心分类

Spark算子按执行机制和返回结果，分为三大类，是理解算子的基础：

1. 转换算子（Transformation）

懒加载，仅定义RDD转换关系，不执行计算，返回值仍为RDD。常见算子：map、flatMap、filter、union、distinct、groupByKey、reduceByKey、sortBy、sortByKey、repartition、coalesce、mapPartitions、mapValues等。

2. 触发算子（Action）

触发Spark Job执行，实际计算数据，返回值不再是RDD。常见算子：count、foreach、saveAsTextFile、first、take、collect、reduce、top、takeOrdered、collectAsMap、foreachPartition等。

3. Shuffle算子（特殊转换算子）

触发数据重分区，数据在节点间传输，性能消耗较大，是优化重点。常见算子：reduceByKey、groupByKey、sortByKey、sortBy、repartition、coalesce（shuffle=True）、join类算子、distinct。

二、核心算子详解

（一）基础转换算子（无Shuffle）

1. map算子：一对一转换

功能：对RDD中每个元素调用指定函数，返回新RDD。语法：rdd.map(f: T -> U) -> RDD[U]

2. flatMap算子：扁平化转换

功能：对RDD中每个元素调用函数，返回可迭代对象，再扁平化为新RDD。语法：rdd.flatMap(f: T -> Iterable[U]) -> RDD[U]

3. filter算子：数据过滤

功能：保留符合条件的元素，过滤不符合条件的元素。语法：rdd.filter(f: T -> bool) -> RDD[T]

（二）KV类型核心算子

1. reduceByKey算子：按Key聚合

功能：按Key分组，对相同Key的Value执行聚合函数，返回新KV类型RDD。语法：rdd.reduceByKey(f: (T, T) -> T) -> RDD[Tuple[K, V]]

2. groupByKey算子：按Key分组

功能：按Key分组，相同Key的Value放入可迭代对象。语法：rdd.groupByKey() -> RDD[Tuple[K, Iterable[V]]]

（三）排序算子

1. sortBy算子：通用排序

功能：对任意类型RDD全局排序，可指定排序规则。语法：rdd.sortBy(keyFunc: T -> 0, asc: bool = True, numPartitions) -> RDD[T]

（四）常用触发算子

count()：统计元素个数；collect()：收集元素为列表；foreach(print)：打印元素；saveAsTextFile(path)：保存数据到外部文件；first()：返回第一个元素；take(n)：返回前n个元素。

三、高频踩坑指南

1. 转换算子不触发执行：需调用触发算子（如foreach、collect）才会执行所有转换逻辑。

2. sortBy排序后打印混乱：需用collect()收集后打印，或设置分区数为1。

3. 滥用groupByKey：优先用reduceByKey替代，避免内存溢出。

4. collect()收集大数据量：用take(n)调试，避免Driver内存溢出。

5. coalesce增大分区失败：需设置shuffle=True，或用repartition。

四、总结

算子使用优先级：无Shuffle算子 > 有局部聚合的Shuffle算子 > 无局部聚合的Shuffle算子。合理设置分区，优先使用分区算子优化性能，避免常见坑点，可大幅提升Spark程序运行效率。本文覆盖日常开发常用算子，结合实战代码，可直接用于实操参考。

触发算子：count,take,foreach,saveAsTextFile, first,top,takeOrdered,collect,reduce,collectAsMap,foreachPartition

转换算子：map、filter、flatMap、reduceByKey,groupByKey,sortByKey,sortBy, union,join(很多个),distinct, repartition,coalesce ,keys,values,mapPartitions, mapValues

shuffle算子: reduceByKey,groupByKey,sortByKey,repartition,coalesce(shuffle=True), sortBy,join(类型的),distinct