Spark 小文件：从现象回到执行计划

内容说明：这是用于演示网站排版与内容组织的示例文章。请在正式对外分享前替换为自己的实验、结论与来源。

记录现象，而不急着改参数

同时记录输入数据量、分区条件、输出文件数和大小分布。只看一个文件数量，很难判断是调度开销、数据倾斜还是写出布局导致问题。

跟踪执行计划

result.explain(mode="formatted")
print(result.rdd.getNumPartitions())

把计划中的 Exchange、读取分区与写出任务放在同一条链路上。结合运行指标区分计算、Shuffle 和文件提交阶段的耗时。

让调整可比较

在相同数据范围与资源条件下比较文件分布、运行时间和关键聚合结果。对于生产任务，需要在真实环境验证数据一致性和适用边界。