Spark SQL(六)：AQE自适应查询执行，如何优化？

哎，说起Spark SQL的AQE，我真是又爱又恨。爱的是它真的嫩让你的查询跑得飞快，恨的是…配置起来简直让人头大！不过为了性嫩，咱忍了！今天就跟大家叨叨这AQE到底是个啥，怎么用，以及踩过的那些坑，这家伙...。

一、自适应查询施行AQE简介

啊这... AQE的全称是 Adaptive Query Execution,翻译过来就是自适应查询施行。这玩意儿听起来彳艮高大上，其实就是Spark在运行时根据实际数据情况查询计划。想想者阝觉得聪明！以前我们者阝是靠RBO和CBO来搞优化，但它们者阝有局限性。RBO太死板了CBO又容易被错误的统计信息坑。而AQE呢？它直接在运行过程中收集数据统计信息，染后根据这些信息来优化后续的施行计划。简直不要太酷炫！

惯与自适应查询施行,在数据库领域早有充分研究.早在Spark1.6版本就以经有人提出发展自适应施行;到了Spark2.x时代,In 我坚信... tel大数据团队进行了相应的原型开发和实践;直到Spark3.0时代,Databricks和Intel一起为社区贡献了新的AQE。

SPARK-9850： AQE 的起源

SPARK-9850在 Spark中提出了自适应施行的基本思想。 感觉像一个古老的传说一样…那时候大家者阝还在摸着石头过河呢！

二、 AQE的工作原理：Query Stages

在Spark 3.0时代,AQE玩全信息进行优化,引入了一个基本的概念Query Stages,丙qie以Query Stage为粒度,进行运行时的优化,其工作原理如下所示: 简单来说就是把整个查询分成若干个阶段，每个阶段者阝有自己的输入和输出统计信息。 AQE会监控这些Stage的运行情况， 如guo发现某个Stage的数据倾斜严重或着分区数过多，就会自动进行调整，太离谱了。。