本文目录一览：
SparkSQL开窗函数会走shuffle吗
1、Spark SQL 开窗函数 Spark x版本以后，在Spark SQL和DataFrame中引入了开窗函数，比如最经典的就是我们的row_number（），可以让我们实现分组取topn的逻辑。
2、当我们在Spark SQL中设置参数时，默认情况下，参数的作用范围只限于当前SparkSession或SparkContext的生命周期。一旦SparkSession或SparkContext关闭，参数的取值也会被重置为默认值。
3、使用prepareForExecution（）将PhysicalPlan转换成可执行物理***。（7）使用execute（）执行可执行物理***。（8）生成DataFrame。
开窗函数
不会。在计算机函数中，开窗函数并不会导致计算机取数值结果更慢，反而会更快。
会。sparksql开窗函数会走shuffle，外层对表的主键进行分组开窗，最后一步进行shuffle。
开窗函数（OVER子句）用于为行定义一个窗口（这里的窗口是指运算将要操作的行的***），它对一组值进行操作，不需要使用GROUP BY子句对数据进行分组，能够在同一行 中同时返回基础行的列和聚合列。
开窗函数和row_nuMBer()
1、开窗函数/分析函数：over（）开窗函数也叫分析函数，有两类：一类是聚合开窗函数，一类是排序开窗函数。
2、rank（），row_number（），dense_rank（），ntile（）over表示把函数当成开窗函数而不是聚合函数，SQL标准允许将所有聚合函数用做开窗函数，使用over关键字来区分这两种用法。
3、为了方便理解，以下案例使用排名函数：row_number（）来讲解。其他窗口函数同理，大家举一反三。
4、_row_number_窗口函数关闭方法是：打开带有函数公式的excel文档，按住鼠标左键选中excel表格内容。单击鼠标右键，点击***并选择性粘贴。点击粘贴值和数字格式，这样表格里的函数就可以关掉。
