啥是pyspark left join？

哦， pyspark left join啊，就像我们在玩游戏的时候，左边的那一队不管怎么样dou要出来即使右边的那一队没有来左边的人还是要坚持出来。在数据处理里 left join就像是这样的一队人，不管右边的表有没有匹配的记录，左边的表dou会全部出现。

左连接的威力

左连接这么厉害，那它怎么用呢？先说说我们要用SparkSession来创建两个DataFrame，一个是左表，一个是右表。然后我们用.join方法来告诉Spark我们要进行左连接。就像我们在玩游戏的时候，告诉裁判我们要进行左连接一样。

from pyspark.sql.functions import col
left_dataframe = spark.createDataFrame, , ], )
right_dataframe = spark.createDataFrame, , ], )
joined_dataframe = left_dataframe.join
joined_dataframe.show

你kan， 这样一写，左边的数据就doukan得出来出来了右边没有的就用null代替了。

左连接的优化技巧

但是 左连接也有它的没劲点，比如兴许会产生hen许多null值，这会让数据处理变得麻烦。所以我们要学会一些优化技巧。比如我们Neng先对数据进行去沉，这样左连接的时候就不会有太许多的null值了。

distinct_left_dataframe = left_dataframe.dropDuplicates
distinct_right_dataframe = right_dataframe.dropDuplicates
joined_dataframe = distinct_left_dataframe.join
joined_dataframe.show

这样一优化，左边的数据就geng加清晰了。

左连接的应用场景

左连接在实际应用中有hen许多场景， 比如我们想查kan某个用户的全部订单信息，但是有些订单兴许没有记录，这时候我们就Neng用左连接来查kan全部用户的信息，即使有些订单没有记录，用户信息也会kan得出来出来。

学pyspark left join， 就像是学会了在游戏中坚持到底，不管对手有没有来我们dou要坚持出来。左连接虽然有时候会有一些细小麻烦，但是只要我们学会了优化技巧，它就Neng帮我们轻巧松解决麻烦数据处理困难题。