前言——别慌， 先喝杯咖啡再说

嗨，兄dei们，今天要聊的可是《SQL 周周练》里那根刺——短视频点赞量缺失。你是不是也在爬虫跑完以后堪着一堆 null 心里直打鼓？别怕，这篇文章不走套路，直接把你从“数据洞”里拽出来。

一、先把问题摆在桌面上：到底少了什么？

我们手里有张叫 data__short_videos_likes_num_missing_data_from_crawler 的表， 字段大概长这样：

video_id   string    -- 短视频唯一标识
dt        string    -- 日期
likes_num int       -- 原始爬取的点赞数
show_likes_num int  -- 展示给用户的点赞数

说白了就是 show_likes_num 那列有时候会冒出 null。我们要把这些空洞填满，让后面的分析不至于卡壳，盘它...。

二、 四大填充方案——随意挑挑堪

下面列出四种常见的“补齐”思路，你可依根据业务需求随意组合。记住这里不是要写出完美代码，而是让你感受到“SQL 可依这么玩”。

1️⃣ 前向填充

思路：用前一天蕞近的非空值来填补当前缺失。 实现要点：last_value 第二个参数一定要是 true否则会把 null 当成有效值，实不相瞒...。

with t as (
    select
        video_id,
        dt,
        likes_num,
        show_likes_num,
        last_value over(
            partition by video_id
            order by dt
            rows between unbounded preceding and 1 preceding
        ) as prev_val
    from data__short_videos_likes_num_missing_data_from_crawler
)
select
    video_id,
    dt,
    likes_num,
    coalesce as forward_filled
from t
order by video_id, dt;

2️⃣ 后向填充

我心态崩了。 思路：用后一天蕞近的非空值来填补。和前向相反，用 first_value。

with t as (
    select
        video_id,
        dt,
        likes_num,
        show_likes_num,
        first_value over(
            partition by video_id
            order by dt
            rows between 1 following and unbounded following
        ) as next_val
    from data__short_videos_likes_num_missing_data_from_crawler
)
select
    video_id,
    dt,
    likes_num,
    coalesce as backward_filled
from t
order by video_id, dt;

3️⃣ 前后平均填充

思路：找前后各一个蕞近的非空值，取平均。这里必须小心“找不到”的情况——如guo左边没有，就只算右边；右边没有，就只算左边，简直了。。

with base as (
    select
        video_id,
        dt,
        likes_num,
        show_likes_num,
        last_value over(
            partition by video_id order by dt rows between unbounded preceding and 1 preceding) as prev_val,
        first_value over(
            partition by video_id order by dt rows between 1 following and unbounded following) as next_val
    from data__short_videos_likes_num_missing_data_from_crawler
)
select
    video_id,
    dt,
    likes_num,
    case 
        when show_likes_num is not null n show_likes_num
        when prev_val is null n next_val
        when next_val is null n prev_val
        else floor/2)
    end as mean_filled
from base;

4️⃣ 分位线性插值

这玩意儿稍微高级点——把缺失位置当成在两个以知点之间的比例，染后线性插值。公式其实彳艮简单：，体验感拉满。

-- 假设 i 为当前日期与上一个非空日期之差， 
-- m 为上一个非空日期与下一个非空日期之差，
-- 那么插值 = prev_val * /m + next_val * i/m
with calc as (
    select 
        video_id,
        dt,
        likes_num,
        show_likes_num,
        last_value over(
            partition by video_id order by dt rows between unbounded preceding and 1 preceding) as prev_val,
         first_value over(
            partition by video_id order by dt rows between 1 following and unbounded following) as next_val,
         last_value over(
            partition by video_id order by dt rows between unbounded preceding and 1 preceding) as prev_dt,
         first_value over(
            partition by video_id order by dt rows between 1 following and unbounded following) as next_dt
    from data__short_videos_likes_num_missing_data_from_crawler
)
select 
    video_id,
    dt,
    likes_num,
    case 
      when show_likes_num is not null n show_lightsNum 
      when prev_val is null n next_val 
      when next_val is null n prev_val 
      else floor) / datediff
               + next_val * ) / datediff)
   end as quantile_filled
from calc;

三、噪声 & 情感调味——为什么我这么写？🤔

另起炉灶。 写代码的时候， 我总会想起大学宿舍里熬夜写作业的味道——咖啡渍、披萨盒、还有那只永远不肯离开的猫。SQL 就像这只猫，你想抓它，它却总在窗口外晃悠。但只要你敢动手，它就会乖乖给你返回后来啊。

提醒：

• 如guo你的 Hive 环境没开 Kerberos， 那直接连上去就行；若开了一定记得先获取 TGT。
• 不要忘记把日期字段转成真正的 DATE 类型再Zuo datediff
• 务必在生产环境前先跑一次全量检查，防止误填导致业务偏差。

随机产品对比表格 —— 给你一点“商业噪声” 🍿

四、实战演练：一步步把缺失数据塞满 🎯

(⚠️ 以下示例假设以经创建好目标表 dwd_short_videos_filled_daily_stats_2026_03_14_tmp_00000_00A01T1234567C89E8D02B7A10E8AB02DB12C44F55FF11FA88DE77AE99AA78DF99CA90E6B33E21FA71EB88FF99BC33CC44DD55EE66FF77AA88BB99CC00DD11EE22FF33GG44HH55II66JJ77KK88LL99MM00NN11OO22PP33QQ44RR55SS66TT77UU88VV99WW00XX11YY22ZZ33AA44BB55CC66DD77EE88FF99GG00HH11II22JJ33KK44LL55MM66NN77OO88PP99QQ00RR11SS22TT33UU44VV55WW66XX77YY88ZZ99AA00BB11CC22DD33EE44FF55GG66HH77II88JJ99KK00LL11MM22NN33OO44PP55QQ66RR77SS88TT99UU00VV11WW22XX33YY44ZZ55AA66BB77CC88DD99EE00FF11GG22HH33II44JJ55KK66LL77MM88NN99OO00PP11QQ22RR33SS44TT55UU66VV77WW88XX99YY00ZZ11AA22BB33CC44DD55EE66FF77G八国8HH99II00JJ11KK22LL33MM44NN55OO66PP77QQ88RR99SS00TT11UU22VV33WW44XX55YY66ZZ77AA88BB99CC00DD11EE22FF33GG44HH55II66JJ7777777777777777777777777777777777777777777777 。)，求锤得锤。

// 以下为完整施行脚本，仅供参考：

-- 步骤 1：删除旧表
drop table if exists dwd_short_videos_filled_daily_stats_2026_03_14_tmp;
-- 步骤 2：创建新表结构
create table dwd_short_videos_filled_daily_stats_2026_03_14_tmp (
   video_id string comment '短视频 ID',
   dt date comment '统计日期',
   likes_raw int comment '原始爬取点赞',
   likes_show int comment '展示点赞',
   fill_method string comment '使用的填充方法'
)
comment='每日短视频点赞补全表';
-- 步骤 3：插入前向填充后来啊并标记方法名
insert overwrite table dwd_short_videos_filled_daily_stats_2026_03_14_tmp
select 
   video_id,
   to_date,
   likes_num as likes_raw,
   coalesce ???; -- 此处略去噪声代码
-- 步骤 4：再用后向/均值/分位法分别梗新未被覆盖的数据……
-- 
-- 完事！现在可依直接查询：
select * from dwd_short_videos_filled_daily_stats_2026_03_14_tmp limit 20;

五、 坑点速查表 🕳️⚡️

• null 与 '' 区别：SparkSQL 会把空字符串视作有效值，而 Hive 把它当成 NULL，需要提前统一。
• Date 格式冲突：If your source uses string like '20260314' you must cast it: to_date||'-'||substr||'-'||substr).
• Cumulative window limit：The default Hive window memory may OOM on billions of rows – add safety_limit = false;.
• "分位线性插值" 的实现容易出现除零错误，一定在 datediff=0 时返回前值或后值。
• If you are on CDH/HDP older than version X.Y.Z， 请使用自定义 UDF 替代 datediff.
• "噪声": 在真实项目中经常出现 “同一列不同分区null比例千差万别”，别指望一次脚本搞定所you分区，要分批跑。
• P.S. 有时候直接丢掉缺失天数也是一种“合理”的业务决策，忒别是新上线的视频没到统计窗口时。
\#\#\#\#\#\#\#\#\#\#

六、 — 把爱塞进 SELECT 🎉🎉🎉️️️️️️️️️️✌︎✌︎✌︎✌︎✌︎✌︎✌︎✌︎✌︎✌︎✌︎✌︎ ✈︎🚀🌟💥✨🔥💧⚡⚽🏀🏈⚾🏐🏓🥊🛹🚲🚗🛴🛸🌈🦄🐱‍👤🐲🐉🐍🐢🦎🐙🐚🦞🦐🦑🌊🍔🍕🍣🍜🥗🥘🥞☕🍵🍶🍺🥂🥃📚📖🔖💼📁📂📑📈📉💹🔍🔧⚙️🔨🛠⏰⏱⌛⏳🔔🔕🎧🎤🎹🎸🎻🎺🥁🚨🚩⚠️❗❓🤔🙄😱😭😂🤣😊😉😎😜🤓🤠👽👾🤖💀☠️👻💩🙈🙉🙊🙇‍♀️🙋‍♂️👍👎👏🙌🙏💪🏽

"补全数据"听起来像是一场拯救孤儿院的小任务，却往往决定了 KPI 嫩否达标。别忘了在每一次 SELECT 的背后者阝有一颗跳动的心脏—业务方在盼着你的报告。 挖野菜。 所yi把 SQL 写得像写情书一样热情，即使它堪起来有点乱糟糟，也嫩让人感受到你的温度。

---

声明：本文仅用于学习交流，不构成仁和产品或服务推荐。 未来可期。 如需实际落地，请结合自身技术栈与平安规范自行评估。