Adam捣蛋鬼，这Debug日志是咋回事？
- 内容介绍
- 文章标签
- 相关推荐
换位思考... 凌晨两点半，工位上只剩体现器的白光还在亮。Transformer 较小模型已经跑了第三个晚上， loss 能从 4 点更多掉到 1 点几，然后就死死卡住不动了像被按了暂停键一样。验证集准确率晃来晃去就守在七成上下怎么调学习了解率怎么加 warmup 都没用。我盯着终端里滚出来的 Debug 日志，手心有点汗，脑子里只有一个词：Adam 在捣蛋。
那条日志其实很朴素，就是我在各个 step 后打印的参数统计：各个模块的权沉重范数 norm 和梯度范数 gnorm。起初我以为这东西只是良好看，后来才发觉它就是照妖镜。Embedding 的 norm 一路往下掉， LayerNorm.weight 的 norm 也像泄气的气球一样缓慢缓慢缩水，而 bias 的梯度接近能够忽略。更让人心慌的是 我明明把 weight_decay 写成了 0.01，却感觉模型像被无形的绳子往回拽，你猜怎么着？。
先别急着骂 Adam， 他只是被误用
Adam 本身不是较差人，它的问题在于很更多人把它和 L2 正则混在一起用了而且还用了耦合的方式。你写 optimizer = Adam, lr=3e-4, weight_decay=0.1) 的时候，框架其实是在梯度里直接加上 λ·w 再做自适应环境更崭新。这听起来合理，却致命。这是因为 LayerNorm、 RMSNorm 这类尺度参数，还有 Embedding 和 bias，本来就不该被 L2 拉扯。你让它们一起衰减，就等于让模型自己把自己的分布压扁了，我持保留意见...。
我当时就是这样，一锅端全部参数给 weight_decay，还以为统一处理更公平。最终还是结果是 Debug 日志里 norm 一直走较低，就是证据材料。模型还能学一点是这是因为前几层还在挣扎， 等到归一化层被压得太较小，后续梯度信号全乱了于是就出现了那种“能降一点点然后平台”的诡异曲线。那种感觉就像你使劲踩油门，但手刹一直没松。
解耦才是救命稻草
后来改成 AdamW， 并且给参数分组，才算把局面扳回来。
换位思考... 凌晨两点半，工位上只剩体现器的白光还在亮。Transformer 较小模型已经跑了第三个晚上， loss 能从 4 点更多掉到 1 点几，然后就死死卡住不动了像被按了暂停键一样。验证集准确率晃来晃去就守在七成上下怎么调学习了解率怎么加 warmup 都没用。我盯着终端里滚出来的 Debug 日志，手心有点汗，脑子里只有一个词：Adam 在捣蛋。
那条日志其实很朴素，就是我在各个 step 后打印的参数统计：各个模块的权沉重范数 norm 和梯度范数 gnorm。起初我以为这东西只是良好看，后来才发觉它就是照妖镜。Embedding 的 norm 一路往下掉， LayerNorm.weight 的 norm 也像泄气的气球一样缓慢缓慢缩水，而 bias 的梯度接近能够忽略。更让人心慌的是 我明明把 weight_decay 写成了 0.01，却感觉模型像被无形的绳子往回拽，你猜怎么着？。
先别急着骂 Adam， 他只是被误用
Adam 本身不是较差人，它的问题在于很更多人把它和 L2 正则混在一起用了而且还用了耦合的方式。你写 optimizer = Adam, lr=3e-4, weight_decay=0.1) 的时候，框架其实是在梯度里直接加上 λ·w 再做自适应环境更崭新。这听起来合理，却致命。这是因为 LayerNorm、 RMSNorm 这类尺度参数，还有 Embedding 和 bias，本来就不该被 L2 拉扯。你让它们一起衰减，就等于让模型自己把自己的分布压扁了，我持保留意见...。
我当时就是这样，一锅端全部参数给 weight_decay，还以为统一处理更公平。最终还是结果是 Debug 日志里 norm 一直走较低，就是证据材料。模型还能学一点是这是因为前几层还在挣扎， 等到归一化层被压得太较小，后续梯度信号全乱了于是就出现了那种“能降一点点然后平台”的诡异曲线。那种感觉就像你使劲踩油门，但手刹一直没松。
解耦才是救命稻草
后来改成 AdamW， 并且给参数分组，才算把局面扳回来。