Adam捣蛋鬼，这Debug日志是咋回事？
换位思考... 凌晨两点半，工位上只剩体现器的白光还在亮。Transformer 较小模型已经跑了第三个晚上， loss 能从 4 点更多掉到 1 点几，然后就死死卡住不动了像被按了暂停键一样。验证集准确率晃来晃去就守在七成上下怎么调学习了
AdamW
共收录篇相关文章
共收录篇相关文章
换位思考... 凌晨两点半，工位上只剩体现器的白光还在亮。Transformer 较小模型已经跑了第三个晚上， loss 能从 4 点更多掉到 1 点几，然后就死死卡住不动了像被按了暂停键一样。验证集准确率晃来晃去就守在七成上下怎么调学习了