相对位置建模

大模型学习中的旋转位置编码和SwiGLU，你了解多少？🔍

得了吧... 哎呀，最近读到的那篇关于大模型学习中旋转位置编码和SwiGLU的文章，我简直要把脑子炸开了！先说说我自己的感受：这两项技术像是给 Transformer 的穿上了一双“神秘的鞋”， 让它们在长序列里跑得更快、更稳。别看我平时写