DeepSeek V3如何将训练大模型的成本大幅降低？

天哪，你们听说了吗？这简直太疯狂了真的，我整个人都惊呆了！就在2024年12月26日 那个中国的DeepSeek公司，他们搞出了一个叫DeepSeek V3的大模型，直接把整个AI圈给炸翻了！我那天晚上本来都准备睡了后来啊刷到这个新闻，瞬间就清醒了咖啡都省了。这玩意儿到底有多牛呢？它居然把训练大模型的成本给狂降了90%！90%啊朋友们，这是什么概念？这就好比你去买法拉利，后来啊只花了买自行车的钱，这谁顶得住啊？

而且最气人的是 他们发布即开源，直接甩出来50多页的论文，把所有的训练细节都摊开给你看，一点藏着掖着的意思都没有。这操作简直太“流氓”了让其他那些还在搞闭源、搞神秘的公司怎么活？我看着那堆论文，心里五味杂陈，既兴奋又有点嫉妒，恨不得自己也能搞出这么个东西来。 简直了。 简单 DeepSeek V3是个拥有671B参数的MoE模型，虽然参数总数大得吓人，但每个token只需要激活37B参数。这就像是你有一个671个人的超级团队， 但每次干活只需要叫醒其中37个精英，剩下的都在睡觉，这能不省电吗？

这到底是个什么神仙架构？MoE大法好！

咱们得好好聊聊这个MoE架构，这玩意儿真的是太神奇了。以前我们训练模型，那真的是“人海战术”，不管什么任务，所有的参数都得一起上，累得半死，效率还低。但是DeepSeek V3不一样，它玩了个花活儿。它引入了路由专家 和共享专家 。这听起来是不是有点像公司里的组织架构，操作一波...？

在这个架构里共享专家始终参与所有输入的处理。无论输入是什么所有共享专家都会贡献它们的力量。这就像是公司的行政部门，不管你在做哪个项目，行政都得在那儿撑着。而路由专家中主要是用来选择参数进行激活。对于每个输入的token，只有一部分路由专家会被选中来参与计算。这个选择过程是由一个门控机制决定的，比如DeepSeekMoE中用的那种根据亲和力分数来选的Top-K方式。这简直就是精准打击啊，绝不浪费一颗子弹，求锤得锤。！

我就在想，这模型是不是也懂“摸鱼”的哲学？不需要干的活儿绝对不干。