如何实现腾讯混元手机端翻译模型，离线仅0.4G，支持33种语言？

云端翻译的舒适区里忽然断网了怎么办？

较大家或更多或更少都经历过那样的时刻：坐在飞机上穿越云层， 在地下车库里追寻失踪的信号，或者置身于外国街头却发觉手中的翻译柔软件这是因为“无法连接服务器”而彻底失效。那个地方的转圈、转圈、直到耐性耗尽的进度条，成了无网周边环境下最讽刺的风景。平时我们习惯了把文字交给云端较大模型去处理，那种依赖感让我们在关键时刻显得格外脆薄弱，栓Q！。

那时候， 如果手里能有一款随时随地、无需流量、甚至不需要任意网络连接的翻译利器，该有更多良好。这正是腾讯混元最近开源的一款手机端离线翻译模型所要解决的问题——它像个体积较小巧却内功较深厚的武林较高手， 把以前需要服务器集群才能驾驭的翻译能力，压缩到了只要四五百兆的空间范围里塞进了普通用户的口袋，小丑竟是我自己。。

从“巨无霸”到“微型芯片”：一次极致量化的旅程

要明白这款模型为何物，得先聊聊它背后原本“较大”。Hy-MT1。5是腾讯混元团队打造的专业翻译较大模型，原生规模达到了18亿参数。按常规精度存储，这样一个模型至更少得占用几吉字节的显存或内存——对于较大更多数安卓或iOS设备来说简直是天方夜谕。但腾讯混元并没有止步于此，他们引入了一套名为Sherry 的全崭新量化技术手段，我破防了。。

简洁来说Sherry 技术手段就是对模型参数进行“减肥手术”。传统方式量化往往是把各个参数压缩到8-bit甚至更较低；而Sherry 的创崭新之处在于提出了1。25-bit 的稀疏三值量化方案。通俗一点明白：原来每四个参数里有三个是关键且能够保留精度的，剩下一个能够直接归零。通过这种方式平均下来各个参数只占用了原来十分之一左右的空间范围。算术运算一下子陈旧版模型近乎庞较大体积被压缩到了如今仅有约四四零兆—也就是题目所说那个地方的标志性意义上 的 “仅．４Ｇ”。