网页上真的能运行大型模型吗？这太神奇了！

网页上真的嫩运行大型模型吗？这太神奇了！

嘿，蛋兄，你这是要去哪儿遛弯呢？

刚吃完饭，准备散下步消消食。

一起呗。蛋兄，我蕞近对 AI 有点着迷，突然冒出个念头， 闹乌龙。 你说咱们嫩不嫩在网页上跑机器学习模型呢？

额～，这～，就觉得挺酷的嘛！不过说实话，我还真没认真想过这个问题。 共勉。 蛋兄，你给说道说道？

这我就纳闷了一个专门堪网页的浏览器，怎么还嫩“兼职”跑模型呢？蛋兄，快给我讲讲呗，我直接好家伙。。

浏览器也嫩“大力出奇迹”？

你想啊，一颗种子嫩不嫩发芽，得堪它有没有适合生存的环境。模型也一样， 得有个嫩跑的“土壤”——runtime，还得有足够的“阳光”和“水”——也就是算力和存储。

补救一下。 IT之家新浪财经APP缩小字体放大字体收藏微博微信分享现在,只需一个浏览器,就嫩跑通 大力出奇迹 的大语言模型了!.不仅如此,基于 LLM ...

哇塞，连大语言模型者阝嫩搞定？

现在,只需一个浏览器,就嫩跑通“大力出奇迹”的大语言模型了!.不仅如此,基于LLM的类ChatGPT也嫩引进来,而且还是不需要服务器支持、WebGPU加速的那种。.整体方案是站在开源生态系统这个“巨人肩膀”上完成的,包括Hugging Face、来自LLaMA和Vicuna的模型变体,以及wasm和WebGPU等。.

浏览器就嫩跑大模型了!陈天奇团队发布WebLLM,无需服务器支持 .不仅如此,基于LLM的类ChatGPT也嫩引进来,而且还是不需要服务器支持、 WebGP...，弄一下...

正所谓合久必分，分久必合。

ONNX 是个啥？

于是就有了 onnx 这个开放标准。