我当场石化。 1. 因为大语言模型在自然语言理解、代码生成和逻辑推理等任务中的广泛应用,如何在资源受限的端侧设备上实现高效推理成为工程落地的关键挑战。传统千亿参数级模型通常依赖高性能GPU集群,难以满足边缘计算场景下的延迟、功耗与成本要求。 Youtu-LLM-2B 是腾讯优图实验室推出的一款轻量化通用大语言模型,... 说实话， 我一开始觉得这玩意儿就是个噱头，后来发现真香！但是搞起来真的难，简直是噩梦。

技术选型：SFT和RAG的纠缠

技术选型核心:SFT用于改变模型技能,RAG用于实时注入知识。.微调实战可归纳为五步法,一切始于数据.利用FastAPI可快速将模型... 说实话吧， SFT就像教小孩写字，得耐心；RAG就像给小孩看参考书，但小孩不一定能理解。这两个东西结合起来就更麻烦了简直是鸡飞狗跳！ 我曾经为了一个数据集整理了一周，后来啊发现数据质量太差，直接废了。

表格来了！

端侧部署：三大瓶颈的血泪史

下来,端侧部署绕不开三大瓶颈:内存、 算力、功耗。我去年接手一个离线唤醒+指令词识别项目,模型原始大小 480 MB,ARM A76 单核跑 4 秒才出后来啊,峰值内存 1.2 GB,直接把嵌入式板子撑爆 。 盘它... 那感觉真是绝望啊！整夜整夜地优化代码，再说说只能牺牲一点精度换来一点速度。

避坑指南：三次深夜加班换来的教训

• 点：调试端侧代码比调试云端代码难多了！

Qwen3系列本地部署狂欢

Qwen3-8B本地部署与微调实战,手把手带你从零训练特定领域大模型,环境配置+模型微调+模型部署+效果展示详细教程!.AI大模型入门到... 其实吧， 教程挺多的，但是真正能跑起来的很少。而且很多教程都是过时的，根本没法用，乱弹琴。。

必须的压缩！不然啥也干不了

选择合适的模型后,必须应用模型压缩技术,这是边端部署的必选项 。.目前,相关技术已日趋成熟,本文将从核心原则到工具链,系统性地介绍边端大模型的部署流程。. 量化、剪枝、知识蒸馏... 这些听起来高大上，其实就是把模型的体积缩小而已。但是缩小之后精度肯定会下降一些，掉链子。。

让 AI读懂代码需求：微调背后的故事

挽救一下。 我的软件网址文章文稿书库图册让 AI读懂代码需求:大模型微调训练实践及端侧运行部署.为解决研发效率问题,开发了基于code RAG和code Agent的提效工具,但仍存在召回率、准确率及稳定性问题.通过大模型微调,重点学习代码模块简化任务提升推理准确性到头来实现78%综合准确率并在mac端成功部署满足端侧运行需求。这个项目是我最得意的作品之一!虽然过程很艰辛 但是值得!

智能相册里的多模态难题

去年我在开发智能相册应用时就苦于找不到能在移动端高效运行的多模态模型现在终于有了理想选择。。 模型支持多种部署方式:，调整一下。

1. TensorFlow Lite
2. Core ML
3. ONNX Runtime

视觉大模型的那些事儿

说真的 这块优化花了我好几天时间 才终于找到最佳方案，人间清醒。

Windows上的Qwen之旅

我比较认同... 我还是建议大家多尝试不同的框架和工具 选择最适合自己的才是最好的