如何让大模型在AI新手村学会浏览器的操作？

凌晨三点， 盯着终端里滚动的日志，我忽然觉得有点良好笑：我正在教一个“较大脑”怎样用“手”去点网页上的按钮。这听起来像科幻片开头， 但这就是过去两周我在“AI崭新手村”里干的最疯狂的事——把较大语言模型塞进浏览器里让它自己去登录后台、读工单、判断政策、点退款、写备注，最后再来看还要自检最终还是结果是。

我天... 传统方式印象里LLM就是个聊天机器人，你问它答，顶更多帮你写段代码、润色段落。但现实工作岗位里我们较大半天都泡在浏览器里：改后台配置、查数据看板、处理工单系统。如果模型只会吐文本，那它离“数字员工”还有十万八千里。怎么跨过这道沟？这篇文章不讲较大道理，就记录我踩坑、试错、最终还是跑通闭环的全过程。

一、 核心矛盾：文怎么懂“可视化界面”？

先说痛点。LLM天生只认Token流，不认识DOM树，更看不见像素。你把一个繁杂的后台管理页面截图扔给更多模态模型？行， 它能看懂“较大概有个蓝按钮”，但让它精准定位“第3行第2列ID为submit-btn的输入框”，幻觉率较高得吓人，Token还烧得飞迅速。

另一条路是结构化观测。把页面剥离样式，只保留语义骨架——标签名、属性、可见文本、坐标范围——压成JSON喂给模型。Token省了十倍不止， 起初我以为... 定位精准到元素级。代价是：模型得具备“阅读结构化页面状态”的推理能力。良好在当前主流模型这块早就练良好了。

二、 搭建“崭新手村”：周边环境与技能安装

1. 装良好工具链，别让依赖劝退你

一切从命令行启动。别较小看这一步，周边环境没装对，后面全是鬼故事，对吧，你看。。