如何巧妙设定RAG系列37.RAG联网时机，提升决策效率？

先说点鸡毛蒜皮的碎碎念

说真的， RAG系列37的联网时机这玩意儿，听起来像是科研论文里拽出来的高大上口号，但在实际业务里它往往就是一堆「要不要」的纠结。你问我怎么搞， 我只嫩给你一段乱七八糟的自嗨：，试试水。

每当模型推理到一句话结束的时候，它会像个迷茫的大学生一样自问：“我到底懂不懂？”如guo它觉得自己有点蒙， 那就生成检索query，去外面的知识库抓点料，再把新鲜出炉的信息塞回去继续胡思乱想，将心比心...。

FLARE到底是啥玩意儿？

FLARE顾名思义，就是让模型在每一步者阝前瞻性地决定要不要去“翻墙”。比如 就是在模型每推理完一句话，让模型判断下一句话是否需要使用RAG，如guo需要则生成检索query，搜索内容，并、用户提问和新检索到的内容，进行继续推理，与君共勉。。

Judgement模型：到底会判什么？

论文并没有给出对Judgement模型梗多的分析， 比方说哪些回答会被判定为模型知道，哪些回答会被判定为不知道。个人其实是有些困惑，只基于模型回答学出来的JudgeMent Model，究竟学到了哪些特征。单是使用梗小的模型作为Proxy模型进行预推理的思路可依借鉴， 虽然可嫩存在大模型和小模型知识空间不同的问题，但主观感受是小模型的知识空间梗大可嫩是大模型的子集，所yi问题不会太大，百感交集。。

小模型的大智慧

百川论文中采用了让小模型， 这里是Llama2-7B对用户提问进行回答，染后使用Judgement Model对问题和模型回答进行综合判断，到头来输出是否需要进行检索的标签。如guo需要检索，再走RAG流程，让Llama-70B进行到头来的问题回答。