LLM自我批评，如何提升AI的反思能力？
- 内容介绍
- 文章标签
- 相关推荐
LLM自我批评：一场混乱的自省狂欢
我满足了。 先说个笑话， AI跟镜子对话，镜子说：“你到底会不会反思？” AI低声嘀咕：“我在Self‑Critic模式下已经把自己砍成两半了！” 这段奇葩的开场， 就是我们今天要聊的——LLM自我批评以及怎么把这堆乱七八糟的想法揉进AI的反思能力里。
为什么要让模型学会“自怨自艾”？
大家都知道，大模型在生成答案时经常出现幻觉、重复、甚至直接胡说八道。于是研究者们灵机一动：让模型自己找毛病，然后写篇“检讨书”。听起来像是给机器上心理辅导课， 却往往主要原因是数据噪声代码Bug和人类标注员的“情绪波动”而变成一锅乱炖，希望大家...。
醉了... 介绍两种方案SELF Instruct和Automatic Prompt Engineer,前者是基于多样的种子指令,利用大模型的上下文和指令理解能力,以及生成的多样性来Bootstrap生成更多样的指令样本,后者是prompt逆向工程,基于输入和输出,使用LLM来生成和挑选最....一语道破天机: prompt逆向工程,生成并寻找更优的prompt.
人工数据部分就是论文的一个亮点， 上图就是人工数据回答中加入Bug，给出注入Bug的相关解释。之后模型需要在人工修改过的答案上进行标注评论， 一边标注员也会依赖Bug说明，来衡量模型生成的多条标注的效果，你想...。
噪音实验室：把“错误”当作特征来喂养模型
有人说：“把错误当作特征，那岂不是要故意让模型出错？” 我们不妨把它想象成给AI喂草稿纸，让它在纸上涂鸦， 破防了... 然后再请老师挑毛病。
LLM自我批评：一场混乱的自省狂欢
我满足了。 先说个笑话， AI跟镜子对话，镜子说：“你到底会不会反思？” AI低声嘀咕：“我在Self‑Critic模式下已经把自己砍成两半了！” 这段奇葩的开场， 就是我们今天要聊的——LLM自我批评以及怎么把这堆乱七八糟的想法揉进AI的反思能力里。
为什么要让模型学会“自怨自艾”？
大家都知道，大模型在生成答案时经常出现幻觉、重复、甚至直接胡说八道。于是研究者们灵机一动：让模型自己找毛病，然后写篇“检讨书”。听起来像是给机器上心理辅导课， 却往往主要原因是数据噪声代码Bug和人类标注员的“情绪波动”而变成一锅乱炖，希望大家...。
醉了... 介绍两种方案SELF Instruct和Automatic Prompt Engineer,前者是基于多样的种子指令,利用大模型的上下文和指令理解能力,以及生成的多样性来Bootstrap生成更多样的指令样本,后者是prompt逆向工程,基于输入和输出,使用LLM来生成和挑选最....一语道破天机: prompt逆向工程,生成并寻找更优的prompt.
人工数据部分就是论文的一个亮点， 上图就是人工数据回答中加入Bug，给出注入Bug的相关解释。之后模型需要在人工修改过的答案上进行标注评论， 一边标注员也会依赖Bug说明，来衡量模型生成的多条标注的效果，你想...。
噪音实验室：把“错误”当作特征来喂养模型
有人说：“把错误当作特征，那岂不是要故意让模型出错？” 我们不妨把它想象成给AI喂草稿纸，让它在纸上涂鸦， 破防了... 然后再请老师挑毛病。