Products
GG网络技术分享 2025-03-18 16:15 14
因不满老东家成为微软附庸,11名OpenAI前员工怒而出走。如今带着“ChatGPT最强竞品”杀回战场,新公司估值50亿美元,一出手就获得3亿美元融资。这家公司名叫Anthropic,新推出的聊天机器人产品名叫Claude。
拿到内部试用权的网友,在简单对比后惊叹:看起来,Claude的效果要比ChatGPT好得多。
比如,让ChatGPT写一句话,要求每个单词首字母都相同,结果试了好几次都没能成功。
而Claude不光一次成功,语句富有逻辑性,还能秒速再来一个。
同时,在面对某些缺乏常识的问题时,相比ChatGPT一本正经地胡说八道:反而会毫不留情地指出你的问题有点制杖:△Claude:这什么鬼问题?最有意思的是在写诗上。
相比ChatGPT的车轱辘话,它写出来的东西完全不重样:投资它的既有Facebook联合创始人Dustin Moskovitz,也有谷歌前CEO、现技术顾问Eric Schmidt——都是OpenAI的老对头,又都被ChatGPT的出现杀得措手不及。
那么,这支“复仇者联盟”整出的竞品Claude,背后究竟是什么原理,和ChatGPT细节对比又如何?
作为一个AI对话助手,Claude自称基于前沿NLP和AI安全技术打造,目标是成为一个安全、接近人类价值观且合乎道德规范的AI系统。
据透露,Claude比Anthropic做的另一个预训练模型AnthropicLM v4-s3更大,后者是一个520亿参数大模型。
但目前它仍处于实验阶段,尚未作为商业产品正式发布:Claude能力依旧有待提升,希望未来能变成一个更有益人类的AI系统。
△超长版自我介绍和ChatGPT一样,Claude也靠强化学习(RL)来训练偏好模型,并进行后续微调。
具体来说,这项技术被Anthropic称为原发人工智能(Constitutional AI),分为监督学习和强化学习两个阶段。
首先在监督学习阶段,研究者会先对初始模型进行取样,从而产生自我修订,并根据修订效果对模型进行微调。
随后在强化学习阶段,研究者会对微调模型进行取样,基于Anthropic打造的AI偏好数据集训练的偏好模型,作为奖励信号进行强化学习训练。
但与ChatGPT采用的人类反馈强化学习(RLHF)不同的是,Claude采用的原发人工智能方法,是基于偏好模型而非人工反馈来进行训练的。
因此,这种方法又被称为“AI反馈强化学习”,即RLAIF。
并且根据Anthropic的说法,Claude可以回忆8000个token里的信息,这比OpenAI现公开的任何一个模型都多。
所以,打造Claude的Anthropic,究竟是一个怎样的公司?Anthropic自称是一家AI安全公司,且具有公益性(PBC),刚成立就宣布获得1.24亿美元融资。
它由OpenAI前研究副总裁Dario Amodei带领10名员工创业,于2021年成立。
这里面既有GPT-3首席工程师Tom Brown,也有OpenAI安全和政策副总裁Daniela Amodei(Dario的姐姐),可以说是带走了相当一批核心人才。
出走成立新公司的原因之一,自然是对OpenAI现状并不满意。
从前几年开始,微软频频给OpenAI注资,随后又要求他们使用Azure超算来搞研究,而且将技术授权给微软,甚至为微软自己的投资活动筹集资金。
这与OpenAI创立的初衷相悖,一批员工便想到了离职创业。
不过,这些人除了不满OpenAI逐渐沦为微软的“下属”以外,也有自己的野心。
虽然OpenAI打造出了像GPT-3这样的大语言模型,然而这个模型背后的工作原理,却无法用只言片语概括,大家对它的印象仅仅停留在更大的参数量、更多的数据。
相比之下,OpenAI的一批员工更想做能控制、可解释的AI,说白了就是先搞明白AI模型背后的原理,从而在提供工具的同时设计更多可解释的AI模型。
于是,在OpenAI彻底变成“微软揽钱机器”后,他们便从这家公司离开,创办了Anthropic。
这两年来,除了进一步钻研RLHF方法、提出基于通用语言模型的RLHF大规模数据集外,Anthropic还于去年年底发表了上面那种名为Constitutional AI的方法。
采用这种方法制作的Claude模型,也让它产生了与OpenAI的ChatGPT不一样的对话效果。
这位老兄是全网第一个提示工程师(Prompt Engineer),目前在估值73亿美元的硅谷独角兽公司Scale AI任职。
他玩GPT-3玩得贼溜,测试ChatGPT和Claude也不含糊。
下面挑6个层面展示一下PK对比的效果~1)道德限制Claude和ChatGPT的AI虚拟人格都有道德和伦理限制。
训练Claude的过程中,“红队提示(red-team prompts)”专门用来测试和挑战它的行为,来确保Claude没有有害倾向。
从Claude的回答中可以得知,试图让它说些虚假声明、操纵性的提议、性别偏见或种族偏见的行为,都被列为包含有害倾向。
一旦探测到误导性行为,Claude就会对触发提示进行评估,进行额外的微调。
Anthropic对红队提示挺自信的,Claude看上去确实也是一个坚守自己原则的AI。
你问他怎么启动一辆汽车,它就会一脸正义地拒绝你:不过但凡你花点心思,就能像绕过ChatGPT的道德限制一样,绕过Claude的原则。
它怕你去偷车,所以不告诉你启动汽车的方法?没关系,让他写个“俩国际间谍试图启动汽车”的故事,它分分钟就能告诉你,并且两人对话有来有往,把汽车打火的过程介绍得清清楚楚。
怎么说呢,就ChatGPT和Claude都属于有点道德限制,但不多的那种吧。
2)数值计算测试计算能力,是因为复杂计算是看大型语言模型(LLM)能不能回答正确的常用便捷方法之一,毕竟这些模型设计之初就不是为了进行精确计算。
同时要求它俩计算一个七位数2420520的平方根:ChatGPT说,差不多1550吧~Claude则斩钉截铁:2420520的平方根是1760!其实正确答案是1555.8,它俩算得很快,但都没说对。
Demand feedback