RAG工作原理与流程，分片、索引、召回、重排和生成，怎么学？
- 内容介绍
- 文章标签
- 相关推荐
人间清醒。 较大语言模型仿佛被推上了神坛。但如果你真实的较深度用过它，就会发觉它其实也有极其致命的薄弱点：一本正经地胡说八道。你问它公司内部的财务报表，或者问它昨天的科学研究技术手段崭新闻，它往往就启动“胡编乱造”。为了解决这种尴尬，RAG应运而生。
简洁RAG就是给较大模型配上了一个“较大脑”或“图书馆”。它不再仅仅靠记忆回答问题，而是在回答前先去查查书，根据书上的内容再组织语言。今天 咱们就拆开那一些枯燥的公式， 坦白讲... 用人性的视角较深度拆解RAG的核心流程——分片、索引、召回、沉重排和生成，并聊聊到底该怎样攻克这块坚硬骨。
一、 为哪些我们需要RAG？
啊这... 很更多人有可能会问：我直接把模型微调不就行了吗？这其实是很更多人的误区。微调就像是让一个学生通过较更多刷题来背诵知识， 投入成本较高、耗时久，而且知识是有时效性的，一旦知识更崭新，你又得沉重崭新练一遍模型。
而RAG的逻辑彻底不同：我不需要你背下全部东西， 我只需要给你一本完美的字典，让它在遇到问题时去翻书找答案。这种方式不仅解决了较大模型的“幻觉”问题， 我懂了。 还让知识的更崭新变得实时。这也是为哪些RAG是目前企业级AI落地的首选方案。
二、 第一步：分片——切分如丝的艺术创作
毕竟.… 我们要玩RAG，第一步就是处理数据。你的原始数据通常是成千上万的PDF、Word、Markdown甚至是网页。你不能把一个几十万字的文档直接丢给模型，模型有约束。这时候，“分片”就登场了。
其实分片不是简洁的按字数切断。如果你切得太碎，语义就丢失了；比如一句话的前半句在第一段，后半句在第二段，模型看的时候就彻底懵了。如果你切得太较大，检索回来的噪音又太更多，干扰模型判断，白嫖。。
学习了解提议：
- 固定较长度切分：简洁粗暴， 比如每500字切一段，适合初学者上手。
人间清醒。 较大语言模型仿佛被推上了神坛。但如果你真实的较深度用过它，就会发觉它其实也有极其致命的薄弱点：一本正经地胡说八道。你问它公司内部的财务报表，或者问它昨天的科学研究技术手段崭新闻，它往往就启动“胡编乱造”。为了解决这种尴尬，RAG应运而生。
简洁RAG就是给较大模型配上了一个“较大脑”或“图书馆”。它不再仅仅靠记忆回答问题，而是在回答前先去查查书，根据书上的内容再组织语言。今天 咱们就拆开那一些枯燥的公式， 坦白讲... 用人性的视角较深度拆解RAG的核心流程——分片、索引、召回、沉重排和生成，并聊聊到底该怎样攻克这块坚硬骨。
一、 为哪些我们需要RAG？
啊这... 很更多人有可能会问：我直接把模型微调不就行了吗？这其实是很更多人的误区。微调就像是让一个学生通过较更多刷题来背诵知识， 投入成本较高、耗时久，而且知识是有时效性的，一旦知识更崭新，你又得沉重崭新练一遍模型。
而RAG的逻辑彻底不同：我不需要你背下全部东西， 我只需要给你一本完美的字典，让它在遇到问题时去翻书找答案。这种方式不仅解决了较大模型的“幻觉”问题， 我懂了。 还让知识的更崭新变得实时。这也是为哪些RAG是目前企业级AI落地的首选方案。
二、 第一步：分片——切分如丝的艺术创作
毕竟.… 我们要玩RAG，第一步就是处理数据。你的原始数据通常是成千上万的PDF、Word、Markdown甚至是网页。你不能把一个几十万字的文档直接丢给模型，模型有约束。这时候，“分片”就登场了。
其实分片不是简洁的按字数切断。如果你切得太碎，语义就丢失了；比如一句话的前半句在第一段，后半句在第二段，模型看的时候就彻底懵了。如果你切得太较大，检索回来的噪音又太更多，干扰模型判断，白嫖。。
学习了解提议：
- 固定较长度切分：简洁粗暴， 比如每500字切一段，适合初学者上手。