RAG 技术背景

如何让大模型回答 原本训练数据中不存在的答案

Untitled

两种技术路线

fine-tune 和 Rag

fine-tune 让模型学新东西

Rag 是依靠 LLM 自身的推理，理解，总结的能力

功能比较 RAG 微调fine-tune
知识更新 直接更新知识库，保持信息最新，无需频繁再训练。✅ 存储静态数据，需要再训练更新。
外部知识 熟练使用外部资源，适用于各种数据库。✅ 将预训练的外部知识对齐，但不适用于频繁变化的数据源。
数据处理 需要最少的数据处理。✅ 依赖高质量数据集，有限数据集效果不佳。
模型定制 专注信息检索，无法完全定制模型行为。 允许调整LLM行为、写作风格或特定领域的知识。✅
可解释性 答案可追溯至具体数据来源，提供更高可解释性。✅ 像黑盒子，不易解释模型反应原因。
计算资源 需要计算资源支持检索策略和数据库技术。 需要高质量训练数据集和计算资源。
延迟要求 涉及数据检索，可能有较高延迟。 微调后的LLM响应延迟较低。✅
减少幻觉 较少出现幻觉，每个答案基于检索证据。✅ 训练模型可减少幻觉，但不熟悉输入仍可能出现幻觉。
伦理和隐私问题 存在存储和检索文本的伦理和隐私问题。 可能因训练数据中的敏感内容引发伦理和隐私问题。