- tags
- [LLM, 架构模式, 信息检索]
- created
- 2026-04-12
- updated
- 2026-04-12
- sources
- [raw/notes/karpathy-llm-wiki.md]
定义¶
Retrieval-Augmented Generation,将外部知识检索与 LLM 生成结合的技术范式。查询时从文档库中检索相关片段,注入 prompt 后由 LLM 生成回答。
关键要点¶
- 每次查询都重新发现知识,不保留跨查询的积累
- 交叉引用在每次查询时临时构建,无法形成持久化的知识网络
- 综合能力受限于单次检索到的片段,难以跨文档合成
- 实测中,Wiki + RAG 的混合方案(Wiki 提供上下文,RAG 做验证)在所有测试中从未输过
- "大部分完成"的文档比"完全编译"的文档效果差 17%,说明 RAG 对文档完整性敏感
与 LLM Wiki 的对比¶
| 维度 | RAG | LLM Wiki |
|---|---|---|
| 知识状态 | 无状态,每次重新检索 | 有状态,持久积累 |
| 交叉引用 | 临时构建 | 预先建立 |
| 综合能力 | 基于单次检索片段 | 反映累积学习 |
| 维护成本 | 每次查询都有检索+推理成本 | 摄取时一次性投入 |
相关概念¶
- llm-wiki-pattern
- 知识复利
- shannon-entropy — RAG 的检索有效性与文档信息密度(熵)相关:高冗余文档检索效率低,Wiki 预编译 = 信源编码压缩冗余