# RAG 知识库实战：给本地商家搭一个能查能答的 AI 助理

> 一个真实落地方向：把商家文档、产品资料做成 RAG 知识库，本地模型 + 向量检索，让 AI 基于自己的资料回答。

RAG（检索增强生成）是当前大模型落地最稳的模式：不训练、不微调，把企业/店铺自己的资料"喂"给模型当外挂知识，让它基于依据回答，大幅降低幻觉。这篇以一个"本地商家 AI 助理"为例讲清楚完整链路。

## 一、为什么 RAG 是落地首选

大模型的两个短板——知识不新（训练截止）、内容易编造（幻觉），RAG 用检索解决：回答前先从私有知识库检索相关资料，模型只基于检索结果生成。三个关键收益：

- **知识更新零成本**：资料变了更新库就行，不用重新训练
- **可信度可验证**：每个回答都能附上"依据是哪份文档"
- **合规友好**：私有资料不出自己的环境，本地模型 + 本地向量库全链路可控

## 二、完整链路（四步）

**1. 文档处理**：文档（PDF/Word/网页）先做格式归一化。这里有个关键细节——**PDF 转 Markdown** 的质量直接决定后续一切：表格、列表、标题结构如果转丢了，切块就是乱的。结构化的 Markdown 是知识库的地基。

**2. 切块与向量化**：按标题层级切成语义完整的块（每块 300~800 字是常见区间），用 embedding 模型转成向量。注意：embedding 模型也要选支持中文的，切块粒度宁小勿大。

**3. 检索**：用户提问 → 向量相似度检索 Top-K 相关块。纯向量检索会漏掉精确匹配（型号、数字），**向量 + 关键词的混合检索**是工业级标配。

**4. 生成**：检索结果 + 问题一起给 LLM，prompt 里明确要求"仅基于提供的资料回答，资料没有就说不知道"。

## 三、本地部署的组合

- **LLM**：本地 27B Q4 量化模型（32GB 显存单卡跑通）
- **向量库**：Chroma / Qdrant 本地实例
- **编排**：Dify 或 LangChain 搭工作流，RAG 是内置节点

全链路不出内网：文档、向量、模型都在本地，商家最敏感的经营资料（价格表、客户资料、供应链）完全可控。

## 四、落地中的真实坑

1. **切块切碎了上下文**：表格被切成三行碎片，检索回来没法用——按标题切、表格整块保留
2. **检索准了生成还是胡说**：prompt 里没约束"基于资料回答"，模型自由发挥
3. **长耗时体验差**：检索 + 生成加起来十几秒，要加流式输出和"正在检索中"的反馈
4. **资料没做权限隔离**：不同客户的资料混在一个库里，A 客户的问题检索到 B 客户的资料——多租户必须分开建库

## 五、这个模式能做什么

- 商家：产品资料、FAQ、价格政策 → 自动应答
- 服务方：把客户的文档做成知识库，交付"专属 AI 助理"（文档 → 结构化 → 可检索，本身就可以作为交付物定价）
- 自己用：把读过的文章、笔记全部入库，随问随查

RAG 不性感，但它是大模型从"玩具"变"工具"的分水岭。

---
来源：https://laobanclaw.top/articles/rag-knowledge-base-business-case/（AI 军火库）