1. 先从“可搜索”说起为什么企业知识库需要多模态我这些年帮不同团队折腾过知识库从最早的 Wiki、网盘共享到后来的 Elasticsearch 全文检索再到现在的 AI 知识助手最大的感受是传统知识库只是把资料“存”下来了人还得自己翻、自己读、自己总结。哪怕你上了 Google 式搜索也依然停留在“关键词匹配”层面你知道文档里有这句话但你不知道它意味着什么更没法让 AI 基于它帮你干活。后来 RAG检索增强生成火了大家把文档切片、向量化、存进向量库再用大模型回答。这个阶段已经比纯搜索强很多但大多数落地项目仍然只处理 PDF 里的纯文本最多把表格拆一下。可真实企业的资料里全是 PPT 架构图、产品截图、流程图、老板手绘的草图、扫描件里的印章和签名、视频培训片段——这些统统被扔在知识库外面。这就导致一个尴尬的局面系统里存着大量视觉信息检索时却像“睁眼瞎”。所谓多模态知识库就是把文本、图片、表格、音频、视频这些不同形态的内容统一纳入知识体系让 AI 不仅能搜到“提到某个概念的段落”还能看懂图片里画的流程、表格里的关系、视频里演示的操作然后基于这些信息生成答案。这一步做扎实企业知识才真正从“可搜索”变成“可理解、可生成”。这篇文章我不聊太虚的概念直接按我的实操经验把多模态知识库的架构、选型、搭建步骤和常见坑讲清楚。适合企业内部的 AI 工程师、IT 负责人以及想在 rag 或 dify 这类框架基础上做二次开发的小伙伴参考。2. 多模态知识库的核心思路统一表征与混合检索2.1 为什么不能只用“文本切块向量化”的老办法绝大多数 RAG 项目长这样PDF 转文字按 512 或者 1024 字符切成 chunk用 bge 或 text-embedding 这类文本向量模型得到向量存进 Milvus / Qdrant / pgvector用户提问时再走一遍文本向量检索最后交给大模型生成。这套方案对纯文字报告没问题但一碰到“图片里的流程”“表格里的数据关系”就直接歇菜。比如公司有个架构图图中用红框标注了“研发需求从 CRM 进入后自动同步到项目管理系统”。全文检索只能看到图片的文件名“架构图.png”你搜“CRM 自动同步”根本匹配不到。多模态方案的关键是先让模型把图片内容“翻译”成机器能理解的向量或语义描述再做检索。这涉及两个能力视觉理解看懂图里有什么和跨模态对齐让图片和文字能够互相检索。我的建议是不要陷入“多模态就一定要端到端一个大模型看懂一切”的迷思。真实成本可控的做法是用多模态模型把非文本内容“转译”成结构化的文本或图像描述再和文本内容一起进入向量库同时保留原始文件本身在生成答案时把相关图片或表格片段作为上下文喂给支持视觉输入的模型。这条路线落地稳、可控性强也方便排查问题。2.2 混合检索才是多模态知识库的骨架多模态知识库的“理解”分两层一层是模型对内容语义的理解一层是业务对检索结果粒度的要求。只靠向量相似度召回经常会召回一堆“意思差不多但没说清”的段落因为向量检索擅长模糊语义匹配却不擅长关键词精确匹配、数字范围匹配、关系链匹配。所以实际项目中我会用混合检索关键词检索BM25 / Elasticsearch 向量检索 知识图谱关系检索。关键词负责精确命中比如查“版本号 V2.3”就必须精确拿到含 V2.3 的段落向量负责处理同义表达比如用户问“怎么申请报销流程”向量可以召回讲“费用报销步骤”的文档知识图谱则负责多跳关系比如“A 项目依赖 B 模块B 模块的负责人是谁”这需要实体关系链不是单纯的文本相似度能解决的。混合检索还有一个重要原因是多模态内容经过“视觉转译”后会引入描述偏差。如果用双路召回在合并排序时让文本路和视觉路分别给出证据人工更容易判断“AI 到底是从哪段资料里找到答案的”。这一点在企业场景特别重要因为大家不敢用黑盒。2.3 表格与图表应该单独建模企业知识库里表格和图表是隐藏的重灾区。PDF 里的表格如果直接转成纯文本原有的行列关系和表头结构会丢失AI 回答时经常张冠李戴。比如一个设备参数表转成文本后变成“型号 A100内存 80G型号 A200内存 160G”模型很难把“A200”和“160G”正确关联。我的处理策略是“表格还原 结构化存储”。遇到表格先通过解析工具还原成 Markdown 表格或 HTML 表格再单独做行级切分。查询时如果问题涉及数值比较或属性查询优先走表格结构化检索如果问题比较宏观比如“这个产品线和平台有什么关系”把表格转换成自然语言描述后走语义检索。图表则不同折线图、柱状图最好让多模态模型输出“趋势描述”比如“2023 年第一季度销售额呈上升趋势6 月达到峰值”让这种描述成为图表的文本代表。3. 工具选型不要迷信“最火”的要选能接地的3.1 多模态嵌入模型与视觉理解模型的分工先澄清一个容易混的概念多模态嵌入模型和多模态理解模型并不是同一个东西。嵌入模型如 CLIP、SigLIP、E5-V 这类负责把图片和文本映射到同一个向量空间用来计算相似度理解模型如 Qwen-VL、InternVL 这类负责详细“描述”图片内容输出自然语言。在实际搭建知识库时我会把两者都用到但分工不同。嵌入模型用于检索阶段的跨模态召回离线把图片向量化在线把问题向量化。理解模型用于入库阶段的“内容转译”把复杂图表、流程图、截图变成高质量的语义描述同时也可以用于生成阶段的多模态问答。如果你不想维护两套模型也可以只用理解模型做边做检索边做转译让视觉语言模型直接生成图片描述再用文本嵌入模型对描述做向量检索。这样模型管理简单但检索精度会打折扣因为图片描述丢失了部分视觉细节。3.2 RAG 框架与向量数据库选择建议现在的开源工具很多Dify、Quivr、FastGPT、RAGFlow 这些都是成熟方案。我个人的感受是Dify 适合团队想快速上线、工作流可视化调试的场景RAGFlow 对复杂的 PDF 解析有更好的开箱体验尤其是带表格、多栏布局的文档如果你想深度定制检索链路直接用 LangChain 或者 LlamaIndex 比较舒服但工程复杂度会明显上来。单并不是框架越重越好。团队如果只有两三个人维护我建议优先选一个支持“多模态文件上传 向量库可视化 重排序”的框架比如 Dify底层接好模型 API 和向量库能省一半的活。向量数据库的选择取决于并发量和数据规模。百万级向量以内pgvector 就够用了复用现有的 PostgreSQL不用额外引入中间件百万到千万级用 Milvus 或 Qdrant 更稳Qdrant 对内存限制更友好Milvus 更适合大规模分布式。我这里倾向于 Qdrant因为它的过滤条件好用、部署简单。3.3 重排序Rerank与多路召回合并企业知识库和高大上的 AI Demo 有一个重要区别企业问题通常会带很多限定条件比如“去年的 Q3 季度报表里华南区的收入是多少”。如果只用向量检索很可能召回一堆“华南区收入”的相关段落却把“Q3”和“去年”这种时间限定词忽略了。这时候重排序模型就很重要。流程上先用多路召回拿到比如 50 条候选然后交给 bge-reranker 这类交叉编码器重新打分。重排序模型的输入是“问题 文档对”它能更精细地判断问题和文档之间的真实相关度。经过重排后只取 top10 给大模型回答质量和引用的准确度都会有明显提升。我见过很多团队跳过了重排这一步认为多此一举。但实测下来加入重排后Top5 命中率能够提升 15% 到 30%尤其是问题带数字、人名、时间这些实体时收益非常显著。重排模型的推理成本不高值得每个知识库都配一个。4. 实操过程从收集资料到问答联调完整走一遍4.1 第一步盘点资料并规划模态处理策略动手之前先盘资产。我会把资料分成几类文本型文档Word、TXT、部分 PDF直接抽取文本。版式复杂文档扫描 PDF、公司盖章文件、带多栏的合同先 OCR再做版面分析。图片型资产产品图、截图、流程图、白板照片走视觉理解模型转译。表格类资产Excel、CSV、PDF 里的表格还原表格结构行级切分。音视频资产培训视频、会议录音先转写文字然后对关键画面抽帧处理。这一步的核心是“摸底”。你不清楚资料分布后面的解析和切片策略都是空中楼阁。我记得有一次给客户做知识库对方说他们资料主要是 Word 文档结果扫描 PDF 占了三分之一幸好提前按类型做了统计否则用普通文本抽取器处理扫描件所有文字都会变成乱码。4.2 第二步解析、切分与转译的细节文本解析要区分“提取文本”和“保留结构”。对于 PDF优先用 pymupdf 或者 RAGFlow 的深度文档解析不要直接用 pdfplumber 一个库硬扛全部。扫描件必须要走 OCR中文场景我用 PaddleOCR 或 TesseractPaddleOCR 的表格识别能力更强适合需要保留行列结构的场景。识别完每个 block 的位置信息后按照阅读顺序重组段落而不是简单地按坐标排序。多模态转译这一步的提示词很关键。我会设计一个转译提示词要求视觉模型输出“图的类型、核心对象、对象之间的关系、关键数据点和异常点”。比如产品架构图模型需要输出“图中包含入口层、业务层、数据层入口层包含小程序和 Web 端业务层与数据层通过 API 交互”。这个描述入库后用户即使不搜图片名也能通过“小程序和 Web 端是什么关系”这类问题把图片召回。切片时不要机械地按固定字数切。我常用的策略是Markdown 标题结构优先保持语义完整如果一段超过 800 字再按段落和句子边界二次切分。切完要注意给每个 chunk 打上来源标签包括文档 ID、页码、文件名、模态类型。这样检索时才能按照业务维度过滤比如“只看某年的文档”或“只看图片类知识”。4.3 第三步搭建向量库索引与检索链路我把流程画在这里不用代码直接看逻辑就能理解用户输入问题先判断问题是否需要走多模态检索。如果问题里包含“图”“表”“截图”等提示词可以优先走视觉通道。同时发起关键词检索和向量检索。关键词检索用 Elasticsearch 或 PostgreSQL 自带全文索引向量检索用刚才构建好的向量索引。两条路各取 Top50合并前先做过滤。过滤条件包括时间范围、部门范围、文档类型、权限标签。对合并后的候选文档做重排序取 Top5 到 Top10。把选定文档的文本内容或者图片转译描述以及图片原图链接一起组装成 Prompt交给大模型。大模型生成答案并且必须提供引用来源。这一步不管用什么框架都要做没有来源的 AI 回答在业务侧完全没有说服力。Dify 在里面的角色就是帮你把这几步串起来。在 Dify 中创建知识库时要关闭“直接使用上传文件原始内容”的选项开启“视觉模型预处理”让它先对图片生成描述。在知识检索节点里选择“混合检索”模式同时挂上重排序模型。下面的截图配置我只讲关键值TopK召回候选数可以设 20。Score 阈值0.2 到 0.3 之间具体看向量库和模型分布。Rerank TopN5 到 8。相似度计算方式常见的是余弦相似度用默认即可。4.4 第四步多模态问答生成的安全与权限控制企业知识库最容易翻车的不是技术而是权限。你不能让一个普通销售通过 AI 问出全公司的薪资结构。所以在建立知识库时最晚在切分阶段就要给每个 chunk 打上权限标签。常见做法是文档级别的 ACL比如只有 manager 群组可以检索包含“薪酬”标签的 chunk。向量库支持 Metadata 过滤Qdrant 和 Milvus 都可以在查询时带上 filter例如group in [all, sales]。大模型生成阶段不要只依赖库内过滤还要在 Prompt 里明确“如果问题涉及非授权范围直接回答无权限”。我见过把向量库权限做在应用层结果召回时就已经把敏感内容带进了候选集虽然最终答案被过滤了但大模型已经接触到了内部信息存在泄露风险。正确做法是过滤在召回前完成让大模型根本看不到无权限的内容。接口侧也要做限流和审核用户不能通过构造特殊 Prompt 绕过权限。5. 常见问题与排查技巧实录5.1 图片转译后召回不准答案引用张冠李戴这个问题很常见我们曾处理过一张订单流程图视觉模型输出描述时漏掉了“审核不通过会退回修改”这条分支导致问答系统在回答“审核失败后订单怎么处理”时完全找不到依据。排查后发现图里这个分支画在右下角颜色很浅模型默认忽略了。解决办法有两个在转译提示词中强制要求“描述每一个箭头方向、每一个分支和循环不允许只说主要流程”。对关键业务图进行人工校验。可以在知识库管理后台给每张图配一个“人工确认描述”的字段让业务人员看一遍转译结果。这个成本不高但能大幅提升问答的可信度。另外检索不准还有个常见原因是切分粒度太粗。一个 chunk 里既有图片描述又有大段无关文字重排序模型分数被“无关文字”稀释。解决方法是把图片转译描述存成独立的 chunk并在 Metadata 里标记modality: image检索时如果问题涉及图可以单独提高这类 chunk 的权重。5.2 向量维度对不上、模型切换后历史数据失效很多团队一开始用开源的 text-embedding 模型向量维度是 768后来又换成 OpenAI 的 embedding 模型维度变成 1536结果向量库里的旧向量和新向量没法一起检索。这个坑我踩过多次建议从第一天起就把“向量模型版本”写入向量集合的命名中例如emb_v2_bge_m3_collection。每次更换向量模型时新建一个集合通过后台任务把全量文档重新向量化。不要试图在老集合上追加不同维度的向量会越搞越乱。嵌入模型的选择也很关键。中文企业场景bge-m3 是一个很稳的基础选择它在中文检索上表现好而且支持稠密检索和稀疏检索。如果你的资料包含大量英文技术文档混合使用多语言模型会更合适。总之不要频繁换模型换一次就要全量重建一次索引成本不低。5.3 回答内容看似合理但引用来源是无关段落这其实是“幻觉”的一种但根因往往在检索而不是生成。我们调试过一个案例用户问“X 接口的超时时间怎么设置”系统引用了一份用户手册但引用的段落里只提到了“设置超时时间”几个字没有任何具体数值。原因是向量检索只做了文本相似度匹配没有理解“怎么设置”这个操作意图。排查时我们把 Top20 候选拉出来看发现相关的手册明明在第 38 页但因为切分时把表格和正文混在一起关键参数被冲散。解决方案分三点表格内容单独走结构化通道不要和正文混在一个 chunk。在问答 Prompt 中要求大模型返回答案时附带“使用到的参数值所在位置”如果找不到具体数值必须说明“没有找到明确值”。对高频问题做回归测试集。每改一次检索策略就跑一遍 200 条问答对看正确引用率有没有提升。没有回归测试的 RAG 项目最终都会退化。5.4 多模态文件入库太慢全量扫描不可行一个上千页的 PDF 加上几百张产品截图如果全量走一遍视觉模型转译费时又费钱。我的建议是分层处理对于文本型 PDF不要跑视觉模型只做文本解析。对于包含图表的 PDF先通过布局分析定位图片区域只把图片区域截取出来交给视觉模型而不是整页喂给它。对于视频资料先按场景抽关键帧每 5 秒抽一帧再用视觉模型判断这一帧有没有文字信息或图形变化如果没有就跳过。入库任务用异步队列来做不要同步阻塞。Dify 里虽然上传文件是同步等待的但大批量导入最好自己写脚本调后台 API 批量创建文档否则浏览器会超时。我这里会建议用 RabbitMQ 或 Redis 消息队列做任务分发视觉转译服务做好幂等控制避免任务重复执行。6. 从“可理解、可生成”到“可推理”多模态知识库的下一步6.1 用知识图谱补齐关系链推理纯向量检索的另一个短板是缺少关系链推理。比如“我们数据库里有哪些表结构关联到了客户主数据并且被风控服务调用”这类问题如果朴素检索你需要先找到“表结构文档”再找“风控服务文档”再自己脑补它们之间的关系。图谱型知识库能显著改善这个问题。我的做法是在多模态知识库之上叠加一层轻量知识图谱。不是上来就搞复杂实体抽取而是先抽出核心实体和关系系统名称、模块、接口、责任人、业务对象这些高频实体。从多模态转译描述中一并提取三元组存到图数据库 Neo4j 或开源关系型数据库里。当用户问题涉及“A 依赖 B”或“C 的负责人是谁”系统走图查询路径和向量检索结果合并后一起作为上下文。搭建成本没有想象中那么高。我们用 Qwen-VL 对一批架构图做实体抽取把图中的节点关系和 OCR 出来的文字结合先半自动建了一版图谱人工修正了大概 20% 的关系效果就已经远超纯文本 RAG。后续每次新增资料图谱可以增量更新不用全量重建。6.2 让多模态知识库成为 Agent 的工具知识库最终不只是“问答机器人”它应该成为企业内部 Agent 的“记忆体”。例如运营同学让 Agent 写一份“新版本功能发布说明”Agent 需要先搜索产品需求文档再看产品截图最后还要参考历史发版模板。没有多模态知识库Agent 只能拿到一堆文本没法自动“看懂”截图中的功能位置。在架构上我会把知识库封装成一个工具函数名比如search_knowledge_base(query, filters, modality)。Agent 在规划阶段自主决定用纯文本检索还是加上图片检索。当返回结果中存在图片时Agent 可以读取图片原始链接并结合当前对话内容继续推理。这个能力在客服工单自动分类、销售话术生成、产品培训材料生成场景下非常实用。Dify 里可以把知识检索节点作为一个工具集成到 Agent 应用里并让 Agent 自行决定资源引用。但要注意Agent 自主调用工具时容易检索过多内容需要给工具加上“最大返回数量”限制同时要求 Agent 在每一步都输出引用来源方便追溯。6.3 我推荐的最小落地路径如果你今天刚开始我建议不要盲目照搬大型企业的全套架构。最小可落地路径是先选一个支持多模态上传的 RAG 框架比如 Dify 或 RAGFlow。用 bge-m3 做检索模型接 BGE Reranker图片转译先用 Qwen-VL 或者 GPT-4o 这类 API不用一开始就本地部署。最多处理 10 份核心业务文档跑通“文本图片表格”三类内容的问答。建立 100 条左右的业务测试问题集每两周做一次正确率回归。等验证有效后再考虑接入知识图谱和 Agent 工作流。这个思路的目的是先用最小成本拿到业务反馈。技术架构本身不复杂复杂的是数据治理和评估体系。最后说一点我在实际落地中的体会多模态知识库的成败80% 取决于内容解析质量和业务语义理解只有 20% 取决于模型和框架。不要一上来就追最新的多模态大模型先把手头那几千份混合格式文档清洗干净把图片转述、表格还原和权限标签做好。这些脏活累活做好了哪怕你用的模型不是最顶级的产出的知识库都已经能让业务方觉得“AI 真的懂我们”。反过来如果连 PDF 里的表格都还原不对再强的模型也无法给出有依据的答案。希望这篇文章能帮你避掉我踩过的大部分坑把多模态知识库真正做成企业愿意天天用的工具。
