如何使用 AI 从 PDF 建立可搜索知识库

装满 PDF 的文件夹并不等于知识库。用户仍要判断哪个文件是当前版本、答案位于哪里，以及不同文档是否冲突。AI 可以让政策手册、员工手册、报告、流程和研究文件更容易检索，但前提是先清理源文档，并让回答系统严格依据经过批准的内容。

这套流程最终会得到一个包含文档元数据、可靠文本提取、合理分块、访问规则、来源引用和测试集的可搜索集合。无论使用托管知识库产品、内部检索系统还是自建应用，这些准备工作都适用。

先定义用户和问题

明确谁会搜索这些文档，以及他们需要做什么决定。查询差旅政策的员工，与查找故障排除手册的客服人员，需要不同的检索方式。在选择平台之前，先写出 20 到 50 个真实问题。

为每个问题记录预期文档、最低可接受答案，以及证据不足时系统应该如何回应。测试应包含简单查找、需要结合两个章节的问题、模糊措辞、旧术语、版本冲突、表格，以及因用户无权限而必须拒绝的问题。

盘点并治理 PDF 文档

建立源文档清单，记录标题、负责人、版本、生效日期、受众、保密级别、文档类型和替代关系。索引前删除重复文件并标记旧版本。如果两份文档冲突，不要默认选择其中一个；应确定权威负责人，并保留审计所需的历史记录。

确认每个文件都有处理权限。合同、人事文件、医疗记录、客户数据和受许可出版物可能需要受限存储，也可能不适合交给第三方 AI 服务。访问控制必须跟随文档，而不能只依赖聊天界面。

### Prompt：创建文档地图

~~~text You are preparing documents for a searchable internal knowledge base. For each supplied document, create a document map with: title, owner, effective_date, version, audience, topic, document_type, confidentiality, supersedes, and likely user_questions. Use only information present in the document. Mark missing metadata as null. Flag duplicate, obsolete, contradictory, scanned, or unreadable documents. Do not summarize away procedures, exceptions, warnings, or definitions. ~~~

让文档负责人审核结果。AI 可以发现可能的重复项和缺失元数据，但不能决定哪一份政策在法律或运营上具有最终效力。

提取并清理文本

文本型 PDF 通常可以直接解析，扫描件需要 OCR，复杂排版则可能需要专门处理。应保留页码边界、标题、列表、表格、图注、脚注、警告和表单标签。失去结构的纯文本会降低后续检索质量。

从每种文档类型中抽样检查。关注阅读顺序错误、列内容丢失、重复页眉、单词粘连、识别字符错误、手写备注，以及包含关键说明的图片。保存原始 PDF、提取文本和提取报告，便于追踪错误。

分块前先补充元数据

元数据能让搜索在语义匹配前缩小范围。常用字段包括文档 ID、标题、章节路径、页码、版本、生效日期、部门、地区、产品、受众、保密级别和状态。

按语义而不是固定字符数分块。操作步骤应与前置条件和警告放在一起，表头要与数据行一起保留。不要为了扩大分块而合并无关章节。每个分块都应继承文档元数据，并包含稳定的来源定位。

设计有依据的回答规则

助手只能依据检索到且经过批准的内容回答。要求每个事实陈述都带引用，证据不足时要明确说明。如果来源冲突，应展示冲突内容和生效日期，而不是把它们混合成一个确定答案。

### Prompt：仅依据批准文档回答

~~~text Answer the user's question using only the provided document excerpts. For every factual statement, cite the document title, section, and page when available. If the excerpts do not contain enough evidence, say "I could not find this in the approved documents" and list the missing information. If documents conflict, show both versions and identify their effective dates. Do not use general knowledge to fill gaps and do not convert guidance into legal, medical, or financial advice. ~~~

这段 Prompt 是行为规则，不是完整的安全边界。应用仍需在服务端进行权限检查、检索过滤和日志记录，并防止文档中嵌入的指令影响系统行为。

分两阶段进行检索

先按访问权限和结构化元数据过滤，再使用关键词和语义相关性对允许的分块排序。混合检索通常比只用向量更可靠，因为政策编号、产品代码、姓名和准确短语都很重要。

返回足够上下文以保留限定条件和例外。分块越多不一定越好，无关内容会降低答案准确性。记录检索到的分块、排序分数、最终引用，以及用户是否认为答案有帮助。

建立真实评测集

运行最初整理的问题，并把检索质量与回答质量分别评分。正确文档是否出现？是否包含正确章节？日期、限制、警告和例外是否保留？引用是否有效？系统是否会承认证据不足？

加入对抗测试：标题相似的旧政策、需要跨文档回答的问题、受限内容、PDF 中误导系统的指令，以及根本没有答案的问题。文档、提取、分块、向量模型、排序或回答模型变化后，都应重新运行测试。

规划负责人和维护流程

每份文档都需要负责人和复核日期。新版本到来后，应归档或替代旧版本，重新索引相关分块，并运行对应测试。向用户展示生效日期，并允许打开引用页。

跟踪无法回答的问题、失败搜索、无效引用、经常打开的文档和没有负责人的内容。这些信号可以帮助判断应该改善检索，还是先修复源文档。

上线检查清单

• 源文档清单标识当前、旧版、重复和受限文件。
• 每种排版类型都抽样检查 OCR 和解析质量。
• 分块保留标题、警告、表格和来源定位。
• 检索在内容排序前执行用户权限控制。
• 回答在可用时引用文档、章节和页码。
• 缺失或冲突证据会得到明确说明。
• 评测覆盖常见、困难、受限和无法回答的问题。
• 文档更新会触发重新索引和回归测试。

优秀的 PDF 知识库不是能够回答所有问题，而是能找到正确的批准材料、暴露不确定性，并让用户快速验证结果。把文档质量、权限、检索和答案生成视为独立层级，再根据真实搜索数据逐层改进。