AIでPDFから検索可能なナレッジベースを作る方法

PDFが大量に入ったフォルダーは、まだナレッジベースではありません。どのファイルが最新版か、答えがどこにあるか、文書同士が矛盾していないかを利用者が判断する必要があります。AIは方針書、ハンドブック、報告書、手順書、研究資料を検索しやすくできますが、先に文書集合を整理し、承認済み資料に基づいて答える仕組みを設計しなければなりません。

この手順では、文書メタデータ、信頼できる文字抽出、意味のある分割、アクセス規則、出典表示、テストセットを備えた検索可能な集合を作ります。ホスティング型の製品、社内検索システム、独自アプリのいずれでも同じ準備を利用できます。

利用者と質問を先に定義する

誰が検索し、どのような判断をするかを明確にします。出張規程を調べる社員と、障害対応マニュアルを探すサポート担当者では、必要な検索動作が異なります。プラットフォームを選ぶ前に、実際の質問を20から50件用意します。

各質問について、正解がある文書、最低限必要な回答、証拠がない場合の動作を記録します。単純な検索、複数節を必要とする質問、曖昧な表現、古い用語、版の衝突、表、権限不足で拒否すべき質問を含めます。

PDF集合を棚卸しして管理する

タイトル、所有者、版、有効日、対象者、機密区分、文書種類、置換関係を含む台帳を作ります。索引化の前に重複を除き、旧版を明示します。文書が矛盾する場合は自動的に一方を選ばず、権限を持つ所有者を確認し、監査に必要な履歴を残します。

すべてのファイルを処理する権利があるか確認します。契約、人事資料、医療記録、顧客データ、ライセンス出版物は、制限された保管が必要で、外部AIサービスに適さないことがあります。アクセス制御はチャット画面だけでなく、元文書に従う必要があります。

### Prompt：文書マップを作る

~~~text You are preparing documents for a searchable internal knowledge base. For each supplied document, create a document map with: title, owner, effective_date, version, audience, topic, document_type, confidentiality, supersedes, and likely user_questions. Use only information present in the document. Mark missing metadata as null. Flag duplicate, obsolete, contradictory, scanned, or unreadable documents. Do not summarize away procedures, exceptions, warnings, or definitions. ~~~

文書所有者が結果を確認します。AIは重複候補や不足メタデータを見つけられますが、法務または業務上どの方針が正式かは決められません。

文字を抽出して整える

テキストPDFは通常直接解析できます。スキャン文書にはOCRが必要で、複雑なレイアウトには追加処理が必要です。ページ境界、見出し、リスト、表、キャプション、脚注、警告、フォーム項目を保持します。構造を失ったテキストだけでは、後の検索品質が下がります。

文書種類ごとにサンプルを確認します。読み順の崩れ、列の欠落、繰り返しヘッダー、単語の連結、誤認識文字、手書き注記、重要な説明を含む画像を点検します。原本PDF、抽出テキスト、抽出レポートを保存し、エラーを追跡できるようにします。

分割前にメタデータを付ける

メタデータにより、意味検索の前に対象を絞れます。文書ID、タイトル、節の階層、ページ、版、有効日、部門、地域、製品、対象者、機密区分、状態などが有効です。

固定文字数ではなく意味で分割します。手順は前提条件や警告と一緒にし、表の見出しは行と一緒に残します。大きな単位を作るために無関係な節を結合しないでください。各単位は文書メタデータを継承し、安定した出典位置を持つ必要があります。

根拠に限定した回答規則を設計する

アシスタントは、検索された承認済み内容だけで答えます。すべての事実に引用を求め、証拠不足を明確に伝えさせます。情報が矛盾する場合は、確信のある一つの答えへ混ぜず、両方と有効日を示します。

### Prompt：承認済み文書だけで回答する

~~~text Answer the user's question using only the provided document excerpts. For every factual statement, cite the document title, section, and page when available. If the excerpts do not contain enough evidence, say "I could not find this in the approved documents" and list the missing information. If documents conflict, show both versions and identify their effective dates. Do not use general knowledge to fill gaps and do not convert guidance into legal, medical, or financial advice. ~~~

このPromptは動作規則であり、完全なセキュリティ境界ではありません。アプリにはサーバー側の権限確認、検索フィルター、ログ、文書内に埋め込まれた指示への防御が必要です。

検索を二段階で構成する

最初にアクセス権と構造化メタデータで絞り、許可された単位をキーワードと意味的関連性で並べます。方針番号、製品コード、固有名詞、正確な語句が重要なため、ベクトルだけより複合検索が適する場合があります。

条件と例外を保てる量の文脈を返します。多く返せばよいわけではなく、無関係な情報は回答を悪化させます。取得単位、スコア、最終引用、利用者の評価を記録します。

現実的な評価セットを作る

最初に作った質問を実行し、検索と回答を別々に採点します。正しい文書が出たか、必要な節が含まれたか、日付、上限、警告、例外が保持されたか、引用が有効か、答えられないと認められたかを確認します。

似たタイトルの旧版、複数文書にまたがる質問、制限資料、PDF内の誤誘導指示、答えが存在しない質問もテストします。文書、抽出、分割、埋め込みモデル、順位付け、回答モデルが変わるたびに再実行します。

所有と保守を計画する

すべての文書に所有者と見直し日を設定します。新版が来たら旧版をアーカイブまたは置換し、関連単位を再索引化してテストを再実行します。有効日を表示し、引用ページを開けるようにします。

未回答質問、失敗検索、無効な引用、頻繁に開かれる文書、所有者不在の資料を追跡します。検索を直すべきか、元文書を改善すべきかを判断できます。

公開前チェックリスト

• 台帳で現行、旧版、重複、制限文書を識別している。
• 各レイアウトのOCRと解析品質をサンプル確認している。
• 分割単位が見出し、警告、表、出典位置を保持している。
• 順位付け前に利用者権限を適用している。
• 可能な場合、回答に文書、節、ページを引用している。
• 証拠不足や矛盾を明示している。
• 一般、難問、制限、回答不能の質問を評価している。
• 文書更新で再索引化と回帰テストを実行する。

優れたPDFナレッジベースは、すべての質問に答えるものではありません。正しい承認済み資料を見つけ、不確実性を示し、利用者が素早く検証できる仕組みです。文書品質、アクセス制御、検索、回答生成を別の層として扱い、実際の検索データで一つずつ改善します。