生成AIが示した出典をどう検証するか——存在確認だけでは足りない

生成AIがNISTの生成AIリスク管理文書を根拠として示した。題名も文書番号も自然で、PDFへのリンクも開く。ところが先頭には、その文書が撤回され、2024年7月の最終版へ置き換えられたと書かれていた。資料は実在したが、現在の根拠として使う版ではなかった。[1][2]

生成AIが示した出典は、回答時の候補を固定する。次に正規の公開元や識別子から実在を確かめ、著者、題名、日付、版、公開状態が同じ資料かを照合する。最後に原文の該当箇所を読み、主張の対象、範囲、条件、強さを支える場合だけ使う。

カナダ政府は、生成AIが誤った内容だけでなく、存在しない情報源を返す場合があると注意する。NISTも、生成AIが回答を正当化するように見える虚偽の引用を作り得ると整理する。そのうえで、出力に含まれる情報源と引用の確認を提案している。[1][6]

本稿で扱うのは、AIがすでに示した一件の出典である。記事全体の主張漏れや公平性、法務・医療・金融の専門判断、引用の転載許諾は別に確かめる。実在、同一性と状態、内容適合を順に見て、採用、限定、差し替え、保留を決める。

まず、出典候補を固定する

検証はAIへ同じ質問をやり直す前に始める。最初の回答にある主張、資料名、著者または発行主体、日付、版、文書番号、URLやDOI、引用文をそのまま保存する。足りない項目は推測で埋めず、空欄として残す。これが照合する出典候補になる。

再生成すると、別の題名やURLへ差し替わり、最初の誤りが見えなくなることがある。二回目の回答が整っていても、一回目の出典が正しかった証明にはならない。再生成は新しい検索候補を得る行為であり、元の候補を確かめる行為ではない。

• AIが支えようとした主張：主語、動詞、対象、時点、範囲を含む一文
• AIが示した情報：題名、著者・発行主体、公開日、版、文書番号、URL・DOI
• AIが示した箇所：ページ、節、表、引用文。なければ空欄
• 生成条件：利用したサービスと版、回答日時、検索・参照機能の有無
• 未確定：表記の揺れ、欠けた項目、開かなかったURL、AI自身の留保

今回の候補は、`Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile`、発行主体はNIST、文書番号はAI 600-1、リンク先はInitial Public Draftである。PDFは開くため、URLの存在だけを見る検査なら通過する。

しかし、AIが支えようとした文も固定しなければならない。ここでは `NISTは、生成AI出力の情報源と引用を検証するよう提案している` とする。出典候補と主張を分けて残せば、正しい資料へ差し替えた後も、原文がこの強さまで支えるかを確認できる。

生成AIがページ番号や引用文を示した場合も、正しいとみなさない。引用符の内側まで候補である。文書内検索で似た語を見つけたら、前後の段落、見出し、注記を開き、誰が何をどの条件で述べているかを読む。

AIに検索候補の整理を任せることはできる。ただし、別のAIへ同じ出典を尋ね、同じ答えが返っても独立した裏づけにはならない。AI回答を読まずに中継するミート・プロキシを、検証工程の中で繰り返さない。

実在と同一性を分ける

実在確認では、AIが示したURLだけをたどらない。題名、著者・発行主体、文書番号、DOIを組み合わせる。発行元の公式サイト、所管機関の文書一覧、出版社のページ、識別子の登録情報から独立に探す。検索結果の要約ではなく、正規の記録へ着地する。

見つからない場合は、すぐに `架空だった` と断定しない。題名の翻訳、著者名の順序、旧組織名、報告書番号、URL変更を調べる。それでも正規の記録と本文へ到達できなければ、存在を確認できない出典として保留し、公開根拠には使わない。

DOIは学術文献の同一性を確かめる有力な手掛かりになる。DOI Foundationによれば、DOIは対象を一意に特定し、継続的に追跡できる識別子である。DOIを解決すると、対象を示すWebページやデータベースの記録へ移動できる。リンク先が変わっても、識別子と対象の関係を維持する仕組みである。[3]

ただし、DOIが解決することは品質保証ではない。DOIが指す対象と、AIが挙げた題名、著者、年、版が一致するかを確かめるための情報である。研究設計が妥当か、結論が正しいか、目の前の主張を支えるかは、その先で本文を読む必要がある。

DOIがない行政資料やWebページも特定できる。発行主体の正規ページ、文書番号、公開日、更新日、版、ファイル名を組み合わせる。同じ題名でも、概要版と本文、会議資料と確定文書、英語版と日本語版、旧版と改訂版は別の資料として扱う。

NISTの旧PDFは、冒頭に `Withdrawn Draft` と示す。撤回日は2024年7月26日で、置き換え先は最終版のNIST AI 600-1である。旧版が実在する事実は変わらない。だが、現在のNISTの提案を示すなら、最終版のDOIと発行ページへ差し替える。[1][2]

NISTの公式発行ページには、最終版の公開日、報告書番号、DOIと、Reva Schwartzを含む8人の著者が記録されている。これらは、いま見ている文書を特定する証拠になる。ただし、著者やDOIが確認できても、本文の主張が正しいと保証されたわけではない。[10]

公開後の状態も見る。CrossrefのCrossmarkは、訂正、撤回、更新など、研究成果の現在の状態を見つけやすくする。Crossref自身も、Crossmarkの存在を保証とはしていない。発行元が登録した更新情報を確認する入口として使う。[4]

NISOは、撤回、削除、懸念表明の状態が曖昧だと、無効になった研究が無批判に使われ続けると指摘する。原文だけでなく、発行元の訂正文、撤回通知、更新履歴、書誌情報を読む。旧版を歴史の資料として使うなら、旧版であることと置き換え先を明記する。[5]

本文が支える範囲を読む

同じ資料へ到達しても、確認は終わらない。出典の役割は、資料名を添えて文を権威づけることではなく、読者が主張を原文へ戻して確かめられるようにすることだ。ページ、節、表、図、注記まで進み、該当箇所と前後を読む。

NIST AI 600-1最終版には、生成AI出力の情報源と引用を確認するよう提案する項目がある。対象は、導入前のリスク測定と継続監視である。したがって、先ほど固定した `NISTは確認を提案している` という文は、最終版の範囲で支えられる。[1]

一方、この箇所は `出典リンクが付けば正確である` とは述べていない。本稿の実在、同一性・状態、内容適合という三つの照合も、NISTがその名称で定めた標準ではない。複数の公開資料からCONTEXT編集部が実務用に整理した手順である。

主張と原文は、名詞だけでなく動詞を比べる。原文が `検討する` なら、原稿で `義務づける` と強めない。`関連する`を`原因である`へ、`一部の回答`を`利用者全体`へ、`2024年時点`を現在の不変な事実へ広げない。

• 主体：原文で行為や結果を述べているのは誰か
• 対象：どの製品、制度、地域、集団、データを扱うか
• 時点：調査、公開、更新、出来事のどの日付か
• 範囲：母数、期間、除外条件、適用場面は何か
• 強さ：事実、観察、相関、提案、義務、予測のどれか
• 留保：例外、反対結果、注記、測定限界が近くにないか

正しいページへ結ぶことも内容適合の一部である。カナダ政府のAIヘルプ向け指針は、パスポート窓口を尋ねた人には窓口ページを示す。一方、どの申請書か曖昧な人には、先に条件を聞く例を挙げる。権威あるサイトのどこかではなく、問いに合うページへ結ぶ。[7]

一次資料でも、すべての主張を支えられるわけではない。所管機関の文書は制度の条文や発表内容に近いが、制度の効果をその機関の発表だけで確定できるとは限らない。研究なら、対象集団、比較方法、測定、利益相反、訂正状態まで読む。

産総研の生成AI品質マネジメントガイドラインも、RAGが取り込んだデータの妥当性までは扱わず、目的達成に有用かを別に評価する必要があると説明する。適切な外部データはハルシネーションを減らし得る一方、知識衝突などのデータ品質も評価しなければならない。AIが資料を取得したことと、その資料が今回の主張に適することは分けて考える。[9]

該当箇所を読んだ後の処置は四つに絞れる。直接支えるなら採用する。一部だけなら原稿をその範囲へ限定する。別の版や資料なら差し替える。本文へ到達できない、状態が分からない、条件が合わないなら保留する。出典の見栄えを保つために、強い文を残さない。

更新後もたどれる記録を残す

検証の成果物はブラウザの履歴や原稿末尾のリンク集ではない。AIが示した候補と、最終的に採用した資料、該当箇所、判断、原稿上の処置を一行で結ぶ。別の担当者が同じ結論へ到達できる粒度を目指す。

• 生成時候補：AIが示した題名、著者、日付、版、URL・DOI、引用文
• 正規の資料：発行主体、正規URL、識別子、正式題名、版、公開日
• 公開状態：現行、訂正、撤回、更新、旧版と、確認した場所・日付
• 該当箇所：ページ、節、表、段落と、前後を含む要点
• 内容適合：支える主体、対象、時点、範囲、条件、主張の強さ
• 処置：採用、限定、差し替え、保留と、確認者、確認日

日本ファクトチェックセンターは、情報源と検証過程を可能な限り開示し、第三者が検証を再現できるようにすると説明する。対象、検証過程、判定を分け、情報源の信頼性と必要な文脈も確認する。社内の出典台帳も、判断の再現性を持たせる。[8]

引用や要約では、生成前の原本も残す。文字起こしAIではverbatimを原本にするのと同じく、後から整えた文だけでは、どこを省き、どの留保を落としたか分からない。権利と保存期間を決め、必要な範囲で原文位置を追えるようにする。

来歴と真偽も混ぜない。Content Credentialsは真偽の印ではないと整理した通り、誰がいつ作った資料かを確かめる情報と、そこで述べられた主張が正しいかは別である。DOIや発行元の表示も、本文を読まなくてよい印にはならない。

公開後に訂正や撤回が出たとき、出典台帳からその資料を使った記事やFAQを探せるようにする。文書番号やDOI、版を検索可能な項目として持ち、状態を再確認する日または更新通知の受け取り方を決める。リンク切れだけでなく、リンクが開いたまま状態が変わる場合も追う。

旧版や撤回済み資料を一律に消す必要はない。改訂の経緯や当時の判断を扱う記事では、その状態自体が重要な証拠になる。現在の推奨や有効な制度を支える資料として使うなら、旧版であること、置き換え先、現在との違いを読者が誤認しない形で示す。

まず、手元の生成AI回答から一つの出典を選ぶ。候補を再生成せず、題名、発行主体、日付、版、URL、引用箇所を写す。正規の公開元で同じ資料と現在の状態を確かめ、原文が支える範囲まで主張を狭める。最後に、採用、限定、差し替え、保留と理由を残す。リンクが開くのは最初の照合であり、根拠として使えるかは、その先で決まる。