AIの答えを確認する方法

このレッスンで学ぶこと

• ハルシネーションとは何か、なぜ起きるのか
• 答えのどこから確認すべきか：人名、数字、日付、引用、リンク
• 出典を求め、それを自分で確認する方法
• 事実とAIの推測を分ける方法

考え方

AIツールは、内容が正しいかどうかに関係なく、流暢で自信に満ちた文章を書きます。存在しない本や、誰も言っていない引用のように、もっともらしく聞こえるのに事実ではないものをツールが出すことをハルシネーションと呼びます。自信ありげに出てくる、誤った、または作り上げられた出力のことです。これは、モデルがありそうな文章を予測して書いているために起こります。AIはうそをついているわけではなく、自分が間違っていることにも気づいていません。

すべての言葉を確認する必要はありません。間違っていたら害が出る部分を確認してください。人名、数字、日付、引用、リンクは、法律、医療、お金に関わる内容と並んで、間違いが起きやすい箇所です。それぞれについて、一次情報にあたってください。元の文書、公式サイト、法律そのもの、本人が発表したものです。同じ主張を繰り返しているだけのブログ記事は、裏付けにはなりません。

AIに出典を求めることもできます。役には立ちますが、それで終わりではありません。示された出典は存在しないかもしれませんし、別の話題についてのものかもしれませんし、AIの言う内容が書かれていないかもしれません。開いて、その主張を裏付ける一文を探してください。見つからなければ、その主張は未確認として扱います。

最後に、AIに自分の答えを分類してもらいましょう。どの部分が出典やあなたが渡した資料にもとづいていて、どの部分が一般的な知識、推測、意見なのかです。この分類がいつも正しいとは限りませんが、どこから確認すればよいかがわかります。

例

小さな会社を経営する人が、次のように質問します。

四半期ごとの売上税の申告期限はいつで、遅れた場合の延滞金はいくらですか？
公式のルールへのリンクも教えてください。

答えには、日付、延滞金の額、リンクが示されています。読みやすい文章です。彼女はそれぞれを確認します。

• リンクを開くと税務署のサイトのページが表示されますが、内容は別の申告書についてのものです。
• 彼女の申告書についての税務署の公式ページには、彼女の地域について別の期限が書かれています。
• 延滞金については、彼女が見つけられた公式ページのどこにも書かれていません。

彼女は追加で質問します。

あなたの答えのうち、示せる出典にもとづいている部分と、一般的な知識や
推測にすぎない部分はどれですか？それぞれ別のリストにしてください。

AIは延滞金を推測のリストに移します。彼女は期限を公式ページから確認し、延滞金については税務署に電話で問い合わせます。AIは何を調べればよいかを見つける手助けをしましたが、彼女が実際に使った事実は、すべて一次情報から得たものです。

やってみましょう

1. 自分の住む町や仕事、趣味など、よく知っていることについて、好きなAIツールに事実を問う質問をします。
2. リンクつきの出典を少なくとも2つ含めるよう頼みます。
3. 答えに出てくる人名、数字、日付、引用にすべて下線を引きます。
4. それぞれの出典を開き、下線を引いた各項目を裏付ける一文をそのまま探します。
5. 各項目に「確認済み」「誤り」「見つからない」のいずれかの印をつけます。

終わったときには、主張ごとに状態を書いた短い一覧ができ、この分野でこのツールをどの程度確認する必要があるか、大まかな感覚がつかめているはずです。本格的なリサーチには、AIで調べて引用を確認するに進んでください。

このテンプレートをコピー

次の質問に答えてください：[あなたの質問]

そのうえで、答えを3つのリストに分けてください。
1. 私が確認できる出典のある事実。それぞれに出典の名前とリンクをつけてください。
2. 特定の出典にもとづかない一般的な知識。
3. 推測、前提、意見。

人名、数字、日付、引用について確信が持てない場合は、そのすぐ横にそう書いてください。出典を作り上げないでください。

AIに不確かな点を示すよう頼んでも、答えが正しくなるわけではありません。大事な部分は引き続き確認してください。

結果を確認する

• どのリンクも開けますか？それは元のページや公式ページですか？
• 出典には、AIが言っている内容が出典自身の言葉で書かれていますか？
• 人名のつづりは正しく、日付や数字は出典と完全に一致していますか？
• 引用は一字一句そのままで、名前が挙がっている本人が言ったものですか？
• 出典は、目的に合うだけ新しいものですか？ページに日付があるか見てください。
• 推測は事実からはっきり分けられていますか？

よくある間違い

• リンクが開くかどうかだけを確認する。実在するページでも、別の話題についてのものかもしれません。主張を裏付ける一文を探してください。
• 同じAIに「本当に確かですか」と聞く。新しい根拠がないまま同意したり、答えを変えたりすることがあります。代わりに一次情報を確認してください。
• 自信ありげな口調を正確さのしるしと考える。口調からは、内容が正しいかどうかは何もわかりません。それぞれの主張を出典で判断してください。
• すべてを同じ丁寧さで確認する。時間が足りなくなります。お金、健康、法律に関わる点や、公開したり送ったりするものなど、間違っていたら害が出るものから始めてください。