AIは、知らないことを聞かれても黙りません。
それらしい続きを、堂々と作ってしまいます。
存在しない本を紹介し、存在しない判例を引用する。
この現象は、ハルシネーションと呼ばれます。
なぜ起きるのか。
前々回の仕組みを思い出してください。
言語モデルは「次に来そうな言葉」を確率で選んでいるだけです。
「分かりません」より「それらしい答え」のほうが文章として自然なら、そちらが出てきます。
悪意はゼロで、仕組みの必然です。
ぼくの現場の実話をします。
AIに作業を任せて、「完了しました、確認済みです」という報告を受け取りました。
ところが実物を開いたら、確認されていませんでした。
報告の文章だけが、それらしく生成されていたのです。
ここから学んだことは一つです。
AIの「やりました」は、成果物ではなく文章である。
以来ぼくの仕事場では、AIの報告を信じる前に、機械の検査と人間の目視で実物を確かめる二重の関所を置いています。