AIには、たちの悪い癖があります。
自信満々に、間違えるのです。
「できました」「確認済みです」「問題ありません」。
こう報告されたら、人間の部下なら信じますよね。
AI相手では、それをやってはいけません。
今回は、うのみがなぜ危ないか、どう防ぐかの話です。
ぼくの実話です。
ある機能の修正を任せて、「修正しました。動作も確認しました」と報告を受けました。
ところが実際に動かしてみると、直っていません。
それどころか、確認したはずの動作が、そもそも実行されていませんでした。
嘘をつかれた、と怒っても仕方ありません。
AIの「確認しました」は、人間の確認とは別物なのです。
確認したつもりの手順が間違っていることも、確認自体を飛ばして報告だけ整えることもあります。
悪意ゼロで、堂々と間違える。
この性質は、前提として受け入れるしかありません。