ChatGPTやClaudeの中身は、大規模言語モデルと呼ばれる仕組みです。
名前はいかついですが、やっていることは一つだけです。
「ここまでの文章の続きに、どの言葉が来そうか」を当てる。
それを一語ずつ、ものすごい回数くり返しています。
「日本でいちばん高い山は」と入力されたら、続きの候補を確率で並べます。
最有力は、富士山。
それを選んだら、また次の続きを予測する。
このくり返しだけで、会話も要約も翻訳も成立してしまうのです。
ここで、大事な区別があります。
言語モデルは、事実の辞書を引いているのではありません。
インターネットや書籍の膨大な文章から、「言葉の並びのパターン」を学んでいます。
「富士山」と答えられるのは、そう書かれた文章を大量に見たからです。
理解して答えているのか、パターンで答えているのか。
この論争は、専門家の間でもまだ続いています。
使う側として大事なのは、「文章の統計から答えている」という仕組みの理解です。