GPT-4のしくみ

OpenAIの経営陣は、「今後はソースや情報を公開しない」とMicrosoftに云われて発表した為に、パラメータ数も100兆という否定された噂だけで、まったく判らなくなった。そこで、GPT-4をいじってみて”しくみ”を探ろうと思い、先人のWeb上の相談事例を元に、小生も身の回りの相談をしてみた。設定は、「若いエンジニアの怠慢により開発が遅れていることで悩んでいる上司」ということで、「どうすれば若いエンジニアにモチベーションを持たせて、やる気を起こさせるか？」などの相談をGPT-4へしてみた。いろいろ回答らしい返答は返ってくるが、その回答を否定した上で更に回答を求めると、また同じ回答が返ってくる。更にその回答を再度否定した上で、回答を求めると、また同じ回答が返ってきて、最後にその周辺の逆質問をしてくる。どうみても、質問の単語とその同義語や類義語から類似する記事を検索してきて、質問のKeyWordsをIndexにして、複数の記事からの要約文を回答文にしていることが判った。これは小生が20年前に「ズバリ要約」で採用した技術で、要約率もVeiwPoint視点も自由に設定できる技術と変わらない。GPT-4の進化は、「自然な文」になっていること。これは大規模言語モデルの恩恵…かな。結局、本来の意味理解をした上で、論理の展開をして、相談に対する回答や提案をしてくれている訳ではなく、単なるKeyWordsの類似性と構文解析Syntax上の繋がりだけで回答している技術は、隠す程の技術ではない。Syntax上の技術とContextやSemantic上の技術との違いは雲泥の差がある。「論理の展開」までできるようになるには、数十年は掛かる…と小生はみている。AGIなどはまだ夢である。これからはOpenAI社ではなくClosedAI社と社名を代えてくれ。いや、MicrosoftClosedAI社かな…。