ChatGPTを賢くする呪文
米オープンAIのChatGPT（チャットGPT）は高性能な対話型AIとして世界中で注目を集めた。ChatGPTは大量のテキストを学習した「大規模言語モデル」というタイプのAIだ。このAIは自然な文章を作るのが得意だが、数学のように論理的な思考を組み合わせるのが苦手だ。ところが問題文の最後にある「呪文」を付け加えると、見違えるように問題の正答率が上がる。
その呪文はこうだ。
「Let's think step by step（一歩ずつ考えよう）」
たとえば、こんな問題をAIに出してみる。「16個のボールがある。その半分はゴルフボールで、ゴルフボールの半分は青い。青色のゴルフボールの数は幾つでしょう」。正解は4個だ。問題文を入力するだけだとAIは「8」と答えてしまうが、回答文の書き出しを「Let's think step by step」と指定してやるだけで、AIは順路立ててボールの個数を整理し、問題に正解した。
この呪文の発見は論文としてまとめられ、2022年5月に論文共有サーバーのarXivで公開された。筆頭著者は東京大学大学院博士課程3年で、この呪文の発見者でもある小島武さんだ。呪文は数学の文章題から論理的な推論問題、演繹（えんえき）法や帰納法といった記号推論で幅広く有効だった。特に数学の文章題は正答率が17.7%から78.7%に上がった。
成績アップの直接的な要因は、この呪文がAIの「思考の連鎖」をうまく促したからだと小島さんは考えている。人間は目の前の問題を幾つかの段階に分けて解決するが、AIはこうした処理が苦手だ。そのため、思考の連鎖は大規模言語モデルの性能を高めるカギとなっている。
小島さんが他の呪文を試してみたところ、問題文の後ろにただ言葉を入れればいいわけではないことがわかった。思考の連鎖を明示的に促す内容の言葉ほど得点アップの効果が高かった。
さらに学習規模の異なる大規模言語モデルで呪文の効き目を比べたところ、言語モデルの学習の深さを示すパラメーター数がある一定の閾（しきい）値を超えていなければ、呪文を用いても数学の文章題の正答率は上がらないことがわかった。
なぜ呪文を唱えるだけでうまく思考の連鎖が起こるのか、根本的な理由は今もわかっていない。小島さんは現在、「大規模言語モデルの中には直感的に答える思考法と、論理的な思考法の双方が獲得されているのではないか」と考えている。「『step by step』の言葉がスイッチのように働くことで、大規模言語モデルの挙動が切り替わるのかもしれない」
大規模言語モデルの学習にはインターネット上の様々な文章が使われている。学習データの中にウィキペディアのような「論理的な文章」や、心情をつづったブログなどの「直感的な文章」が混在するなら、言語モデルの中に論理的な思考に強い単語のネットワークと、直感的な思考に強いネットワークの双方が獲得されていてもおかしくはない。「step by step」のような言葉は前者のネットワークとひもづいており、このネットワークが使用されて「思考の連鎖」が実現するという考え方だ。
「あなたは数学者です」「あなたは作家です」などの言葉でAIを特定の専門家になりきらせると回答精度が上がることも報告されている。これも同様に「数学者」「作家」という言葉がそれに関連したネットワークを呼び起こしている可能性がある。「こう考えていくと、大規模言語モデルの内部は『多重人格』だといえるかもしれない」と小島さんは話す。
さらに、言語モデルのパラメーター数が大きくなければ呪文の効果がない理由もそこにあるかもしれないと小島さんはみる。複数の人格を持つには大容量の脳が必要というわけだ。
大規模言語モデルの巨大なニューラルネットはあまりに複雑で、内部にどのような形式で言語表現や知識が獲得されているかを分析するのは難しい。むしろChatGPTのようにAIに直接質問して答えを分析し、内部の知識構造を探る研究が盛んになっている。それは、実験協力者に課題を解いてもらい、脳や心の機能を調べる心理学の研究にも似ている。
AIが専門で、今回の呪文の論文の共著者でもある東京大学教授の松尾豊さんは「ChatGPTの内部では、質問のされ方に応じてデータの処理方法が変化しているのだろう」と話す。たとえば事実を問われた場合には参照する学習データの幅を狭め、アイデアを問われた場合には学習データの幅を広げて取り混ぜるといった具合だ。「人間が創造性を発揮する時も、脳の中でかなり近いことをやっているのではないか。それが今ChatGPTの振る舞いで見えているのだとすれば、これはすごく興味深いことが起きている」
ChatGPTを皮切りに、今年に入って大規模言語モデルを活用した様々なAIの開発例が公表されている。佳境を迎えた大規模言語モデルの研究は、ただ便利なサービスを生むだけでなく、私たち人間の知能とは何かを知るための大きな手がかりとなりそうだ。
（編集部 出村政彬）
詳細は3月25日発売の日経サイエンス2023年5月号に掲載
- 著者 ： 日経サイエンス編集部
- 発行 ： 日経サイエンス
- 価格 ： 1,576円（税込み）
すべての記事が読み放題
有料会員が初回１カ月無料
日本経済新聞電子版で「日経サイエンス」掲載記事のダイジェストをお読みいただけます。
こちらもおすすめ(自動検索)
