発表日:2023年01月10日

物理深層学習のための新たな脳型学習アルゴリズムを開発

〜新アルゴリズムで光ニューラルネットワークによる高速な深層学習を実証〜

日本電信電話株式会社（本社:東京都千代田区、代表取締役社長:島田 明、以下「NTT」）と国立大学法人 東京大学（所在地:東京都文京区、総長:藤井 輝夫、以下「東京大学」）大学院情報理工学系研究科 國吉・中嶋研究室 井上克馬助教及び中嶋浩平准教授（次世代知能科学研究センター（AI センター）兼務）らの研究グループは、脳の情報処理から得た着想を基に、深層ニューラルネットワーク（（※1）以下、ニューラルネットワークをNNと略す）ならびに物理系を計算過程に用いる物理NN（※2）に適した新たな学習アルゴリズムを考案し、その有効性を確認しました。これを高速な機械学習器として期待されている光を用いた物理NNに適用して、学習過程を含めて物理NN上で効率的に計算可能であることを世界ではじめて実証し、物理NNとしても世界最高性能を実現しました。本成果は人工知能（AI）向けコンピューティングの電力消費や演算時間の大幅な低減につながるものと期待されます。

本成果は、12月26日に発行された英国科学誌「Nature Communications」に掲載されました。

＊図1は添付の関連資料を参照

1.背景

機械翻訳、自動運転、ロボット制御などの高度な人工知能（AI）技術の基盤となる深層NNでは、演算量増大に伴い電力や計算時間が爆発的に増加しています。その伸びはデジタル計算機の性能向上の伸びを上回っており、深層NN技術を発展させるためには、計算機の性能の抜本的改善が喫緊の課題となっています。

様々な物理系の状態変化を計算過程として利用する物理NNは、デジタル信号に依存しないニューロモルフィックデバイス（※6）の一種に分類され、爆発的に増大する深層NNの演算に効率的に対処できる次世代の計算媒体として期待されています。特に光の伝搬・干渉による光演算を利用したNN（以下、光NN）は、低遅延性・低消費電力性・並列性を有し、そのため大幅な高速動作が理論的に可能で、既存のデジタル計算機の有力な代替候補としてニューロモルフィックデバイスの中でも特に注目されています。

深層NNの学習（※7）では、一般的に、誤差逆伝搬法（※8以下、BP法）と呼ばれるアルゴリズムが用いられます。BP法では深層NN中の学習パラメータ（※9）や非線形性、その微分値など、深層NNの情報の正確な把握が前提となっています。特に光NNをはじめとする物理NNに対してBP法を適用するには、物理系上に構成された深層NNのすべての情報の把握、すなわち、高い精度での物理系の状態計測や物理シミュレーションによる微分応答の近似などが必要となり、より複雑な学習計算が要求されます。この複雑さのためBP法の物理系上での実現は一般に困難とされ、通常デジタル計算機を介して学習計算が実行されますが、結果的に学習計算の大部分をデジタル演算に依存する形となり、物理NNの拡張性ならびに有効性が大幅に制限されていました。加えてその制約の多さから、ある種の物理NNとも捉えられる生物の脳の学習メカニズムとしても、BP法の妥当性は懐疑視されており、生物の脳を含めた、より一般的に物理NN上で実行可能な学習アルゴリズムの開発が多くの研究者の関心の的になってきました。

＊以下は添付リリースを参照

リリース本文中の「関連資料」は、こちらのURLからご覧ください。

図1

https://release.nikkei.co.jp/attach/647266/01_202301101450.jpg

添付リリース

https://release.nikkei.co.jp/attach/647266/02_202301101450.pdf