CGが照らす日本アニメ　口の動きや背景、より自然に

◇　　◇　　◇

顔のCGの話から、日本のアニメの制作支援へ。

そういったところにまで、たどり着いた。画像処理に秀でた大学の研究室が、こういうところで存在感を発揮するのは、最初は意外だったが、よくよく考えれば自然なことにも思える。

むしろ、画像の研究とクリエイターの現場が乖離しているとしたら、それは日本独特の現象かもしれない、という意味で。

「ハリウッド映画は、基本的にCGシミュレーションが主流で、ディズニーリサーチやPIXARといった会社は、毎年、数学・物理のスキルをもった博士号取得者をたくさん雇っています。でも日本の場合、コンテンツ産業を支えているのはクリエイターで、彼らの経験とスキルで成り立ってきました。そこで、物理学のバックグラウンドを持った研究者が、アーティストの作風やスキルを定量的に表現し、同様に感動を生む映像を効率的に制作する支援ツールが開発できればと思って、目標の一つにしています」

日本のコンテンツ制作会社には、博士号を持っているような研究能力のある人材がほぼいない。クリエイターの研ぎ澄まされた感性によって成立している表現が、むしろ、効率化を阻むところがあって、例えばアニメ業界の制作現場の過酷さはよく話題になる。しかし、昨今のCGの技術の発展は凄まじく、クリエイターの感性を活かしたまま効率化できるような支援ツールを森島さんたちは開発したいと願っている。さまざまなものがあるのだが、いくつか紹介してもらった。

まずは、背景画。

「ある人の顔を、その特徴に合わせて、別の人の顔画像から作って、年齡を変える話をしましたが、この発想はいろいろ応用ができます。例えば写真でとった景色や街の風景を、アニメ作品の画像を使って再構成してみると、アニメ風の背景がつくれます。この背景の問題って、今アニメ業界ではすごく課題になっているんです。当然、キャラクターのデザインはとても重要なんですけど、背景がしょぼいとやっぱりうまく作品としては仕上がらないので、結構手間かけてやってるんですよね。例えば、『君の名は。』を見ていても、ご当地シリーズでいろんなシーン出てきますよね。あれは手書きですけど、ああいうのを何とか自動化できないかなっていうのでやっています」

アニメの制作の現場では、よくモデルになる町を設定して、スタッフが写真を撮りまくってそこから背景を起こすことが多い。「ご当地アニメ」として明示的なものでなくても、このシーンはどこで、このシーンはどこというふうに特定できることがあり、ファンはいわゆる「聖地巡礼」に赴いたりする。参考になる写真を撮るところまではすでに多くの現場でやっていることなので、そこから背景が自動生成できるなら便利極まりないだろう。そのまま使えるクオリティでなくとも、気軽に試して手直しをする前提で開発されていることも重要だ。一枚の背景の生成にかかる時間はせいぜい10秒くらいだそうで、これならどんどん試してみることができる。また、静止画ではなく動画も扱えるので、その点でも効率化の要素になりうる。

「こういうのをスタイルトランスファーといって、最近CGの分野ではすごく流行っています。例えば実写のシーンをゴッホ風にしてくださいとか、宮崎駿風にしてくださいみたいな。ぼくの夢としては、これリアルタイムでできるようになったら、例えば、車のフロントガラスがAR（拡張現実）のディスプレイになっていて、向こうに見えるシーンが全部アニメ風になると面白いなと。もちろん、自動運転が前提ですが」

それは、アニメ支援というか、その世界にどっぷり浸り込みたいアニメファン支援ではないだろうかと思いつつ、たしかに面白い。

さらに、キャラクターのリップシンク（いわゆる口パクとの同期）。

「音声の信号から口の動きを生成します。アニメの口パクって、大きく開く、中くらい開く、閉じるの3パターンだけなんです。その3パターンをどう選択するかだけなので、それほど複雑ではないんです。クリエイターさんが手でつけた口のリップシンクと、僕らの自動生成の結果を比べてもほぼ遜色ないと思います。それと、僕たちの方法は、中国語であろうが英語であろうが、言語に依存しないんですよ。外国語に吹きかえて現地で放映したいといったとき、普通は映像には一切手を加えずにアフレコだけで変えるんですけど、リップシンクが当然合わなくなります。そこもちゃんとぴったり合った形でどんな言語でも出せるっていうのも特徴ですね」

またこういった技術を使うと、ちょっと面白い応用ができる。

「音声を入力して、アニメ作品を指定してやると、その作品のキャラクターがその人の声でメッセージを伝えてくれるみたいなこともできます。ドラえもんがおじいちゃんの声で孫に話しかけるようなメッセージビデオが簡単につくれますっていう仕組みですね。これは、情報処理推進機構の未踏IT人材発掘・育成事業で学生の古川翔一くん（現在マイクロソフト）がやった研究です」

実はこれまで紹介してきた研究の多くは、森島研の学生によるものだ。大学院生のみならず学部生も主力の一翼で、反面、あまりポスドクを取らない独特の方針だそうだ。森島さん自身も黒子に回ることが多い。この件については次回あらためて語るので、ここは頭に置いておくだけにしてさらなる制作支援へ。

最近、増えてきている3Dアニメについて。

「実際に役者に演じてもらったものをモーションキャプチャーして3Dアニメにすると、手描きと違ってぬるぬる動くので、それをコマ落とししてリミテッド風にしたいというのが、技術的な課題なんです」

実際に役者に演じてもらったものをアニメにする技術は便利だが、「ぬるぬる動く」のが気持ち悪いという声がある。これは、従来の日本のアニメが、動きを間引いた「リミテッド・アニメ」だからということが大きい。テレビなどで見る動画は、1秒間に24枚の画像が使われているけれど、日本のアニメではその3分の1、あるいは半分くらいで済ませる。労力を軽くする意味も強かったが、今では表現の手法として確立している。「ぬるぬる動く」は、まさにリアルな動きなのだが、アニメの表現は、実はもっと抽象化されていて、そのままではなじまないのが難点だ。

「かなり前ですけど、『のだめカンタービレ 巴里編』でオーケストラを指揮するシーンとか、『銀河鉄道物語』の3Dリメイクに使ってもらいました。ぜんぶ手描きだと完成までに1カ月かかるとして、3Dでやると1週間でできるくらい効率化されます。キャラクターも一度作れば使い回しができるし、口の動きも自動で付加できたり、影をつけたりもできます。あと、手描きだと作画から着色までもうワークフローが決まっててやり直しがきかないけど、こっちはいくらでもやり直しがきくと。トライアルアンドエラーができるっていうところも特徴ですね」

さらに他にも、頭髪演出ツール、影の演出ツール、ダンス動画編集ツール、弾性物体の運動表現ツールといったものを、歴代の学生さんたちが開発してきており、森島研のアニメ熱のようなものを示してあまりある。

「日本のアニメはやっぱり人気高いですし、あえてギクシャクしてるところに日本らしさというか、日本のジャパニメーションらしさっていうのを世界の人は感じ取っているわけですから、それは一つの価値ですよね。だから残さないといけないと思うんです。現状では、研究者のコミュニティと、現場でのクリエイターとの意識の違いがかなりあります。研究者がすごいことやっていても、現場は知らないじゃんとか。あるいは現場はすごく泥臭いことやってるけど、これ使えばすぐできるじゃんみたいなことがたくさんあったり。僕もだんだん歳をとって学会をオーガナイズするようになってきたので、研究者と現場のクリエイターを何とか橋渡ししたいなと思っています」

こういった話を伺った2016年11月、森島さんは、東京で開催されたヴァーチャルリアリティの国際学会・展示会VRST（ヴァーチャルリアリティとソフトウェア技術学会）に主催者側としてかかわった。VRSTは、ある意味、SIGGRAPHよりもさらに尖った、新しいコンテンツ創造の息吹が感じられる国際学会・展示会だ。

研究者とアニメの現場が出会う最前線ともいえるこの学会・展示会は、過去最高の参加者約380名（前年度の2倍近く）と論文投稿数を記録し、日本におけるこの分野への関心と、商業利用への意欲の高さを示す結果になったという。

=文　川端裕人、写真　内海裕之

（ナショナル ジオグラフィック日本版サイトで2018年8月に公開された記事を転載）