/

仮想映像をリアルに ソニー「拡張現実」が開く新市場

ジャーナリスト 新 清士

 NTTドコモが主催したイベント「初音ミクARステージ」が7月16~21日、六本木ヒルズ(東京・港)で開かれた。ボーカロイド(歌声合成ソフト)の人気キャラクター「初音ミク」をモチーフとしたスマートフォン(スマホ)の販促活動の一環だ。スマホやタブレット(多機能携帯端末)、ソニー・コンピュータエンタテインメント(SCE)の携帯ゲーム機「プレイステーション(PS)ヴィータ」を利用し、現実の世界にコンピューターグラフィックス(CG)を合成するAR(拡張現実)を楽しめる大規模なイベントだった。今回、技術面での"主役"はソニー。イベント取材を通して、ARをはじめとするソニーのユニークな新技術が今後、どう用途を広げていくかを展望した。

実在の場所で初音ミクが歌って踊る

「初音ミクARステージ」の様子。タブレットにコンサートの様子を表示してみた

イベントの舞台は、地下鉄の駅から六本木ヒルズに向かう長いエスカレーターを覆う「メトロハット」。毎日午後7時半から11時までの一定時間ごとに、メトロハットの外壁に初音ミクが登場し、歌とダンスを披露するのだ。現実の風景には全く何の変化もないが、端末のモニターにはあたかも実際にライブをしているかのような映像が表示される。周辺では、5分ほどの映像に多くの人が見入っていた。

メトロハットの武骨な柱の間には初音ミクの姿を描いたポスターがモザイク模様のように貼られ、夜の街の光の中でぼんやりと浮かび上がる。そこに向けて多くの人たちが端末のカメラを向け、モニターを凝視している。

モニターに表示されるカウントダウンが終了すると、映像の中ではメトロハットが割れ、中から宙を舞う初音ミクが登場する。初音ミクはダンスと歌を続けながら空中を飛び回る。やがてメトロハットの上に巨大な初音ミクが登場。六本木ヒルズを背景に歌はさらに盛り上がり、花火が打ち上げられてクライマックスへと向かう。

こうした映像が流れている間に端末から目をそらしてメトロハットを見ても、当然のことながら何の変化も起きていない。初音ミクが宙を舞う派手なライブは、あくまでも端末の中での出来事だからだ。

どこにでもARを出現させるターゲット認識

初音ミクのライブ映像は、ドコモが事前に用意した貸し出し用のアンドロイド端末で見ることができる。ただ、貸し出し場所にはかなり長い順番待ちの行列ができていた。対応端末を持っている人なら事前に専用ソフトウエアをダウンロードして見られるため、自分の端末を使っている人も多かった。イベント内容は口コミでどんどん広がったようで、夜遅くまで人波が途切れることはなかった。

 今回のイベントで使われた技術はソニーが長年開発を続けてきた「スマートAR」と呼ばれるものだ。これをSCEがPSヴィータ用に応用した。2012年に米サンフランシスコで開かれたゲーム開発者会議(GDC)で、PSヴィータ用に使用可能な技術として初めて発表された。

SCEのテクノロジープラットフォーム担当SVPの豊禎治氏

スマートARには大きく分けて2種類の技術が使われている。それについて、7月23日に東京・秋葉原で開かれた「ゲームツール&ミドルウェアフォーラム」で、SCEのテクノロジープラットフォーム担当SVP(シニアバイスプレジデント)の豊禎治氏が解説した。

まず一つ目は「ターゲット認識」と呼ばれる技術。あらかじめ登録した印(マーカー)をコンピューターが認識して追尾するものだ。PSヴィータにはマーカーとなる四角状の絵柄が印刷された「ARプレイカード」が6枚付属しているが、印刷したものでも代用できる。マーカーは自由に設定でき、ゲームによっては独自のマーカーが印刷されたカードをゲームに付属している場合もある。

ある特定のマーカーを認識するとキャラクターなどを表示する、といった設定ができる。例えば、PSヴィータの内蔵カメラがあるマーカーを捉えると、端末の画面にキャラクターが登場してダンスをする映像を表示したりできる。

「ファイヤーワークス」の公式ページ。紙のARマーカーの上に3軒の家が建ち、そこから花火が打ち上げられる

このARに対応したPSヴィータ向けゲームは、すでにダウンロード販売されている。SCEのアクションパズルゲーム「ファイヤーワークス」では、3枚のARプレイカードを利用して遊ぶ。

一度マーカーを認識すると、それぞれのカードの上に3種類の家が表示される。その家々から次々に花火が打ち上げられ、ユーザーはタイミングよくPSヴィータを動かしながら画面にタッチして花火を爆発させる。ゲームが進むとPSヴィータを右に左に動かしながら花火を追いかけなくてはならなくなる。さしずめ「机の上で楽しむ小さな花火大会」といったところだ。

ARで現実の世界を変える空間認識

空間認識のデモ映像。中央の影が恐竜。画面の奥行きと恐竜が歩くことができる空間を判断

もう一つが「空間認識」技術だ。あるキャラクターが端末の画面内に登場したとき、現実の世界の姿を無視して動き回ってしまうとARの世界におけるリアリティーが失われてしまう。

そこで、端末のカメラで見えている映像から、色が違う場所など特徴的なポイントを抽出し、キャラクターを近づけてはならない場所を判断する。現実ではありえない妙なところにキャラクターが重なってリアリティーが損なわれないように、キャラクターの動きを制御する。

例えば、恐竜がオフィスに現れるデモンストレーションの場合、PSヴィータはカメラを通じ、オフィスを構成している色や濃淡の違いから、恐竜が進むことができるエリアを判断して移動させる。写真では、緑色の点が平たくなっているところを床と判断し、急角度になっている点は床以外の場所と判断する。床のカーペットの格子状の模様から、部屋がどのような奥行きで構成されているのか判断したりもする。恐竜はその判断を利用しながらこちらに近づき、だんだん大きくなっていく。

 ソニーは12年のGDCで、AR技術を応用したテクノロジーデモンストレーションとして「ARホッケー」を展示した。何もないテーブルの上に、ゲームをスタートするためのARマーカーが置かれており、一度、PSヴィータでそれを認識させると、モニター内にエアホッケーを表示する仮想空間が現れる。2台のPSヴィータを用意して、その仮想空間をモニター上で同時に見るように設定すると対戦可能になる。もちろん現実世界には何の変化も起きていない。

「ARホッケー」のデモ画面。何もない机の上に、画面を通じて見ると半透明のホッケーコートが表示される。プレーヤーの背後の画面は、PSヴィータのモニターに表示されている画面と同じもの

AR技術をゲームの要素に組み込んだ例として、セガのリズムアクションゲーム「初音ミク プロジェクトディーヴァ エフ」がある。同梱されているARマーカーを使って一度ターゲットを認識させて初音ミクが登場すると、今度は空間認識が行われるので、それ以降、ARマーカーなしでも歌とダンスが見られる。正面だけでなく、さまざまな角度から見ることが可能だ。動画サイトのユーチューブには、わざわざ台所の流し台の上でダンスさせているような動画もアップされている。

ソニーはもともとこうしたAR技術を室内での使用を想定して開発していた。今回のイベントでは屋外でも使えるように拡張した。具体的には、まずメトロハットの建物の形状を端末のカメラが認識する。端末は一度、認識に成功するとメトロハットの位置を認識し続けるため、ユーザーが手元に持っている端末を揺らしたとしても、モニター内の初音ミクのCG映像は正確にメトロハットの上に表示され続けるわけだ。

「リッチな体験として多くの人に提供」

SCEの説明員によると、ここ数年でスマホやタブレットの性能が急速に高まり、PSヴィータだけではなく他のデバイスにもAR技術を応用できるようになったという。すでに完成している技術でもあるため、移植作業はそれほど難しくなく、今回のイベントは全体の演出などを含め1~2カ月程度で準備できたという。

ある説明員は「ARは用途が限られた技術として考えられがちだが、利用の裾野を広げ、もっとリッチな体験として多くの人に提供したい」と意欲をみせていた。

ソニーのARは技術的な完成度は高いものの、利用する機会はまだ少ない。ARを楽しむために端末を宙に浮かせて持ち続けなければならず、ゲームを遊んでいると腕がかなり疲れてしまう。「ARを使っているからこそ面白い」と思えるようなゲームもまだ登場していない。ドコモの今回のイベントの成功は、ゲーム以外にARの新しい用途を広げるきっかけになるかもしれない。

 一方、23日のフォーラムでSCEの豊氏は、カメラを使ったユニークな新技術も紹介した。PSヴィータは、周囲を撮影するカメラだけでなく、ユーザー自身を撮影するカメラも搭載している。そちらのカメラで自分を撮影すると、自身のリアルタイムの脈拍を計測することができるというのだ。

ゲーム中のユーザーの顔の動きを検出

顔から脈拍を検出する技術のデモ

人間の顔は血流によって明るさが微妙に変化しているが、通常は認識できないという。豊氏が紹介した新技術は、顔の明るさの変化を検出し統計処理することで、脈拍の大まかな数値を割り出すというものだ。カメラの上に指を置いても同じことができる。指を通過するわずかな透過光を利用して脈拍を検出するのだ。

驚くべき技術だが、研究として10年以上前に発表されており、決して新しいものではないとのことだった。こうした技術を実用化するための高性能で安価なハードウエアが、これまでなかったということだろう。

指を使った脈拍検出のデモ。右手の親指で押さえているところにカメラがある

ただ、この技術は医療用に使えるほどの精度はない。脈拍は個人によってかなり差があり、把握できるのは大ざっぱなデータにとどまるなど限界はある。豊氏はゲームへの応用について、「ゲームをしている最中にユーザーの顔の動きを検出し、ドキドキしているシーンに、さらに驚かすような演出を盛り込むといったことができるのではないか」と述べていた。

筆者もこの技術を試してみた。指をカメラに当てて脈拍を検出しようとしたが、なかなかうまくいかなかった。的確に検出するためには少しコツがいるようで、まだ多くの課題が残っているように感じた。

ARや脈拍検出のように、カメラとモニターに新しい技術を組み合わせることで、今までになかった利用例が登場してきた。スマホやアンドロイド端末、ゲーム機のコンピューター性能の高まりとともに応用分野はさらに広がり、新しい市場を創造していくのだろう。

新清士(しん・きよし)
 1970年生まれ。慶応義塾大学商学部および環境情報学部卒。ゲーム会社で営業、企画職を経験後、ゲーム産業を中心としたジャーナリストに。立命館大学映像学部非常勤講師も務める。グリーが設置した外部有識者が議論する「利用環境の向上に関するアドバイザリーボード」にもメンバーとして参加している。著書に電子書籍「ゲーム産業の興亡」 (アゴラ出版局)がある 。

すべての記事が読み放題
有料会員が初回1カ月無料

関連企業・業界

セレクション

トレンドウオッチ

新着

ビジネス

暮らし

ゆとり

新着

ビジネス

暮らし

ゆとり

新着

ビジネス

暮らし

ゆとり

フォローする
有料会員の方のみご利用になれます。気になる連載・コラム・キーワードをフォローすると、「Myニュース」でまとめよみができます。
新規会員登録ログイン
記事を保存する
有料会員の方のみご利用になれます。保存した記事はスマホやタブレットでもご覧いただけます。
新規会員登録ログイン
Think! の投稿を読む
記事と併せて、エキスパート(専門家)のひとこと解説や分析を読むことができます。会員の方のみご利用になれます。
新規会員登録 (無料)ログイン