楽器にもDX AIやIoTで誰でも演奏者に

多くの人が一度は憧れる楽器演奏。新型コロナ禍で在宅時間が増えたこともあり、挑戦する人も増えているという。初心者や体の不自由な人にはハードルが高いが、デジタルの力により障壁を取り除こうとしている。上級者やプロの満足度を高める技術も生まれ、「誰でも楽しめる」時代が近づいている。

右腕でガッツポーズすると「ド」、腕を少し下げると「レ」の音が出る──。手で触れたり息を吹き込んだりすることなく演奏できるこの「楽器」は、NECが開発した「ANDCHESTRA（アンドケストラ）」。バイオリンとトランペットの2種類があり、同社が培ってきた人工知能（AI）の技術が生かされている。

バイオリンの演奏を可能にするのが「姿勢推定技術」と呼ぶ技術だ。楽器に取り付けたカメラで読み取った演奏者の画像から、肩や肘、腰などの関節点を検出。人の身体を特定し、演奏者の姿勢を推定する仕組みになっている。

ドレミファソラシドの8音それぞれに割り振られたポーズと、演奏者の姿勢が合致すればバイオリンの音色が奏でられる。服装によって関節点が読み取りづらい場合もあるが、姿勢を取ってから0コンマ数秒後には音が鳴る。

トランペットには「遠隔視線推定技術」が使われる。こちらは演奏者の視線の動きを読み取り、画面上に円状で並んだドレミファソラシドそれぞれに視線が合えば演奏できる。

記者も体験したところ、意外と難しい。意図せず目を見開いたり、変な表情になったりしながら、数分かけて何とかトランペットを演奏できた。

2020年3月の完成以降、コロナ禍でなかなかお披露目の機会に恵まれてこなかったが、体験者からは「楽しい」「夢中になれる」と好評。思うように音が出ず熱中する子どもも少なくないそうだ。

「音楽に挑戦したいけどハードルが高いと感じている人、障害を抱える人らをアシストしたい」。そんな思いからアンドケストラの開発が始まった。金融関連の不正取引監視や健康診断のデータ分析など様々な場面で使われているAI技術群「NEC the WISE」を駆使し、構想から1年ほどで完成させた。

アンドケストラという名前も特徴的だ。オーケストラ（ORCHESTRA）をモチーフにした楽器だが、つづりに「OR」が含まれる。これだけを取り出すと、AかBかといった「どちらか一方」というニュアンスになる。そこで、誰でも演奏ができるようにという思いを込めて「AND（どちらも）」に変えた。

開発には車椅子のシンガー・ソングライターや小学生の音楽コンシェルジュ、パラリンピック出場経験のあるスポーツ選手も協力し、演奏のポーズ決めなど、誰でも気軽で簡単に楽しめる仕組みを目指した。

アンドケストラの開発者、AI・アナリティクス事業部の世良拓也氏は「テクノロジーを使うことで『できない』を『できる』に変えられることを示したい」と話す。自身はギター歴13年だが、それでも楽器演奏の難しさは日々痛感するという。

アンドケストラを量産する計画はないが、地方イベントやNECの展示スペースでの体験などを通じて「楽器を身近に感じてもらい、演奏する人が増えてほしい」（世良氏）と願う。

楽器メーカーでも、テクノロジーの力でより多くの人に演奏を楽しんでもらう取り組みが進む。ヤマハが東京芸術大学と共同開発したのが「だれでもピアノ」。指1本でメロディーを弾くと、自動的に伴奏パートが演奏されるというものだ。

開発のきっかけは、科学技術振興機構のセンター・オブ・イノベーション（COI）プログラムに採択された東京芸大COI拠点からの持ちかけだった。ショパンの「ノクターン」を弾きたいある高校生がほぼ指1本しか動かせず、車椅子のためペダルを踏めない。その問題解決のため、15年にタッグを組んだ。

使われた技術が、ヤマハの自動演奏ピアノ「Disklavier（ディスクラビア）」の演奏追従システムだ。ピアノは大まかに言うと、鍵盤を動かすと内部のハンマーが弦をたたいて音が出る。ディスクラビアは鍵盤の動きをセンサーで計測し、読み取った音の強弱などを数値化して記録。同システムがそれらのデータを分析し、ディスクラビア本体に送り出すことで鍵盤やペダルが動く。

右手の演奏と左手の演奏は別々に記録される。演奏したい曲のデータを事前に入力しておけば、右手の演奏に合わせて左手部分の伴奏が流れてくる。理論上はデータさえあればどんな曲でも演奏できる。

このシステム自体は、長年の研究開発の成果としてヤマハが00年ごろから持っていた。ただ、主にピアノを習い始めたばかりの子どもなど、初心者のレッスンの補助機能として使われていた。

東京芸大側からの働きかけもあり、「高齢者や障害を持つ人にも音楽の喜びを届けたい」（研究開発統括部第1研究開発部音楽情報処理グループの藤島琢哉リーダー）という思いが、このシステムを通じて形になっていった。現在は愛知県内の介護老人保健施設と連携した認知機能の研究なども始まった。

並行してヤマハ社内でも演奏追従システムの性能向上を進めている。これまでは右手のメロディーを伴奏に先走って弾くと、システムが対応できないなどの制約があった。

そこで、AIをはじめとする次世代技術を投入したアプリケーションを試作。「様々な演奏者による評価実験を重ね、試行錯誤しながら調整した」（藤島氏）ことで課題を克服。右手の演奏速度や音の強弱に応じて、左手の速度や強弱も自動調整されるレベルまで技術精度を高めた。

上級者向けの演奏でも「ディスクラビア」は一役買っている。コロナ禍で海外渡航を伴う音楽学校の入学試験の実施が困難になった20年6月、ドイツのフライブルク音楽大学はドイツと日本、中国にディスクラビアを設置して試験を実施した。

ビデオ会議などを使うと音声が乱れがちだが、ディスクラビアでは音のデータ自体が送受信されてピアノから音が出るため、よりリアルな演奏を再現できた。同大学も「今後の試験やマスタークラス、コンサートに新たな可能性を与えてくれた。新しい時代の始まりと言える」（クリストフ・ジシュカ教授）と評価している。

「何だこれは！　宇宙船か？」。20年1月上旬、米ラスベガスで開かれた世界最大のデジタル技術見本市「CES2020」でひときわ注目を集めたデジタルピアノがある。ローランドが作り上げた「Facet（ファセット）」だ。

プロ向けの楽器では定評があるローランド。電子楽器の専業メーカーのため、ヤマハや河合楽器製作所のようにコンサートグランドピアノなどの看板商品はそろえていない。それならばと、デジタルピアノの技術を用いて「ピアノを超えるピアノを作ろう」というのが開発の原点だった。コンセプトモデルとして、15年に開いたデジタルピアノのデザインコンテストの大賞作品を具現化することになった。

「ローランドの持つすべての技術を詰め込んだ集大成」。開発責任者の村井崇浩・RHQ第2開発部長はこう語る。アコースティックピアノの要素を取り入れつつ、デジタルピアノならではの強みも生かした。

見た目はシャープで特徴的な形にしたほか、アコースティックだと演奏者と聴衆で聞こえ方が異なる点も、スピーカーを付ける位置を工夫して再現。音色に関しても、同社が日夜研究を重ねる「モデリング」が本領を発揮した。

デジタルピアノの音は実際のピアノを録音する「サンプリング」が採用されることが多い。ただ、一音一音、鍵盤のタッチの強さやペダルの踏み込み具合に応じてサンプリングするのは容易ではない。

ローランドでは計算式を用いて音色を作るモデリングに注力する。モデリングであれば、鍵盤やペダルの動き、弦の種類などを計算式次第で自由に設定できる。このため、音色の細かな点まで再現しやすくなるという。

譜面台部分に付けた米グーグルのOS「アンドロイド」対応のディスプレーでは、デジタル楽譜や動画共有サイト「ユーチューブ」でのレッスン動画を眺めながら演奏できるほか、ローランドが開発したレッスンアプリとも連動する。

「1日目は右手。右手が弾けるようになったら左手」というように、手本通りに弾けているかを自動判定してレッスンを進めてくれる。米アマゾン・ドット・コムの音声アシスタント「アレクサ」とも連携しており、音声入力で音色やテンポなども変えられる。

CES2020や米国の楽器展示会「NAMM Show」での展示をきっかけに、米国の女性歌手、H.E.R.（ハー）の目にも留まった。本人の希望で20年1月のグラミー賞授賞式で演奏に使われ、初心者からプロまで誰もが楽しめるピアノであることを証明した。

ファセット自体を広く展開していく計画は今のところないというが、ファセットはローランドが持つ技術力を詰め込んだ「集大成」。ここで培ったノウハウを、一般家庭向けなど量産モデルの開発に活用していく考えだ。

米国の楽器専門誌ミュージックトレードのデータによると、世界の楽器市場規模は一時落ち込んでいたものの、16年の160億ドル（約1兆7600億円）から19年の171億ドルへと復調しつつある。

さらにコロナ禍で在宅時間が増えたことがきっかけとなり、憧れていた楽器演奏に挑戦する人も増えている。別の民間調査では、電子楽器市場は今後数年間、年率11%超の成長が予測されるなど、一時的な特需にとどまらない伸びとなる可能性もある。

「（音を）楽しむ器具」と書く楽器だが、厳しい練習が待ち受けるイメージも根強い。だがAIや、あらゆるモノがネットにつながる「IoT」といった技術の力により、技量を問わずその人なりの楽しみ方ができる道具に進化している。「『いかにうまくなるか』から『いかに楽しめるか』という時代になりつつある」（ヤマハの藤島氏）。「もしもピアノが弾けたなら」。そんな願いがかなう日は遠くない。

（日経ビジネス　生田弦己）

［日経ビジネス　2021年8月2日号の記事を再構成］

日経ビジネス電子版セット 週刊経済誌「日経ビジネス」の記事がスマートフォン、タブレット、パソコンで利用できます。「日経ビジネス電子版」のオリジナルコンテンツもお読みいただけます。日経電子版とセットで月額650円OFFです。 お申し込みはこちらhttps://www.nikkei.com/promotion/collaboration/nbd1405/