/

AIで日本語を手話に、CGキャラクターが表現 NHK技研

日経クロステック

NHK放送技術研究所は、入力した日本語の文章に応じ、キャラクターが手話CG(コンピューターグラフィックス)を披露する「手話CG生成システム」を26~29日開催の「技研公開2022」で一般公開した。

同システムは、日本語を手話に変換する「翻訳AI」と、手話の動作をモーションキャプチャーで取得・蓄積した「モーションデータベース」から成り立っている。文章を入力すると、翻訳AIが手話単語に置き換え、手話単語に応じた動作をデータベースから取り出してCGとして出力する。翻訳AIの学習データとしては「NHK手話ニュース」で蓄積した日本語と手話の対訳データを利用した。

既存システムは多くの文章の手話動作をモーションキャプチャーで取得し、その動作を入れ替え、手話CGを生み出していた。そのため、あらかじめ文章・表現パターンが定まっており、大幅な変更が難しかったという。

「口元の表現」にもこだわった。手話は手元だけでなく、口元の動きと合わせてコミュニケーションを取る。例えば「福島県」という言葉は、「幸せ」「島」「省」という3つの手話単語の連なりで表現する。しかし口元が「しあわせ」「しま」「しょう」のままだと意味が伝わりにくいため、言葉を登録しておくことで、口元の表現も「ふくしまけん」に置き換わるようにしている。

(日経クロステック 野々村洸)

[日経クロステック 2022年5月26日掲載]

すべての記事が読み放題
有料会員が初回1カ月無料

関連トピック

トピックをフォローすると、新着情報のチェックやまとめ読みがしやすくなります。

セレクション

新着

注目

ビジネス

ライフスタイル

新着

注目

ビジネス

ライフスタイル

新着

注目

ビジネス

ライフスタイル

フォローする
有料会員の方のみご利用になれます。気になる連載・コラム・キーワードをフォローすると、「Myニュース」でまとめよみができます。
新規会員登録ログイン
記事を保存する
有料会員の方のみご利用になれます。保存した記事はスマホやタブレットでもご覧いただけます。
新規会員登録ログイン
Think! の投稿を読む
記事と併せて、エキスパート(専門家)のひとこと解説や分析を読むことができます。会員の方のみご利用になれます。
新規会員登録 (無料)ログイン
図表を保存する
有料会員の方のみご利用になれます。保存した図表はスマホやタブレットでもご覧いただけます。
新規会員登録ログイン