【NHK技研公開 2015】目指すのは“触れるテレビ”、物体の形と硬さを再現する力覚提示装置

　31日までNHK放送技術研究所で開催されている「第69回技研公開」（技研公開2015）では、「表情を出して遊ぼう」「触ってみよう」「色を見てみよう」「音をかぶろう」という4つのコーナーを設け、来場者が実際に体験できるようになっている。

　なかでも「表情を出して遊ぼう」では、カメラに映った複数の人の表情を画像処理で見分け、表情の種類や強さに応じて、さまざまなCGを表示する技術を体験できる。視聴者の好みに合わせ、きめ細かい放送サービスを提供するために、東京大学と顔表情認識技術を共同研究した成果だ。

　画像から顔の特徴量を抽出し、それと顔画像データべースから、表情の強度を推定する。たとえば、「怒り」「嫌悪」「恐れ」「幸福」「悲しみ」「驚き」の6種類の表情に対し、それぞれ強度を％単位で推定し、最も割合の大きな表情を出力。笑顔だと幸福度が出やすいようで、カメラに向かって笑うと、花火のようなものが打ち上がった。

　また「触ってみよう」では、物体の形状と硬さを再現する多点刺激型力覚提示装置を展示していた。ディスプレイに表示されたCGを反射型空間映像投影板に映し、空間に結像した仮想物体に触れることにより、力覚フィードバックと硬さを感じられるハプティクスデバイスだ。

　対象物の3次元形状のデータは、レーザースキャナーで計測。一方、硬さ分布データについては、超音波を1点に照射して、対象物に生じた変形量をレーザーで測位することで得たという。これらのデータを力覚提示装置に伝送し、即座に触覚を提示できる仕組みだ。

　実際のデモでは、高級魚のキンキをスキャンし、3D映像として投影。力覚提示装置の指輪部に指をはめ、キンキの輪郭や表面をなぞったり、押したりすると、確かに弾力を感じた。また背びれ部については、かなりの奥行きも感じられた。物体形状を力覚として認識できる装置は多くあるが、硬さも含めてイメージが可能な点はユニークなところだろう。

　NHKは本技術を使って、視覚障害者に物の形などの情報を伝えられるようにしたいとのこと。映像と音声では伝えきれない物体の硬さや手触り感を伝えられる「触れるテレビ」の実現を目指しているそうだ。

　このほか、液晶テレビ画面を虫メガネで拡大し、表示色が赤・緑・青の3原色で構成されていることを確認できる「色を見てみよう」のコーナーや、スマートフォンを付けたヘルメット型ヘッドホンをかぶり、8Kスーパーハイビジョンで利用される22.2チャンネル3次元音響を楽める「音をかぶろう」のコーナーも盛況で、スマホの加速度センサーで頭の向きを検出し、それに合わせて周りで音がグルグル動く様子が体感できる。