超高臨場感を生み出すための適切な距離とサイズ

- 「イマーシブ・テレプレゼンス技術」の世界的な開発状況と、
それに対する日本あるいはNTTの開発状況はどういった位置づけになりますか。

宮下:一概に言うのは難しいです。伝送技術や被写体抽出技術などは、個々の独立した技術としては 従来から広く研究開発されているものです。しかし、それぞれの技術の研鑽はもちろん、これらを総合したうえで、ひとつの演出あるいはコンテンツとして成立させることは、世界的にもチャレンジングな取組みであると考えています。

外村:単純にテレプレゼンス技術のような、例えば、高臨場感を演出したテレビ会議システムなどはすでに世界的にも広く普及していますし、そういうサービスも使われていますが、やはり現状ではフェイス・トゥ・フェイスを超えるのは難しいと思います。そういうものに対して、Kirari!を使ってあたかもそこで本当に会議がなされているように再現出来れば、実際に同じ空間で喋っているのと同じ効果が出てくると思っています。

- Kirari!が実際に活用される場として、スポーツ競技などの
パブリックビューイングなどが直近の目指すところということですが、
基本的には等身大で投影されたものを見るというのが
前提になってくるのでしょうか。

P0A2463_2

P0A2415_3

外村:そうですね、今、我々が力を入れている部分としては、実際に等身大であるとか、大きさを正しく再現しようということが挙げられます。しかし、それでは遠くから観た場合に、投影された映像が小さくなってしまうという問題がありますね。ですので、まずは等身大で映して、等身大に見えるような距離感で観戦する、といったことを前提にしないといけないかもしれません。

宮下:スクリーンに投影するというのはあくまでも一例であって、ゆくゆくはHMD(ヘッドマウントディスプレイ)やスマートフォンでも観られるというような、他の技術でカバーするということも考えられます。ただ、大きさによっていろいろな効果を生み出せる可能性はありますから、それはこれから求められるような形態に応じて研究を進める、というのが理想だとは思います。

Kirari!を使ってあたかもそこで
本当に会議がなされているような技術が生み出せれば、
実際に同じ空間で喋っているのと同じ効果が出てくる。

- Kirari!の普及に向けて、実際に商業ベースに落とし込んでいくまでには
どのくらいの時間やコストが掛かってくると想定されていますか。

宮下:現状では、まだなんとも言えないところですね。被写体抽出技術に限って言えば、できるだけローコストなセンサーで実現できればいいですけど、撮るコンテンツによっても必要なセンサーやカメラが変わってくるので、お客様が何を撮りたいかによってコストはまったく変わってきます。

外村:とはいえ、我々のマイルストーンとしては、ひとつ2020年を目標にしていますので、まずはそのタイミングで、世界中でKirari!を体感できる、今までは味わえなかった超高臨場を届ける、ということを実現したいですね。

Kirari!を次のステージに推し上げる自由視点映像の実現

- 現時点では、基本的には1方向から、ある程度限られた視野角から
投影された映像を観るということが前提になっているかと思いますが、
将来的には複数人で複数の方向から観ることも可能になるのでしょうか。

宮下:複数人で全周囲から観られるようにしようという動きがちょうど今始まっているところです。来年、再来年にはそういった実例も発表できると思っています。

160802_P0A3397

技術としてひとつ誇れるものを作りたい。
いかに高めていって多くの人に見てもらうか、
そういう技術的なハードルを越えていくことがひとつの目標。

- その他に、将来的にはどんなことが可能になっていくのでしょうか。

宮下:ひとつは、本当は置けない場所にカメラが置いてあるかのような撮り方ができるのではないかと考えています。実際、野球のコンテンツを撮ろうとした場合、バッターやピッチャーのできるだけ近くにカメラを置きたいと思っても、それは難しい。それを画像処理の変換などを応用して実現できたらと思っています。

被写体抽出についても同様です。斜め上から撮影した映像を投影するときに、投影されたものを下から見上げてしまうと、カメラの画角が小さいので立体感が出ない。下から見上げた際に、頭部が見えてしまってはマズいですよね。であれば、下から投影するのであれば下から撮らないといけません。ただ、そこはまだ技術的にはできていないので、ちょっと悔しく思うところではありますね。

外村:自由視点(フリービュー)映像というのは、今の技術でもそれなりにごまかしたりすることはできるんですけど、なかなか人間は賢くて、うまくきれいに騙せない。できるだけ少ないカメラで、3Dとしてオブジェクトを復元する技術というのは、今すごく求められていますし、NTT研究所も力を注いでいます。撮り方が変わってくれば、投影される世界観もどんどん変わっていくはずです。

Kirari!が見据える映像表現の未来

- 2020年以降、Kirari!を使ってどんな未来を実現していきたいか、
個人的なご意見でかまいませんので、このプロジェクトに対する
将来的な希望や想いを教えてください。

外村:我々は究極的には、物理的な制約を感じないコミュニケーションを実現していきたいと考えています。別々の場所からジョインしていても一緒の会議に出席している、別の場所にいるアスリートと同じフィールドを一緒に走っている、世界中で起こっている歴史的な瞬間に立ち会う、そういう体感を実現できると面白いと思っています。ちょっとSFの世界のような話かもしれないですけど、Kirari!が目指しているのはそういう今は想像できないような未来を作るということ。今のあらゆる映像表現を超えていくことが、次のステージなんじゃないかと考えています。

宮下:個人的には、やはり技術としてひとつ誇れるものを作りたいなと。残念ながら、今の被写体抽出技術は新しくはあるかもしれませんが、競合となるような画像処理の分野において飛び抜けて優れた技術かと問われると、まだまだ未熟な面があります。それをいかに高めていって多くの人に見てもらうか、そういう技術的なハードルを越えていくことがひとつの目標としてあります。コンテンツとして自分が観たいと思う競技は、フィギュアスケートですね。

写真=植村忠透 Tadayuki Uemura

構成=雑司が谷千一 Senichi Zoshigaya