20170831_1633

 展覧会タイトルに含まれている「Point-Rhythm(ポイントリズム)」は、点描画法という意味の「pointillism」とリズム(rhythm)をかけた造語。

同展覧会では、クロード・モネが1899年に制作した「睡蓮の池」(ポーラ美術館所蔵)にインスパイアされ、アーティストの増田セバスチャンが独自の点描にて会場全体に再構築した。

会場内の一角には、来場者の動きに合わせて表現が変化する空間が用意され、来場者の動きに呼応して蝶が舞い、幻想的な体験ができるようになっていた。

このインタラクティブな展示は、作品の世界観をさらに拡張するべく、NTTドコモの技術と、クリエイターの感性が融合することによって実現した。その背景には、どんなストーリーがあったのだろうか。

m1_photo

山添 隆文(NTTドコモ)
1979年10月2日三重県生まれ。2004年NTTドコモ東海に入社。地方での法人営業業務の傍ら、デコメ絵文字アプリや映像ソリューションを企画・開発し、全国的な展開を実現。2008年にプライベートで作った独自の画像認識技術(空間インターフェース技術)によるコンセプト動画がニコニコ動画の当時の一日再生数記録になる等話題になり、同技術がIPA未踏IT人材発掘・育成事業に採択、IPA未踏スーパークリエータに認定される。その後、NTTドコモのR&D部門に異動となり、機械学習やVR/ARの要素技術開発、IoT規格の立案および標準化、業界団体設立等に携わる。一方で、空間インターフェース技術の知的財産権をNTTドコモに売却し、事業展開について検討を進めている。

赤津 慧さん(ハロー)
1990年7月31日茨城県生まれ。東京理科大学在学中に、カナダSNSソリューション会社Wishpond Japanの日本法人立ち上げに携わり、大学卒業後は日本支社長に就任。2013年より株式会社ハローを設立し、「テクノロジーで新しいエンターテイメントをつくる」をミッションに、最先端技術のR&DとIPビジネスを展開。建築や美術作品のバーチャル体験サービス 「VR ART」やオリジナルアニメ制作、広告CM、楽曲制作、インタラクティブな舞台演出など、手がける企画は多岐に渡り、テクノロジーとエンタメの融合をテーマに新しい可能性を探求し続けている。

m_photo

l_photo

吉田 佳寿美さん
1993年9月13日福岡生まれ。高校2年生時からイラストレーションや商業デザインをメインに、ソーシャルやイベント系の企業や、個人クライアントから制作を受注。2012年九州産業大学芸術学部デザイン科特待枠で入学。2015年度から武蔵野美術大学視覚伝達デザイン3年次に編入、中退して2016年CG制作会社EMOGRA.inc設立。リアルイラストレーションからデフォルメ、デザインまで見た物を応用して新しく作り出し、美しさや魅力的な理想を追い求める。

幻想的なインタラクションを実現した空間インターフェース技術

インタラクティブな展示では、作品に溶け込むように備え付けられたディスプレイの中を、人の動きに合わせて蝶が舞う。蝶はしばらく周囲を舞った後、花火のように美しくはじけて消える。 

この展示には、2017年4月の「ニコニコ超会議2017」にて展示されていた「みんなで愛でようドコモダケ」に使われたものと同様の空間インターフェース技術が活用されている。

この技術には、画像解析や物理シミュレーションを活用。従来、人の動きに合わせて画面の中でモノを動かすには、人間の骨格モデルを作った上で処理するなど複雑なプロセスを経ていたが、この技術では、オブジェクト自体に手を加えることでシンプルにしている。

この展示は、ハローの赤津慧さんが、本展覧会の企画者であるソニー・デジタル エンタテインメントから相談を受けたことからはじまった。

 170803_3884

赤津「ソニー・デジタルさんから、3D空間でのインタラクティブな演出と開発の相談をいただきました。3Dモデルデータのアニメーションと画像認識技術を組み合わせて、人が近づくとインタラクティブに蝶が反応する技術の開発を担当しました」

赤津さんは「みんなで愛でようドコモダケ」の開発にも携わっていた。今回、作りたい世界観をヒアリングしたところ、ドコモの空間インターフェース技術をベースに組み立てると最適なのではと考え、同技術の開発者である山添 隆文に声をかけた。

山添「私が開発しているのは、画像認識と物理シミュレーションを組み合わせて、バーチャルな空間に現実に近い動きを再現する技術です。触る対象はモノだけではなく、水でも空気でも対応できます。赤津さんから、さりげない演出にも効果的ではないか、とご相談をいただきました」

山添が開発した空間インターフェース技術は、操作手段として人間の骨格モデルなどの処理が必要だった従来の複雑なプロセスの代わりに、操作対象のオブジェクト自体にどのように動けばいいのかを物理シミュレーションで判断させることで、手段を選ばないオブジェクト操作をシンプルに実現している。この特徴が展示に組み込むのに適していた。

170803_3900

山添「展示では、大勢の来場者が訪れます。どう人が動くかわからないですし、どういう衣装を着ているかも予想できません。そのため、従来の人間の骨格モデルを作った上で処理する方法では対応が難しい状況にありました。私が開発している空間インターフェース技術は、画像認識技術でそのままの形を認識し、オブジェクト自体に触れられ方を判断させる工夫をしているため、どのような来場者が来ても反応することが可能です」

世界観とのバランスが表現のハードルになった

空間インターフェース技術を展示に活用するのは今回がはじめてだった。ベースの技術は同じでありながらも、展示で利用するとなると新たに調整が必要となった。

たとえば、「みんなで愛でようドコモダケ」は、画面内でドコモダケというバーチャルなオブジェクトに本物のように触れられた。まるで現実世界と同じように画面内で振る舞える体験が特徴だ。だが、「Point-Rhythm」の幻想的な世界観を崩さないためには、現実的になり過ぎないようにしなければならない。

赤津「ドコモダケと同じように動きをプログラムすると、蝶が現実世界の虫のような動きになってしまいます。蝶の動きを極端にスローにするなど現実的になりすぎないようにし、触れると蝶は破裂してマテリアルに戻っていく。その演出が難しかったですね」

170803_3960

センサーも作品の世界観を崩さないよう配置し、来場者の動きに反応するように調整が行われた。

赤津「ドコモダケの際は、画面の中に人が映り込み、画面内のオブジェクトに触れることができました。バーチャル空間に自分が入り込んでいるようなイメージです。一方で、今回の作品では、世界観を崩さないために、来場者の姿を投影せず、外側からのインタラクションで動くようになっています。ただ、さりげない演出になっているため、インタラクティブな表現があると知らずに来場した方でも認識しやすいよう、音を組み合わせました」

さりげなく配置されたセンサーが来場者の動きを感知して、蝶に触れると音が流れる。音が鳴ったことで来場者は何かあると注意を払い、自分の動きに呼応する蝶に気づく。こうして、技術は演出の世界観に合わせてチューニングされていった。

表現が技術の可能性を広げる

山添「元々、開発している技術は演出として使用することは想定していませんでした。今後、演出用の効果をさらに充実させていくことも考えられます。たとえば、蝶が弾ける表現の部分で、鱗粉がエフェクトとしてさらに反応するといったことが考えられます」

山添が開発する空間インターフェース技術は、クリエイターとコラボレーションすることによって、新たな可能性が開けた。技術を活用したクリエイターにとっても、新たな発想が生まれることにつながっている。

赤津「この技術は、生き物とのインタラクションとも相性がいいですね。シンプルな仕様になっているので、開発の汎用性も高い。今後も、生き物とのコミュニケーションに活用してみたいと思います」

今回、蝶のビジュアルグラフィックを担当した吉田 佳寿美さんは、自身が描いた絵が動く姿を見て、「まるで命が吹き込まれたようで感動した」と語る。

170803_4053_sample

吉田「普段は、ウォールアートなどのビジュアルグラフィックを担当していて、今回の展示では蝶の絵やモーションのカンプを作成しました。昔から、ゲームのグラフィックのように絵を動かしたいと思うことは多かったんです。今回、優秀なエンジニアの方々と活動することで、絵を動かすことができて面白かったですね」

今回の展示にかかわった2人のクリエイターは、技術に触れたことで次に試したいことが色々と頭に浮かんでいた。

赤津「今回は、現実的な動きを実現しましたが、もっと非現実的な動きをするインタラクションもありえると思います。たとえば、人がジャンプをすると予想もしない様々な方向に飛んでいくなどの物理法則に反する動きをする。現実世界とは異なるインタラクションをつけると、不思議な世界を作れるかもしれません」

吉田「生き物以外だと、自分のジェスチャーに合わせて魔法のように炎が出たりしても面白いですよね。インタラクティブに、物語性を付与していけたらさらに表現の幅は広がりそうです」

そして、ソリューションとしてのテクノロジーではなく、表現としてのテクノロジーを経験することで、山添の視野もさらに広がった。

山添「クリエイターの方々は、自分が考えていない視点をもたらしてくれ、大変刺激になりました。課題解決ではない、技術の活用の仕方はこれからも模索していきたいですね」

空間インターフェース技術のこれから

170803_3890_sample

新たな可能性も見えた空間インターフェース技術は、今後どう進化していくのだろうか。1つの可能性として、リアルタイムなインタラクションをさまざまな場面で実現することがある。

山添「さまざまな場面で応用できると考えています。たとえば、人気のプロジェクションマッピング。作り込まれたCGを現実世界に投影することで表現していますが、リアルタイムにその場のアドリブを反映する表現ができれば面白い」

赤津「アドリブといえば、ライブや演劇などもリアルタイムに動きを反映できるようになると、面白い世界観が実現できそうですよね」

ドコモダケの場合、別の展示ブースのユーザーも同じバーチャル空間上でドコモダケに触れることができた。二地点間で表現できるという要素も加えると、さらに技術の可能性は広がる。

山添「5Gによって通信環境が改善され、さらに表現の幅は広がっていくと考えられます。今回のように、VRやMRなどリッチな3D空間で、画像認識という入力インターフェースを組み合わせて重いデータ通信をする際に、5Gが活きると考えています」

赤津「5Gがあれば、リアルタイムで、離れた場所で、手を触り合う、ボールを投げ合うといったインタラクションが可能になっていくでしょうね」

技術の進歩によって、これまで不可能だった様々なことが実現可能になっていく。技術が加速度的に進歩し、新たなことに挑戦できる社会を見据えて、山添はこれからの意気込みを語った。

山添「人は心の奥底で諦めてしまっていることがあります。人が実現したいことを、技術で実現していきたいと思います。それこそ、魔法のような体験を実現していきたいですね」

Photos : Tadayuki Uemura
Text : Junya Mori

開催情報

■ 展示名 “Point-Rhythm World -モネの小宇宙-”
■ 開催期間 2017年7月21日(金)~ 9月3日(日)会期中無休
■ 開催時間 11:00~20:00(入場は19:30まで) / 入場無料
■ 開催場所 ポーラ ミュージアム アネックス
〒104-0061 東京都中央区銀座1-7-7 ポーラ銀座ビル3階
http://www.po-holdings.co.jp/m-annex/
■ 主催 株式会社 ポーラ・オルビスホールディングス
■ 企画 株式会社 ソニー・デジタル エンタテインメント