11月3日まで神宮外苑で開催されているクリエイティブイヴェントTOKYO DESIGNERS WEEK。ここでは、デザイン・アート・ミュージック・ファッションを主軸に国内外のさまざまなクリエイティヴ作品に触れることができます。

今回はVRヘッドセット「Oculus Rift」とモーションコントローラー「Leap Motion」を組み合わせたインタラクティヴ作品「Polyphonic drawing」を体験してきました。

Oculus Riftは360°仮想空間を見ることができ、今最も注目されるデバイスとしてはもうお馴染みでしょう。ギズでも紹介ましたが、この夏にモーションセンサーコントローラーであるLeap Motionと組み合わせたシステムが発表されたのです。それは仮想空間を没入的に見るだけでなく、操作できるようになった画期的なものでした。



この新しいシステムを体験できるのが「Polyphonic drawing」。ただ仮想現実を見るだけでなく、ヴィジュアルと音を操作できる作品です。トップは、この作品のデモの動画。

今回はこのPolyphonic drawing作ったクリエイティヴチームbindの木継則幸さんと荒川健司さんにお話を伺ってきました。

木継さん：この作品は、動作の意味を全く変えてしまうものです。たとえば、ペンに紙で文字を書くときには、そのペンがすれる音と描くイメージは自分が予期できるものですよね。一般的に人の行動は、自分の行動に対する意図と期待、知覚が結びついているけれども、そこを組み替える。

この作品は仮想空間をインターフェースにしています。何もないところに触れることで、自分が予期しない音が出るわけです。弦を弾いてないのにギターの音が出たりね。アウトプットに対する先入観が崩れる体験なんです。

荒川さん：この作品で音やヴィジュアルを操作するモーションは、指を振ったり手のひらをかざすという単純なものなんです。みなさん潜在的に「記憶」している動作。本来人間が潜在的に知っている動作を、新しいテクノロジーで意味を書き換えてしまう。

ーー遠い記憶のかなたのものが今ここで未知なものと出会う感じですね。

木継さん：生まれた時から感覚として備わっている動作で情報を操る動きが、最近は進んでいますね。

荒川さん：今の子供たちは、iPhoneが当たり前で育ってきているので、テレビもスワイプしようとするんですよね。これって、僕たちが子供の時には絶対にしなかった動作なんで。今後、テクノロジーの発展でこのようなインプットとフィードバックの関係が多様になってくると思いますが、自然な動作に対して、どのようなフィードバックを与えるかということが面白いところだと思っています。

言語を超えていくコミュニケーションと体験

木継さん：この作品は、手の動きを元にサウンドとヴィジュアルを生成していくものですが、一度削除するまでログとして残っていくんですね。たとえばベースラインを一度作ったら、それがずっとループするので、そこにベースやシンセの音をのせていくことができます。ということは、複数人でログを利用したコミュニケーションをとることもできるんです。僕がベースとシンセで作ったヴィジュアルとサウンドを元に、誰かがさらにベースで異なるメロディーラインをのせたり、ギターをつけることもできる。

荒川さん：ジャムセッションみたいですが、言葉ではないコミュニケーションですよね。加えてこのシステムは、観るだけでなく操作するからこそ、より深い体験ができるわけです。

木継さん：さらに、これは音楽でもないしCGや絵画といったものでもない。体験というものが、従来のオペレーションという概念に基づいたカテゴライズからフリーになっていく感覚を、楽しんでもらえればと思います。

全く新しい体験なので、それを形容する言葉がでなくなるんです。とにかくすごい。その感覚は、幼少期において、未知ばかりの毎日に少しずつ慣れていったものとすごく似ているように感じました。大人になってもそんな経験をする時がくるなんて思っていなかったです。

是非、体験してみてください。

source: Polyphonic drawing, bind, 株式会社インフォバーン, 株式会社モフ, TOKYO DESIGNERS WEEK

（嘉島唯）