9月9日、エクスビジョンがPCやスマートフォン向けジェスチャ入力システム『エクスビジョン・ジェスチャー・システム』(EGS)を発表しました。カメラとして一般的なCMOSセンサを搭載する製品1台のみを使う(＝複数カメラや深度センサーを使わない)点から、Kinectベースのシステムなどに比べて低価格な市場を狙えるとアピールします。

同社は高速画像処理技術を柱とする企業。Engadgetでもお伝えした東京大学 石川渡辺研のジャンケン必勝ロボを開発した石川正俊教授が取締役を務める、いわゆる大学研究室からのスピンアウトベンチャーです。




ジャンケン必勝ロボでは高速画像処理を人間の出した手を認識(してロボットが後出しをする)ために用いていますが、EGSでも手の認識精度を上げるために使用。画像キャプチャー時のフレームレートを多くすれば、1コマあたりの移動量は小さくなるため、それだけ移動を検知できる精度は上がるという理由です。

ジャンケン必勝ロボは1000fps(毎秒1000フレーム)で画像を解析していましたが、今回は比較的低コストを狙ったこともあり、解析精度は100～120fpsと遅め。同社の説明によれば、今回ターゲットとしている1.2～3mの範囲では、これでも十分な認識精度が得られるとのことでした。

同社がアピールするもう一つのメリットは、OSやアプリからはタッチパネルとして認識される点。現状では手を1点として認識する仕様なので(手を握るとタップ扱いになるという動作です)、2点タッチ相当ということになりますが、アプリ側の修正を必要としない仕様。

発表会場のデモでも、タップやスワイプ、ピンチズームといった基本動作は、両手でということになるものの、一通りが実装されていました。



一方でジェスチャの動作に関しては、現状ではマルチタッチとの互換性をしっかりと確保したいとのことで、認識スタートとなる「手を振る」、タップとなる「手を握る」など、限られた動作のみとなっています。認識範囲に複数人が入った場合は、手を振ったユーザーの手を追跡し、認識範囲外に出るまでは認識し続けるという仕様でした。

ただし(もちろん)ジェスチャの種類はソフトウェア側での増加が可能なため、開発パートナーの要求に応じて拡張を予定しているとのこと。



さて、発表会でのデモはOSとしてWindows 8.1を、アプリはその上で実行したBluestacksのAndroid App Player環境を併用して実施されましたが、両環境ともOSやアプリには手を加えていない点をアピールしていました。



発表会場のデモでは、両環境における標準ソフトウェアキーボードによる入力からはじまり、『Fruit Ninja』や『Cut The Rope』といった比較的ポインティング精度が要求されるゲームもスムーズにプレイできるところを見せています。さらに公式動画では、『Smash Hit』などのプレイも見られます。

当然「本当にここまでスムーズに動かせるのか？」という疑問が出ましたが、そうした疑問に応えるべく、発表会では、実際にフルーツニンジャをプレイすることが可能でした。

まず感じたのは、認識精度の高さ。カーソル位置は画面に表示されているとはいえ、ジェスチャ入力が比較的苦手とする「狙ったところでカーソルを止める」動作が、初回から的確にできました。またゲームをプレイしていくと、手の移動距離とカーソルの移動距離の違和感の少なさにも驚きを覚えます。



このあたりの補正、とくに腕とカーソルの移動距離をマッチングさせる設定に関してはかなりのノウハウがあるようで、同社からは「(ズームレンズのないカメラの場合)単純に二次元的な画像認識をするだけでは、操作者の距離が離れると、大きく手を開いてもカーソルが画面端まで行かないといった事態が起きます。しかしEGSではカメラからの距離に関わらず、同じような動きの幅をすれば同じようにカーソルが動きます」という旨の解説もありました。

気になるデモに使われたPCの構成は非公開とのことですが、ベクトル演算器としてGPUを利用している点だけは公開されました。

さらに会場での質疑応答では、「現状のライブラリをiPhoneに移植した場合動作可能か」との質問がありましたが「現状のiPhoneシリーズでは難しいと考えている」との回答もあったため、現状ではそれなりにGPU側の演算性能が要求されるようです。

さてEGSは、製品としては2種類で提供される予定。1つ目はPCやスマートフォンで動作するソフトウェア(ミドルウェア)として。こちらは既に受注を受け付けている状態。

2つ目は、画像解析システムとなる『EGSエンジン』を搭載した、USB接続のカメラモジュールです。こちらは専用チップと認識ソフトを内蔵しているため、ハードウェア側への負荷が低い構成。価格は現在未定ですが、サンプルの提供は今秋予定とのこと。

同社はテレビやセットトップボックス、ゲームコンソールやデジタルサイネージに加え、医療用途など、タッチパネルを操作しにくい市場も売り込みを狙うとアピールしています。



現状商用で使われているジェスチャ操作はKinectをベースにしたシステムが多く、また専用ソフトと合わせて運用されるのが基本になっています。

そうした中で、機能をシンプルにし、まずはタッチパネル代替としての機能をしっかり実装するというEGSのアプローチはこれまで手薄だったアプローチに思えます。ジェスチャ入力の幅を広げる動きとしても興味深いところです。