マイクロソフトが、新しい映像加工技術 Hyperlapse を開発しました。ウェアラブルカメラなどで撮影した撮影者目線の映像を3Dで再構築することで、浮遊感のあるスムーズな映像を合成します。
　
　 　
GoPro などのアクションカメラやウェアラブルカメラで撮影した撮影者目線の映像は、臨場感が高くインパクトのある映像を撮影可能としました。しかし、その動きの激しさゆえに、場合によっては映像酔いを引き起こしてしまうこともあります。

マイクロソフトが開発した Hyperlapse 技術は、ウェアラブルカメラなどで撮影した映像から、まるでカメラスタビライザーを使ったようなスムーズな映像を作り出します。

しくみを大雑把に説明すると、まずウェアラブルカメラで撮影した通しの映像を、10倍速のタイムラプス映像に変換します。次にその各フレームから地形や構造物などを3D座標上に構成しなおします。さらに、その空間を移動する仮想カメラの道筋を設定し、仮想カメラの座標情報と地形、元の映像を合成して Hyperlapse 映像として再構築します。

つまり、Hyperlapse 映像は、元の映像から計算によって作り出した3D空間を、仮想カメラが動きながら撮影した映像になります。

元の映像に全方向の情報があるわけではないので、仮想カメラのアングルによっては背景が切れてしまうことがあります。この場合は、複数のフレームから必要な部分を抜き出し、角度補正や継ぎ目の修正を加えたうえでレンダリングします。
　 　
紹介動画では、地形などをよく見ると解像感や色合いなどにアラが目立ち、継ぎ目も見えたりします。街を移動する映像もカメラスタビライザーを使うほうが手軽そうですが、ロッククライミングの映像のように、ステディカムやドローンを使えない場面で、それらを使ったような映像を撮影したい場合などには大きな効果が期待できそうです。

カナダのバンクーバーで8月14日まで開催の SIGGRAPH 2014 に合わせて論文を発表したのは、マイクロソフトリサーチの Johannes Kopf、Michael Cohen、Richard Szeliski の3名。このうち Kopf氏と Cohen氏は、連続写真からリアリティある3D映像を合成する技術 Photosynth の開発にも関わっており、Hyperlapse にも Photosynth の技術を応用しているようです。

また、開発中のアルゴリズムが完成すれば、Hyperlapse 技術を搭載したWindows アプリを発表する予定とのこと。Windowsタブレットで歩きながら撮影した動画から、まるで浮遊するような映像が簡単に作れるようになる日もそう遠くなさそうです。