画像中から人や物を消す処理といえば、映画撮影の紹介番組などで、役者を吊ったワイヤや写り込んだ自動車などを消す様子はよく見かけます。

Cloak を公開したアドビも以前から、画像中の邪魔者を周囲の背景で埋めて消す機能「コンテンツに応じた塗りつぶし」をPhotoshop向けに提供しています。


では開発中の「Cloak」 技術がどうすごいのかと言えば、まずは動画で前後の矛盾なくオブジェクト除去を実現すること。また最初に消したい要素を大まかに範囲選択するだけで、残りは自動処理してくれること。


静止画向けの「コンテンツに応じた塗りつぶし」は一枚の画像の中で辻褄をあわせて消すために、動画中の各コマにそのまま適用しても、動かすと塗りつぶし部分が不自然に見えてしまいます。

一方、動画向けの Cloak では一連の動き全体を解析することで、ある場面では隠れていた面が現れる部分も参照して、より現実に近い映像で再構成できます。

また映画などの特殊効果で邪魔者を消す場合、従来は場面の長さに応じて膨大な手作業が発生していましたが、Cloak では高度なオブジェクト認識とモーショントラッキングにより、最初に大まかに範囲選択するだけで自動化が可能です。

実際の例は動画をどうぞ。

今のところあくまで実験段階のため、よく見ると人物の影が部分的に残っていたり、消した背景が微妙にボケていたりと粗も見えます。とはいえ、最終的には手作業が発生しても、動画中のオブジェクト消しを大幅に省力化できることは間違いありません。

Adobe いわく、動画中のオブジェクト消去は、今後 360度撮影やVR向け撮影が普及するほどさらに重要になる技術。従来の動画撮影ならばスタッフや機材はフレームの外に隠れれば済みましたが、360度ではどうやっても写り込んでしまいます。

Cloak 技術が実際に Adobe のツールに実装されるかどうか、されるとして時期などはまだ未定。特撮やプロの映像制作で役立つのはもちろん、映り込みを排除できない素人のスマホ動画撮影にこそ便利そうな技術です。