本技術の特徴は、対象となる人物の写真1枚だけで、様々な表情をとらせることが可能な点。特定人物の表情を操作する技術は以前から存在していましたが、従来の技術では対象となる人物の顔がはっきりと映った動画が必要でした。

写真側の表情変化を動画側で制御するにあたっては、顔の変形を模倣する二次元ワープ法を使用していますが、表情の形成に深く関連し、かつワープだけでは不可能な顔の皺などの動的なディテール再現には、動画側の表情から対応するディテールを持ち出して使用します。この際、サンプルとなった動画側のディテールをそのまま使うわけではなく、不自然な影の除去などの処理が施されます。

開発に携わったのは、テルアビブ大学のHadar Averbuch-Elor氏、Daniel Cohen-Or氏、フェイスブックのJohannes Kopf氏、Michael F. Cohen氏の研究チーム。


研究概要によれば、本技術はインターネット上のポートレイト画像を使って動作の実証試験を進めている段階とのこと。また開発にはフェイスブックが関わっていることから、近い未来にはSNSなどのアプリケーション上において、プロフィール写真やアイコンをアニメーション化し、コミュニケーションの一手段として利用できるようになるかもしれません。

ネット上でユーザーのリアルな表情をアバターに反映する試みは以前からいくつか形になっており、似たような使い方ができるソフトウェアとしては「FaceRig」が有名です。FaceRigでは3Dモデルに表情をフィードバックさせますが、2015年にはLive2Dと連動して、二次元キャラクターに表情を反映させられるようになっています。

自分を「アバター」や「アイコン」として表現する文化は様々なコミュニケーションのプラットフォームで広く浸透していますが、今回開発された技術を含む「自分を別の何者かに変換してみせる」試みは、アバターが持つ存在感を強化する効果も感じさせ、これは将来的に、ネット上における自己表現の幅を大きく拡げる可能性があります。


関連記事：
動画：表情をCGキャラにリアルタイム反映するSOEmote、MMOゲーム EverQuest II に導入