適当に描いた図形が「ネコ」へ自動変換される「edges2cats」

適当な落書きから写真のような画像に変換してくれる「pix2pix」というアルゴリズムとGoogleのオープンソースの機械学習ライブラリ「Tensorflow」をもとに開発された、一筆書きのようなラフな図形でも猫画像に自動変換してくれるツールが「edges2cats」です。簡単にかわいい猫画像が作れるようになったのかと思いきや、悪夢画像を生成するGoogleの人工知能「DeepDream」を使ったかのような猫画像が大量生産されています。

Image-to-Image Demo - Affine Layer
http://affinelayer.com/pixsrv/index.html

edges2catsで落書きを猫画像に変換するサンプルがコレ。2000枚の猫画像を使って機械学習させており、かなりの精度で猫画像が生成されるように見えます。

……が、しかし、これは描き手の画力にかなり左右されるらしく、猫の顔がぐにゃっと曲がってしまったり……

holy shit you draw a cat and it makes you a freaking cat https://t.co/c1Giqkdbgj pic.twitter.com/gJJOQdz5vn

— Paul Ford (@ftrain) 2017年2月21日

抽象画のようなものが作成されることも。

pic.twitter.com/AFlEvKY1Il

— Paul Ford (@ftrain) 2017年2月21日

どんな幾何学模様でも猫っぽく。

@ftrain pic.twitter.com/Gm8WMzEjYo

— Cabel Sasser (@cabel) 2017年2月21日

シュレックも猫画像に変換されます。

@ftrain somebody once told me pic.twitter.com/LbUcMD8yz8

— Mat Babiak (@MatBabiak)2017年2月21日

それっぽいと言えなくもない画像。

pic.twitter.com/zZR68HXCOe

— Paul Ford (@ftrain) 2017年2月21日

文字も猫画像になります。

pic.twitter.com/IOK7jp6L3M

— Paul Ford (@ftrain) 2017年2月21日

もはや猫と呼んでいいかがわからない生き物も。

pic.twitter.com/dVfUZ2jJXK

— Paul Ford (@ftrain) 2017年2月21日

edges2catsの作者であるChristopher Hesseさんが最高傑作として評価しているのが以下の画像です。

pix2pixはカリフォルニア大学バークレー校で開発されたAI教育用アルゴリズムで、変換前・変換後のペア画像を見せ続けることで学習し、似たような画像変換を自動で行ってくれるようになります。Hesseさんはpix2pixを使って適当に落書きすれば自動的に猫画像に変換してくれる「Tensorflow port of pix2pix by Isola et al」というツールを作成しました。

そのため、例えば、ただブロックが並んでいるだけの画像から建物の画像に変換してくれたり……

靴の線画を靴の写真のような画像に変換したり。

カバンもかなりリアルに変換してくれます。

猫画像の生成はどうやら難易度がかなり高いようです。