Google DeepMindが開発を続ける人工知能Deep Q-Network(DQN)が、今度はバーチャルなアリのキャラを操りサッカーゲームを始めました。これはReinforcement Learning(強化学習)を取り入れたことによるもので、DQNは小さなキャラクターとボール、赤い円があるコートを与えられただけで、自分で何をすべきか判断しているとのこと。 DeepMindの人工知能AlphaGoは先日、世界トップランクの囲碁棋士イ・セドルを打ち負かして大きな話題になったばかり。一方、先読みが可能な囲碁や将棋・チェスに比べると、リアルタイムな操作が必要なテレビゲームをプレイするのは、AIにはかなりの重労働です。

Googleは、この分野でもテレビゲームをする人工知能 Deep Q-Network(DQN)を開発し、人間がプレイするのと同じように画面からの視覚的入力だけでゲームをプレイするよう鍛えあげてきました。まずはアタリ2600の2Dゲームが中心に、パターン記憶でクリアできる一部のゲームでは人間を上回る上達を見せるようになりました。最近は人間が持つ"好奇心"と同様の処理を与えられ、謎解き要素が入ったアクションパズルゲームでも上達の兆しを見せるようになっています。また、3D迷路など新たなゲームにも対応を開始しています。

今回Googleが公開したのは、「Ant Soccer」なる動画。3D描画されたコートで小さな(クモのように見える)アリのキャラクターが、ボールを赤い円形のゴールへと蹴りこむだけの動作をDQNがプレイする模様でした。
　 　
興味深いのは、DQNには事前に何のルールも与えていないということ。アリのキャラクターを動かせるというだけで、あとは状況観察から何をするかを自分で導き出して動作しています。つまり、DQNが自分なりのゲームルールを作って遊びはじめたとも言えるかもしれません。

これはDQNが備えていたDeep Learning(機械学習)にReinfoecement Learning(強化学習)を取り入れたことによるもので、Google DeepMind はDeep Reinforcement Learning(Deep RL)と称しています。

なお、Googleはこの動画の1週間ほど前、DQNが3DCGで描画された2本脚、4本脚のキャラクターを歩かせたり、バーチャルなロボットアームを操作してボールを指定の位置に置く動作などを学習させている動画を公開しています。これはAsynchronous Advantage Actor-Critic（A3C）アルゴリズムの学習の様子で、今回の「Ant Soccer」動画でもA3Cアルゴリズムが応用されていることがわかります。
　
このようにDQNがすでにロボットアームや2足、4足のモデルを動かせるようになっているのを見ると、たとえばCGモデルと同様に歩行可能なロボットを用意して、そこにDQNを載せれば、何も教えなくてもある程度勝手に行動するロボットがもう実現可能なのではとも考えてしまいます。

ちなみにGoogleは、人工知能技術の応用先のひとつとしてヘルスケア分野を挙げ、DeepMind Healthの構想を立ち上げています。DeepMind Health では人工知能が患者の症例や、医者や看護師が持つ知見を総合的に学習して、医療現場で難しい判断をしなければならない医師をバックアップするとしています。