1: しじみ ★ 2018/07/07(土) 13:03:11.22 ID:CAP_USER
Googleと同じAlphabetを母体に持ち、世界最強の囲碁AI「AlphaGo Zero」を開発した
人工知能(AI)開発企業・DeepMindが、ファーストパーソン・シューティング・ゲーム(FPS)で
人間を超えた勝率をたたき出すAI「For the Win(FTW)」を開発しました。ただ敵を倒すだけではなく、
人間のチームメイトとも協力して有利にゲームをプレイすることができるとのことです。

Capture the Flag: the emergence of complex cooperative agents | DeepMind
https://deepmind.com/blog/capture-the-flag/

人間とゲームをプレイするAIの研究は、2017年にもOpenAI開発のAIが「Dota 2」で人間に勝利するという結果を残し、
話題になりました。また、DeepMindも「StarCraft 2」をプレイするAIを研究していたことがあります。

今回、GoogleのDeepMindが開発した「FTW」は、1999年に発売された「Quake III Arena」をプレイ。
「Quake III Arena」はマルチプレイヤー向けのFPSで、今でも大会が開かれるほど人気があるタイトルです。
この「Quake III Arena」での対戦ルール「Capture the Frag(CTF)」という旗取りゲームを行い、
人間と一緒にチームで遊べることを目指して学習を行ったとのこと。

CTFは2つのチームに分かれて対戦するゲームで、
相手チームの陣地にある旗を奪って自陣に戻るとポイントが加算されるというもの。
単純なルールに見えますが、相手チームに旗を取られた場合は旗を持っているプレイヤーを倒さなければならないなど、
状況に応じて狙う相手や動きを変更しなくてはならず、CTFで要求される動きは複雑だと研究チームは評価しています。

戦いの舞台となるマップは同じものを使い続けるのではなく、マッチごとにマップを変更していたとのこと。
これによって、FTWはマップのレイアウトを記憶するのではなく、汎用的な戦略を学習していかなければなりません。
さらに、AIを人間と同じように成長させるため、
従来のゲーム用AIのようにゲーム内でのパラメータを直接読み取ってプレイするのではなく、
人間と同じように画面上のピクセルを認識させてエミュレートしたコントローラーで操作をさせています。

DeepMindの研究チームは、40人の人間プレイヤーと30のFTWのエージェントをランダムにマッチさせ、
45万回以上CTFをプレイさせました。各エージェント間ではリカレント(回帰型)ニューラルネットワークが形成され、
さらにゲームポイントから内発的動機付けを行うように学びます。これによってCTFを高いレベルでプレイするようになります。


以下のムービーで、実際にFTWのエージェントが人間も交えながらCTFをプレイする様子が見られます。

Human-level in first-person multiplayer games with population-based deep RL - YouTube
https://youtu.be/dltN4MxV1RI



以下のグラフはFTWの成長具合を表したもの。
横軸がゲーム回数、縦軸はEloレートと呼ばれるプレイヤーの強さを示す数字で、高いほど強いプレイヤーであることを示します。
水色線がFTWのEloレートを示していますが、FTWのエージェントがCTFを15万回プレイした段階で既に
「平均的な人間プレイヤーのEloレート(Average Humanと書かれた点線)」を超えていて、
20万回へ到達しないうちに「強い人間プレイヤーのEloレート(Strong Humanと書かれた点線)」を超えています。
CTFを45万回プレイする頃にはトップスコアを記録しています。

また、以下のムービーの右上に表示される「Agent population」というグラフ部分から、
FTWの各エージェントが回数に応じてEloレートをぐんぐんとあげていく様子がよくわかります。

Capture the Flag: FTW agents training progression - YouTube
https://youtu.be/D6o1K7VjkLc



FTWは大量にCTFをこなす上で、
「自チームの陣地を守る」「相手の陣地を制圧する」という部分だけではなく
「チームの仲間に追随してサポートをする」という、人間と協力するような行動の習得にも成功していたとのこと。
お互いをサポートするように協働するこれらの行動は、
強化学習と集団レベルでの進化の過程で得られるとFTW開発チームは述べていて、
現在強化学習を集団レベルの訓練方法をさらに改善し、
最終的に安定して人間とチームを組むことができるAIエージェントの開発を目指すとコメントしています。

no title

no title


GIGAZINE
http://gigazine.net/news/20180706-deepmind-capture-the-flag/

引用元: ・http://egg.5ch.net/test/read.cgi/scienceplus/1530936191/

2: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 13:07:48.36 ID:8cywkGPb
反射神経がキモのジャンルならaiが勝って当然だろあほっくさ
7: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 13:43:37.23 ID:6eSinXRf
>>2
これが社会の底辺を這いずるバカな素人の発想です。
バカな素人は自分を基準にして専門家集団の研究結果を批判します。
本当に笑えますね。
3: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 13:11:42.43 ID:sliDbZtr
勝って勝って勝ちまくって習熟の進んだAIを、ゴリゴリの升キャラでボコボコに倒したらどんな反応するか興味ある
8: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 13:53:01.92 ID:LE3Wk8EU
なるほど、これで近代戦が加速するな
10: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 14:36:48.96 ID:kNjP3Dxk
エイムミスらない時点でインチキ
11: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 14:58:16.95 ID:eB5nkKlu
平均スコアではトップだけど
ある特定の人物には勝てないとかありそう
13: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 15:02:36.62 ID:t6OENtg6
ただの難易度調整ミスってるクソゲー作って何がしたいんだ
14: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 15:21:44.34 ID:OM8phE23
間違いをおかすから面白いわけで、完璧だったら糞つまらん
15: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 15:27:04.76 ID:4lxVyenf
人間よりも強い格闘ゲームのAIを開発みたいな話に聞こえるが
そりゃ出来るよ簡単に
25: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 16:45:58.26 ID:+XxkRa38
>>15
ゲーム内botならね
画像認識でというのが凄いんだよ
36: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 22:29:54.37 ID:2qJErzJQ
>>15
単に超反応をするbotを作ったんじゃなくて
画像認識から変化する目標に対応したり人間と協力する行動を学習するAIであるというところがこの記事の骨子だろ
37: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 22:59:09.15 ID:0boNhINm
>>25や>>36みたいにちゃんとわかってる人がいてよかった
22: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 15:57:32.04 ID:lKu4CrJY
最終的にAIチームは全キャラがガチ芋砂してそう
26: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 16:55:47.26 ID:BMxrjcjP
>>22
AIチーム同士でやったらゲームにならなくなるんじゃないのか、それ

そう言えば昔ゲーセンに遠距離からライフルで打ち合うゲームがあったな
スコープ部に別モニター仕込んで拡大画像表示させるやつ
27: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 17:05:41.56 ID:y6OEYXNW
日本の誇る熟練工ってのが早晩要らなくなりそうだな。
全てとは言わないけど淘汰されそう。
若手の技能工が全く育たなくなったらその後はどうするんだろ。
31: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 19:50:19.98 ID:+XxkRa38
>>27
それこそ機械化で事足りるんじゃないか
48: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 01:08:57.03 ID:tSy92B+H
>>27
熟練工の方が賃金が安いんだよな
じゃなければ、世界中が無職の人で溢れかえっているよ
84: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 19:06:17.46 ID:m0aoP+QU
>>27
若手はＡＩをうまく使いこなす技能工が必要とされるよ。
28: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 17:13:10.41 ID:5t6V5v+l
QuakeIIIははまったなあ。顔と体を他キャラに入れ替えたりしたよね。
29: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 17:29:58.55 ID:E/dkX99j
のちのスカイネットである
30: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 17:32:16.55 ID:f4l2hmo2
無人戦闘機もこれでいけるな。
人間の限界以上の動きも楽々出来るから、あり得ない動きも楽々出来る。
32: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 20:16:41.62 ID:aHeiAeUx
>>30
シミュレータで人間打ち負かしてるよ
33: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 21:26:04.49 ID:ZNPoZlKU
反射神経ハンデは導入しないとね。てか、人間って性能低いなー。
39: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 23:17:27.16 ID:JYl39MZG
そりゃ、並列処理で超反応されたら
勝てるわけねーわ
42: ニュースソース検討中＠自治議論スレ 2018/07/07(土) 23:54:30.30 ID:8dV0SHmp
コレのすごいところは
画素ピクセルから直接読み取った情報だけから
次の動きを予測する関数（ニューラルネットワーク）が
得られていてそれがきっちり学習できていることだと思う。

画素ピクセルは別になんでもいいわけだから
ボストンダイナミクスのロボットについたカメラの映像を
入力にしてもいいわけだから
その時のスコアの設定の仕方によれば、非常に恐ろしい話だと思う
104: ニュースソース検討中＠自治議論スレ 2018/07/09(月) 13:01:41.14 ID:mQUPxiOz
>>42
ちょっと前にDoomを使って似たような研究競争やってたよね。あれはデスマッチ勝負だったか
CTFまでいくと、かなり高度な時空間の認識が必要になると思うが、
ニューラルネットの中にはどんな風景ができてるんだろうね。
54: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 06:09:48.63 ID:+z5rS9to
で、いつになったら俺を満足させるAI嫁ができるんだ？
71: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 15:52:41.24 ID:IpKCBBhn
>>54
この記事の技術を応用すれば近い内いけるんじゃない？
見てくれも割りといいのはあるし
あとはお前が大金を出すだけ
あそれと自分が何を望んでいるか明確にしておく必要があるぞ
これが一番大変だと思うけど
55: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 07:56:22.15 ID:/e+jMod5
なんかいよいよアニメの話が現実になってきそうだな
69: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 15:11:24.42 ID:rUeC7YXE
FPSなんてゲームクリエイターレベルのAIでもガチで作れば人間じゃ勝てないだろ
エイムが別次元
77: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 18:19:52.55 ID:vZMHc8tS
AIで実物のマウス動かすなら平等だと思うが…
97: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 22:09:13.38 ID:oRAB1ehg
>>77
その手の「平等」って意味ないだろ
そもそも人間とAIじゃ存在としての有り様が全く別物なんだから
89: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 19:48:34.79 ID:z3+P7avs
もうネトゲは必要が無いな
AIの方が人間より戦略的なら昔ながらのオフラインプレイで充分ｗ
94: ニュースソース検討中＠自治議論スレ 2018/07/08(日) 20:07:20.95 ID:4uIXjm76
>>89
AIは昔ながらの正規化を多次元多重でやってるだけ。
人とは視点が違うけどフィードバックが豊かならそれなりに合わせてくれる。
だから、人としての視点とAIの視点は全く違う。

アウトラインを人が指示して一緒に遊ぶならアリじゃないの。
117: ニュースソース検討中＠自治議論スレ 2018/07/10(火) 01:34:49.22 ID:7lzvOoJN
囲碁よりかなり簡単だと思うんですが
118: ニュースソース検討中＠自治議論スレ 2018/07/10(火) 01:38:52.51 ID:NrZ7duoc
>>117
全あたり計算でも最適解はない
その中で最適解を判断するというところが囲碁と違うんじゃない(ハナホジ