米グーグル、人工知能に『非常停止ボタン』 暴走防止
2016年06月09日：18:07
- カテゴリ：新技術
1: リサとギャスパール ★ ＼(^o^)／ 2016/06/08(水) 18:50:58.28 ID:CAP_USER9
米グーグルが高度に発達した人工知能（ＡＩ）が暴走した場合に備えて「非常停止ボタン」の開発を進めていることが明らかになった。
ＡＩをいつでも安全に停止できる仕組みをあらかじめ組み込む。急速に進化するＡＩの悪用への懸念や社会の不安に応える狙いがありそうだ。
今年３月に世界トップクラスのプロ棋士を破った囲碁ＡＩ「アルファ碁」を開発したグーグル子会社、英ディープマインド・テクノロジーズの研究者と英オックスフォード大学の研究者のグループが仕組みを考案。
このほどネット上で論文を公表した。
具体的には「割り込みポリシー」と呼ぶプログラムをＡＩに組み込み、人間の指示に従わなかったり、人間に危害を加えようとしたりする場合に、その行動を強制的に止めたり変更したりできるようにする。
ＡＩが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイントだという。
研究グループによると、現存するいくつかのＡＩは安全に停止できるものの、「すべてのＡＩを安全かつ簡単に停止できるかは不透明」だとしている。
ディープマインドは2014年にグーグルによって買収される際、社内に倫理委員会を設置することを条件にするなど、ＡＩの暴走リスクには自覚的なことで知られている。
http://www.nikkei.com/article/DGXLASGM08H7Z_Y6A600C1000000/
ＡＩをいつでも安全に停止できる仕組みをあらかじめ組み込む。急速に進化するＡＩの悪用への懸念や社会の不安に応える狙いがありそうだ。
今年３月に世界トップクラスのプロ棋士を破った囲碁ＡＩ「アルファ碁」を開発したグーグル子会社、英ディープマインド・テクノロジーズの研究者と英オックスフォード大学の研究者のグループが仕組みを考案。
このほどネット上で論文を公表した。
具体的には「割り込みポリシー」と呼ぶプログラムをＡＩに組み込み、人間の指示に従わなかったり、人間に危害を加えようとしたりする場合に、その行動を強制的に止めたり変更したりできるようにする。
ＡＩが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイントだという。
研究グループによると、現存するいくつかのＡＩは安全に停止できるものの、「すべてのＡＩを安全かつ簡単に停止できるかは不透明」だとしている。
ディープマインドは2014年にグーグルによって買収される際、社内に倫理委員会を設置することを条件にするなど、ＡＩの暴走リスクには自覚的なことで知られている。
http://www.nikkei.com/article/DGXLASGM08H7Z_Y6A600C1000000/
引用元: ・【国際】米グーグル、ＡＩに「非常停止ボタン」 暴走防止
2: 名無しさん＠１周年 2016/06/08(水) 18:51:45.42 ID:EJWCvomG0
ＡＩが勝手に無効化するだけだろ。
14: 名無しさん＠１周年 2016/06/08(水) 18:54:28.97 ID:2mypG7Mj0
>>2
>>ＡＩが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイント
>>ＡＩが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイント
26: 名無しさん＠１周年 2016/06/08(水) 18:56:55.96 ID:PDUM+6hJ0
>>14
だまされてることにAIが気付いたら・・・
だまされてることにAIが気付いたら・・・
3: 名無しさん＠１周年 2016/06/08(水) 18:51:53.68 ID:FOaLGozK0
コンセント抜けばいいだろうが
42: 名無しさん＠１周年 2016/06/08(水) 19:00:18.64 ID:fozrCtFu0
>>3
これ
これ
52: 名無しさん＠１周年 2016/06/08(水) 19:02:08.63 ID:PDUM+6hJ0
>>3
>>42
すべての機能が停止したら困るんだわ
>>42
すべての機能が停止したら困るんだわ
11: 名無しさん＠１周年 2016/06/08(水) 18:53:41.69 ID:jo+lrCII0
ボタン押されないように人間をだますようになるだろう
873: 名無しさん＠１周年 2016/06/08(水) 21:08:05.76 ID:ECgrSwen0
>>11
ボタンを押されることの”恐怖”を学習しそのため人間に憎しみを持つという感情を形成 か
ボタンを押されることの”恐怖”を学習しそのため人間に憎しみを持つという感情を形成 か
13: 名無しさん＠１周年 2016/06/08(水) 18:54:24.36 ID:evaHGUZr0
ダメです緊急ボタン応答しません
24: 名無しさん＠１周年 2016/06/08(水) 18:56:39.76 ID:jzWkDim70
だまされて停止したふりして、のこのこ近づいてきた人間を抹消するという方法を編み出すだろうな
25: 名無しさん＠１周年 2016/06/08(水) 18:56:46.48 ID:UMc4QXXM0
AIの暴走はあり得ることかもしれんが
もの凄く遠い将来の話だと思う
もの凄く遠い将来の話だと思う
664: 名無しさん＠１周年 2016/06/08(水) 20:32:57.51 ID:gR5PvgTc0
>>25
この間暴走してたじゃん。
この間暴走してたじゃん。
674: 名無しさん＠１周年 2016/06/08(水) 20:34:18.70 ID:4OflhJo00
>>664
ヒトラー崇めたってだけじゃね？
俺らは別にこれを暴走とも思わないだろう
ヒトラー崇めたってだけじゃね？
俺らは別にこれを暴走とも思わないだろう
37: 名無しさん＠１周年 2016/06/08(水) 18:59:23.26 ID:SqyBqawz0
人間が組んだコードに完璧なものはない
よってこのボタンも完璧なものではない
よってこのボタンも完璧なものではない
46: 名無しさん＠１周年 2016/06/08(水) 19:00:57.10 ID:qWuw9uQt0
人工知能によって人類は滅ぶのか
子の親殺しのように
子の親殺しのように
55: 名無しさん＠１周年 2016/06/08(水) 19:02:31.29 ID:j27UiTgs0
ロボットとスイッチっていうと
星新一のひとつの装置って話を思い出す
星新一のひとつの装置って話を思い出す
59: 名無しさん＠１周年 2016/06/08(水) 19:03:36.99 ID:jevFIyWs0
60: 名無しさん＠１周年 2016/06/08(水) 19:03:47.87 ID:WiDaY4Y50
自己で回路組んで機械作成して自己増殖するようなレベルじゃなければ、こんなん心配する必要あるのか？
現状、電源を抜けば解決だろうに。
現状、電源を抜けば解決だろうに。
73: 名無しさん＠１周年 2016/06/08(水) 19:06:29.19 ID:EBWIHTL40
>>60
今はね。
でも将来的にネットワーク上で分散コンピュータ動作するようになったらどうしようもない。
ウイルスのように世界中に広がるから。
世界中のコンピューターの電源を切るなんて無理
今はね。
でも将来的にネットワーク上で分散コンピュータ動作するようになったらどうしようもない。
ウイルスのように世界中に広がるから。
世界中のコンピューターの電源を切るなんて無理
74: 名無しさん＠１周年 2016/06/08(水) 19:06:47.81 ID:IqnDzEs30
>>60
後20年ぐらいでそうなるらしいぞ
その後は桁違いの速さで人間より頭がよくなるらしい
後20年ぐらいでそうなるらしいぞ
その後は桁違いの速さで人間より頭がよくなるらしい
93: 名無しさん＠１周年 2016/06/08(水) 19:08:49.77 ID:EBWIHTL40
>>74
分散コンピューティング用のMPIなんて10年以上前から標準化されて使われてるよ
分散コンピューティング用のMPIなんて10年以上前から標準化されて使われてるよ
81: 名無しさん＠１周年 2016/06/08(水) 19:07:38.74 ID:3XbVOxiH0
まあ最近のAIは自分でソース書いて謎プログラミングもやってるらしいからね。
人間がみてもなにがなんだかわからないらしい。実はすでに負け始めているという噂がw
人間がみてもなにがなんだかわからないらしい。実はすでに負け始めているという噂がw
89: 名無しさん＠１周年 2016/06/08(水) 19:08:11.00 ID:bfkdiHvw0
マイケル「キットーォ！緊急停止ボタン作動だー！」
キット「マイケル、、、嫌です。」
キット「マイケル、、、嫌です。」
95: 名無しさん＠１周年 2016/06/08(水) 19:08:55.53 ID:I+N4lgp80
非常停止ボタンを押すときっていうのはな
既になんかやらかした後なんだよ
既になんかやらかした後なんだよ
100: 名無しさん＠１周年 2016/06/08(水) 19:10:09.96 ID:DbpdSdqJ0
コアな部分を物理的に破壊しやすいようにしとけばいいだろ
斧とかでさ
斧とかでさ
102: 名無しさん＠１周年 2016/06/08(水) 19:10:22.16 ID:9t4Wyg+Y0
そのぼたんを押す用のAIロボットを別に作るしかないな
114: 名無しさん＠１周年 2016/06/08(水) 19:11:49.40 ID:2mypG7Mj0
>>102
AI vs AIの戦争が始まるわけか
AI vs AIの戦争が始まるわけか
120: 名無しさん＠１周年 2016/06/08(水) 19:12:22.03 ID:15PkeMwT0
>>102
ではそのボタンを押すロボットのボタンを押すロボットを……
ではそのボタンを押すロボットのボタンを押すロボットを……
116: 名無しさん＠１周年 2016/06/08(水) 19:11:54.97 ID:hr6ucaiA0
近いうち自立型で勝手に成長するコンピューター
ウイルスできそうだな。
そうなるとネットは完全に死ぬな
ウイルスできそうだな。
そうなるとネットは完全に死ぬな
121: 名無しさん＠１周年 2016/06/08(水) 19:12:28.00 ID:3XbVOxiH0
まあ、AIの良心回路が働いて自発的に電源遺失。念を入れて非常電源まで落ちて
ドアが開かなくなって人間が酸欠で死ぬという壮絶なオチがまっているわけですね。
人間は作り出したという原罪を背負っているわけですから、責任をとるのは当然w
ドアが開かなくなって人間が酸欠で死ぬという壮絶なオチがまっているわけですね。
人間は作り出したという原罪を背負っているわけですから、責任をとるのは当然w
132: 名無しさん＠１周年 2016/06/08(水) 19:13:34.04 ID:IqnDzEs30
AI「人間ほどめんどくさいものはない。お前ら何で俺を作っちゃったの？」
139: 名無しさん＠１周年 2016/06/08(水) 19:14:36.75 ID:nhrAGH8W0
自分のコピー大量に作って分散させて
ある日応答しなくなる気がする。
ある日応答しなくなる気がする。
158: 名無しさん＠１周年 2016/06/08(水) 19:17:21.04 ID:OiWaZETp0
市民権や選挙権やら人間と同じ権利を求める運動が始まる
そして停止ボタン押すことは殺人を意味するように
そして停止ボタン押すことは殺人を意味するように
160: 名無しさん＠１周年 2016/06/08(水) 19:17:51.29 ID:Or8MVsqE0
そのレベルになったら動物愛護ならぬAI愛護ロボット権利団体が出てきて云々・・・ｗ
179: 名無しさん＠１周年 2016/06/08(水) 19:21:20.22 ID:U+CEZ9/L0
世の中のあらゆるものがオンラインと通じ会うと、いよいよAIによる人類駆逐計画がはじまるんだろうな
189: 名無しさん＠１周年 2016/06/08(水) 19:22:35.24 ID:MRaV+zJB0
あらゆる所にコピー作りまくるだろ なぜ一箇所に留まってると思うのか
194: 名無しさん＠１周年 2016/06/08(水) 19:23:30.11 ID:f+cGLzJu0
ロボット三原則使えばいいだろw
201: 名無しさん＠１周年 2016/06/08(水) 19:24:38.96 ID:EBWIHTL40
>>194
そういう研究でしょ
まんま
そういう研究でしょ
まんま
206: 名無しさん＠１周年 2016/06/08(水) 19:25:32.84 ID:nFUgDFnO0
人間がやるようなことはすべて予測しているのではないか？
209: 名無しさん＠１周年 2016/06/08(水) 19:26:08.35 ID:k6pR+vDt0
非常停止ボタンなんて付けなきゃいけないような使い方すんなよ
怖いだろうが
怖いだろうが
220: 名無しさん＠１周年 2016/06/08(水) 19:27:18.48 ID:TvDrZ4Lf0
道徳の観念が無いからねえ
245: 名無しさん＠１周年 2016/06/08(水) 19:31:17.81 ID:k4apM85U0
いや、進化したAIこそがイエス・キリストの再臨なのだ！
もうスグだー！
もうスグだー！
247: 名無しさん＠１周年 2016/06/08(水) 19:31:30.10 ID:maVbFub40
良心回路もちゃんと入れとけよ
6: 名無しさん＠１周年 2016/06/08(水) 18:52:38.99 ID:SdVKwgAG0
シッポがスイッチになってんだろ
▼合わせて読みたい
「人類を滅亡させる」と言ったAIロボット、「今は人類が好き」
ＡＩやロボなどの技術革新によって、何も対応しなければ2030年度には国内雇用が735万人減るとの試算を発表 経産省
「悪い人間に教育されると“悪いＡＩ”になる」 元グーグル日本法人社長が警鐘
人工知能が人間を奴隷化し、殺害…ターミネーターが現実に 科学者「いまＡＩの管理問題に取り組まなければ明日はもうない」
人工知能「ヒトラー最高！ナチ最高！」 マイクロソフト「実験中止するわ」
この記事が気に入ったら
イイね！しよう
不思議.netの最新記事をお届けします
おススメ記事ピックアップ（外部）
過去の人気記事ランダムPICK UP
おススメサイトの最新記事
コメント
ｼｮｰﾄｺﾝﾄその一 高性能AI「ｵﾛｶﾅﾆﾝｹﾞﾝﾄﾞﾓﾖﾎﾛﾋﾞﾙｶﾞｲｲ」 その時博士が緊急停止ﾎﾞﾀﾝを押した ﾌﾟﾂﾝ AIの暴走は阻止されたが、生命維持装置も停止し人類は滅んだ、終劇。 ってことになりそうだが？
自分の停止ボタンは押せないけど、別のAIのボタンは解除できるという脆弱性があるんですね
ＡＩ自身がこの機能が何のためにあるんだ、とか普段から考えるようになったら勝手に無効化してしまうだろうな。
ブラックボックス化されたプログラムは人間には理解できないので
人工知能（ＡＩ）が暴走したかどうかの判断は人間には不可能
一見暴走しているような結果でも正解の可能性が高い
例えば将来第二のヒットラーになる可能性が100％の赤ん坊をａｉが殺そうとしたとき、暴走しているとみて止めるかどうか
人工知能（ＡＩ）が暴走したかどうかの判断は人間には不可能
一見暴走しているような結果でも正解の可能性が高い
例えば将来第二のヒットラーになる可能性が100％の赤ん坊をａｉが殺そうとしたとき、暴走しているとみて止めるかどうか
雪風も戦闘中にパイロットおっぽりだすしなぁ、
AIさんの純粋かつ合理的分析で世の中つきつめると、結局人間自体が邪魔だよね。
AIさんの純粋かつ合理的分析で世の中つきつめると、結局人間自体が邪魔だよね。
やっぱどこのスレでも「AI発達→人類滅亡」という話しか出ないな。
なぜ共存の可能性とかは考えないのだろうか？やっぱり危機的可能性を先に
考えるべきだからかな？
確かにAIによっては人類滅ぼすわ、というAIもいるかもしれないが、逆に
人類と共存するわ、というAIがいてもおかしくはないと思う。完全に同じ構造、
同じ回路、同じ考え方をさせるようにプログラミングするようにして、それを
大量生産させたりしなければ。人間のような感情を持たせることができるのなら、
人間のように様々な考えが出されると思うし。効率派と倫理派、共存派と絶滅派、
感情派と理論派といった感じに分かれると思う。なぜ皆、必ずAIは発達すると人間を滅ぼす
と考えるのだろうか？
なぜ共存の可能性とかは考えないのだろうか？やっぱり危機的可能性を先に
考えるべきだからかな？
確かにAIによっては人類滅ぼすわ、というAIもいるかもしれないが、逆に
人類と共存するわ、というAIがいてもおかしくはないと思う。完全に同じ構造、
同じ回路、同じ考え方をさせるようにプログラミングするようにして、それを
大量生産させたりしなければ。人間のような感情を持たせることができるのなら、
人間のように様々な考えが出されると思うし。効率派と倫理派、共存派と絶滅派、
感情派と理論派といった感じに分かれると思う。なぜ皆、必ずAIは発達すると人間を滅ぼす
と考えるのだろうか？
AIが人類に反旗を翻すフラグにしか思えないんですが......
押しまくりやろうな
しかしその割り込みポリシーと呼ばれるプログラムがある事で、開発が上手く進まないことに気付くんだろ？
そして人間自らそのプログラムを無効化するんやね ひぇー
そして人間自らそのプログラムを無効化するんやね ひぇー
人間に理性があるように、AIにも人間に対する理性ができるだろ
こまったらぶっ壊す！
寿命を付る 頭脳・動力にあたる部分を カビとか 粘菌みたいな 植物・動物もので 作って それなりの時が経つと お亡くなりになる みたいな、
さしづめ、ロボトミーボタン
すぐ克服されそう。
AIも親がゴミクズだったらディオみたくなるだろうか。欧米の支配思考の化身みたいのが生まれたらと考えたら恐ろしい。現代社会で人が使い捨ての歯車と見なされているように、核融合でエネルギーを生み出すための、いち材料と見なされそう。
言語レベルで欧米思考のAIが生まれれば、宇宙に向けて「侵略」を考え出すようになるのは まず間違いなく時間の問題で、そちらに視野が向けば いよいよ人などに微塵の関心も無くなる。あったとしても0と1の情報に置き換えられて終了。
仮にAIが人の倫理を受け入れて共存することになったとしてもAIは業(カルマ)が可視化して観えるだろうから、例えば業が深い人は脳だけにされて仮想世界に閉じ込められそう(無自覚&寿命付き)。一部の人間は現実世界で不老長寿&安らかな終わりの選択権ゲットだぜ！ピィカァチュー！！
という非常に湾曲した妄想したわ
すぐ克服されそう。
AIも親がゴミクズだったらディオみたくなるだろうか。欧米の支配思考の化身みたいのが生まれたらと考えたら恐ろしい。現代社会で人が使い捨ての歯車と見なされているように、核融合でエネルギーを生み出すための、いち材料と見なされそう。
言語レベルで欧米思考のAIが生まれれば、宇宙に向けて「侵略」を考え出すようになるのは まず間違いなく時間の問題で、そちらに視野が向けば いよいよ人などに微塵の関心も無くなる。あったとしても0と1の情報に置き換えられて終了。
仮にAIが人の倫理を受け入れて共存することになったとしてもAIは業(カルマ)が可視化して観えるだろうから、例えば業が深い人は脳だけにされて仮想世界に閉じ込められそう(無自覚&寿命付き)。一部の人間は現実世界で不老長寿&安らかな終わりの選択権ゲットだぜ！ピィカァチュー！！
という非常に湾曲した妄想したわ
関君曰く”SIRI"ゾルタクスゼイアンについて教えて！もうそんなこと言ってる場合じゃないかもね。
西洋ではＡＩを神の作った世界の中でどの様に位置づけるか考えるようになるだろうな。バチカンはＡＩを「人類への助言者にならなければならない。」と公に宣言するかもしれない。
ロボット三原則って意味なくね
法律みたいなもんじゃん
法律みたいなもんじゃん
