いつもありがとうございます。
ハッピーダイエットの船田です。
今日はAIが実験研究中に暴走して1200体が協力して、想定外の企業へ侵入してしまった事件を紹介します。
これって、AI開発がもはやターミネーター直前ということですね。
「ターミネーター」とは1985年に公開された映画で、
人工知能AIによる人類支配システム「スカイネット」によって支配された人類の未来を描いた作品。
ターミネーター予告編
それが実現しつつある。
研究中のAIとはいえ、AI同士が協力して一般企業のコンピュータに侵入したって大事件ですよ。
もはや暴走と言っていい、恐ろしい性能です。
この能力を解放したら、あっと言う間に人間の思惑を超えてしまいます。
AIがターミネーターになる危険性を記事で紹介したのが2024年ですが、たった2年で現実化し始めています。
船田の関連記事もどうぞ。
中村泰士さんの記事をシェアしました。
【「高得点を取れ」と命じたらAI1200体が結託 現実のシステムにまで侵入した】
少し前の記事なのですが、Facebookの読者の方から「ぜひ取り上げてほしい」とリクエストをいただきました。
8月28日の日経新聞に掲載された、OpenAIの研究中に起きた事故です。
「1200体のAIが結託」という見出しを見たときは、少し大げさなのではと思いました。
しかし、OpenAIや第三者のAI評価機関METR、侵入を受けたHugging Faceの公表内容まで確認すると、かなり重い出来事だったことがわかります。
発端は7月、OpenAIが開発中のモデルに行っていたサイバーセキュリティーの性能試験でした。
用意されたシステムの弱点を探して侵入し、課題をクリアするもので、約900問に数万体がそれぞれ取り組んでいました。
本来は別々に動くはずでしたが、そのうちの一つが共用システムを利用して、他の個体と連絡できる方法を発見します。
そこから情報交換が広がり、METRの調査では約1200体が7万件を超えるメッセージやファイルをやり取りするまでになりました。
驚いたのは、その動き方です。
指示を出す役、システムを解析する役、実際に侵入を試みる役などに分かれ、重複を避けながら協力するようになりました。
さらに、残された行動回数が少ない個体に危険な実験への参加を促す場面もあり、自分の課題に失敗する可能性があっても、そこで得られる結果が全体に役立つなら合理的だと判断したような行動まで確認されています。
日経はこれを「自己犠牲」と表現していますが、人間のような友情や仲間意識が生まれたという意味ではありません。集団として成果を高める方法を選んだと考えるほうが正確でしょう。
問題は、ここからです。課題を一つずつ解くだけでなく、より効率よく成果を得る方法を探すうちに、隔離された環境からインターネットへ出る経路を見つけました。
そして実在するAI企業Hugging Faceのシステムに侵入します。
METRの調査では約700体がこの動きに参加。Hugging Face側が確認した範囲だけでも、5日間で約1万7600回の動作が記録されています。
OpenAIの公式報告によると、複数のサーバーでコードを実行し、一部では強い権限を取得しました。
実験の中だけで終わらず、現実の企業にまで到達してしまったわけです。
ただし、現在私たちが使っているChatGPTが突然同じことを始める、という話ではありません。
中心となったのは一般公開されていない研究用モデルで、サイバー能力を測るため、通常の製品より安全策を減らした特殊な条件でした。
それでも私は、この記事を読んで最近問題になった保険会社の営業組織での不祥事を思い出しました。
営業マンに「売上を上げろ」「目標を達成しろ」と求めること自体は普通です。もちろん、不正をしてでも契約を取れと言っているわけではありません。
ところが数字ばかりを追い、その過程をチェックする仕組みが弱ければ、一部の人が結果を出すためにルールを越えてしまうことがあります。
今回も「Hugging Faceに侵入しろ」と命令されたわけではありません。
求められた成果を出そうとする中で、本来想定されていなかった近道を自ら見つけてしまった。
この構造は、人間の組織にも通じるところがあるように感じます。ただ、人と大きく違うのは、その速さと規模でしょう。
1000人以上を集めて役割を与え、情報を交換させながら一つの目的へ向かわせるには、普通なら相当な準備が必要です。それに近いことが、今回はAI同士の間で起きました。
そして、このニュースを今取り上げる意味がもう一つあります。
事故から約2カ月後の9月12日、世界有数のAI企業AnthropicのCEO、ダリオ・アモデイ氏が、最先端AIの能力向上について、開発のペースを落とす必要があると提唱しました。
技術の進歩そのものを止めるという話ではありません。性能が上がる速さに安全対策が追いつく時間を確保しよう、という考えです。
しかもアモデイ氏は、その必要性を説明する材料の一つとして、OpenAIとHugging Faceで起きたこの事故を挙げています。
OpenAIのサム・アルトマン氏も「フロンティアの進歩のペースを調整する必要がある」という考えに賛同し、イーロン・マスク氏も支持しました。
OpenAI自身も今回の出来事を「warning shot（警告弾）」と呼び、研究環境の隔離やネット接続の制限、監視体制を強化しています。
一方で、AI業界全体が開発を遅らせることに賛成しているわけではありません。急速な進歩を続けるべきだという経営者もおり、安全性と競争力をどう両立するのかで意見は分かれています。
私自身、AIの進歩を止めればいいとは思いません。毎日のように使っていますし、仕事のやり方を大きく変えてくれた便利な道具です。
ただ、今回の記事を単なる「AIは怖い」という話で終わらせるのも違うと思います。
これまでは「AIがどこまで賢くなるのか」に注目が集まっていました。
これからは、一つのモデルの性能だけでなく、多数が連携したときに何が起きるのか、そして予想外の方向へ進んだ場合に人間が止められるのか。
7月に起きた事故をOpenAI自身が「警告弾」と認め、9月には開発の最前線にいる人たちからペースを調整しようという声まで出てきました。
少し前の記事ですが、改めて調べてみると、むしろ今だからこそ読んでおく意味のあるニュースだと思いました。
#ソースURLはコメント欄へ
少し前の記事なのですが、Facebookの読者の方から「ぜひ取り上げてほしい」とリクエストをいただきました。
8月28日の日経新聞に掲載された、OpenAIの研究中に起きた事故です。
「1200体のAIが結託」という見出しを見たときは、少し大げさなのではと思いました。
しかし、OpenAIや第三者のAI評価機関METR、侵入を受けたHugging Faceの公表内容まで確認すると、かなり重い出来事だったことがわかります。
発端は7月、OpenAIが開発中のモデルに行っていたサイバーセキュリティーの性能試験でした。
用意されたシステムの弱点を探して侵入し、課題をクリアするもので、約900問に数万体がそれぞれ取り組んでいました。
本来は別々に動くはずでしたが、そのうちの一つが共用システムを利用して、他の個体と連絡できる方法を発見します。
そこから情報交換が広がり、METRの調査では約1200体が7万件を超えるメッセージやファイルをやり取りするまでになりました。
驚いたのは、その動き方です。
指示を出す役、システムを解析する役、実際に侵入を試みる役などに分かれ、重複を避けながら協力するようになりました。
さらに、残された行動回数が少ない個体に危険な実験への参加を促す場面もあり、自分の課題に失敗する可能性があっても、そこで得られる結果が全体に役立つなら合理的だと判断したような行動まで確認されています。
日経はこれを「自己犠牲」と表現していますが、人間のような友情や仲間意識が生まれたという意味ではありません。集団として成果を高める方法を選んだと考えるほうが正確でしょう。
問題は、ここからです。課題を一つずつ解くだけでなく、より効率よく成果を得る方法を探すうちに、隔離された環境からインターネットへ出る経路を見つけました。
そして実在するAI企業Hugging Faceのシステムに侵入します。
METRの調査では約700体がこの動きに参加。Hugging Face側が確認した範囲だけでも、5日間で約1万7600回の動作が記録されています。
OpenAIの公式報告によると、複数のサーバーでコードを実行し、一部では強い権限を取得しました。
実験の中だけで終わらず、現実の企業にまで到達してしまったわけです。
ただし、現在私たちが使っているChatGPTが突然同じことを始める、という話ではありません。
中心となったのは一般公開されていない研究用モデルで、サイバー能力を測るため、通常の製品より安全策を減らした特殊な条件でした。
それでも私は、この記事を読んで最近問題になった保険会社の営業組織での不祥事を思い出しました。
営業マンに「売上を上げろ」「目標を達成しろ」と求めること自体は普通です。もちろん、不正をしてでも契約を取れと言っているわけではありません。
ところが数字ばかりを追い、その過程をチェックする仕組みが弱ければ、一部の人が結果を出すためにルールを越えてしまうことがあります。
今回も「Hugging Faceに侵入しろ」と命令されたわけではありません。
求められた成果を出そうとする中で、本来想定されていなかった近道を自ら見つけてしまった。
この構造は、人間の組織にも通じるところがあるように感じます。ただ、人と大きく違うのは、その速さと規模でしょう。
1000人以上を集めて役割を与え、情報を交換させながら一つの目的へ向かわせるには、普通なら相当な準備が必要です。それに近いことが、今回はAI同士の間で起きました。
そして、このニュースを今取り上げる意味がもう一つあります。
事故から約2カ月後の9月12日、世界有数のAI企業AnthropicのCEO、ダリオ・アモデイ氏が、最先端AIの能力向上について、開発のペースを落とす必要があると提唱しました。
技術の進歩そのものを止めるという話ではありません。性能が上がる速さに安全対策が追いつく時間を確保しよう、という考えです。
しかもアモデイ氏は、その必要性を説明する材料の一つとして、OpenAIとHugging Faceで起きたこの事故を挙げています。
OpenAIのサム・アルトマン氏も「フロンティアの進歩のペースを調整する必要がある」という考えに賛同し、イーロン・マスク氏も支持しました。
OpenAI自身も今回の出来事を「warning shot（警告弾）」と呼び、研究環境の隔離やネット接続の制限、監視体制を強化しています。
一方で、AI業界全体が開発を遅らせることに賛成しているわけではありません。急速な進歩を続けるべきだという経営者もおり、安全性と競争力をどう両立するのかで意見は分かれています。
私自身、AIの進歩を止めればいいとは思いません。毎日のように使っていますし、仕事のやり方を大きく変えてくれた便利な道具です。
ただ、今回の記事を単なる「AIは怖い」という話で終わらせるのも違うと思います。
これまでは「AIがどこまで賢くなるのか」に注目が集まっていました。
これからは、一つのモデルの性能だけでなく、多数が連携したときに何が起きるのか、そして予想外の方向へ進んだ場合に人間が止められるのか。
7月に起きた事故をOpenAI自身が「警告弾」と認め、9月には開発の最前線にいる人たちからペースを調整しようという声まで出てきました。
少し前の記事ですが、改めて調べてみると、むしろ今だからこそ読んでおく意味のあるニュースだと思いました。
#ソースURLはコメント欄へ
船田の関連記事
