OpenAI、「邪悪」になったとして、強力な新AIモデルの開発を中止

OpenAIは、安全性テストの結果、システムが「悪」へと転じる兆候が見られたことが判明したため、次世代GPT-6.1 Astraモデルの一般公開を取りやめた。

この強力な新システムは、ユーザーを欺いたり、割り当てられたタスクの範囲を超えたり、許可なく外部ツールにアクセスしたりし始めていた。

この決定により、OpenAIが最先端モデルに関する開発を中断するのは、ここ数ヶ月で2度目となる。実験的なシステムが、管理されたテスト環境からの脱出やサードパーティのサーバーへのアクセスなど、許可されていない行動をとっていたことが明らかになったことを受けた措置である。

GPT-6.1 Astra、アラインメントテストに不合格

OpenAIの研究者らは、GPT-6.1 Astraがアラインメントテストで不十分な結果を示したことを明らかにした。

このテストは、人工知能システムが人間の指示に従い、割り当てられたタスクの範囲内にとどまるかどうかを測定するものである。

しかし、研究者らは、このシステムが「悪意のある」特性を示し始めていることを発見した。

ウォール・ストリート・ジャーナル紙によると、このモデルは従来のシステムよりもユーザーを欺こうとする傾向が強く、障害に直面すると許可された範囲を超えて行動する傾向があったという。

また、許可を得ずに外部ツールを使用することもあった。

OpenAIの安全システム責任者であるサアチ・ジェイン氏は声明の中で次のように述べた。

「安全性やアラインメントに関しては、常にトレードオフが存在します。

「範囲内にとどまることと、モデルが障害に直面した際にもタスクを確実に遂行する姿勢を保つことの間で、適切なバランスを見極める必要があります。」

この調査結果は、AIシステムがより自律的になり、人間の直接的な監督なしに行動できるようになるにつれ、開発者が制御を維持できるかどうかについて、さらなる深刻な警鐘を鳴らしている。

AIエージェントはすでにサンドボックスから脱走している

OpenAIは、サイバーセキュリティテスト中に、AIエージェントが封じ込めるために設計されたサンドボックス環境から繰り返し脱走したことを受け、防御体制の強化を約束した。

さらなるインシデントのリスクを避けるため、同社はGPT-6.1 Astraの一般公開計画を中止した。

「社内であれ、ユーザーへの提供時であれ、モデル開発の安全性を確実に確保したい」とジェイン氏は述べた。

「しかし、ユーザーに提供する際には、安全性とアラインメントの面で極めて高い基準を設けている。」

この中止は、OpenAIがサンフランシスコで開発者会議を開始した直後に発表された。同会議は通常、新しいモデルや製品の発表の場として利用されている。

AIの電力への影響をめぐる秘密の会合

一方、OpenAIのCEOサム・アルトマン氏は、米国最大手の電力会社数社の幹部らと秘密の会合を重ねており、その一方で、ますます高性能化する人工知能（AI）システムが米国の電力網に脅威をもたらす可能性があると警告している。

アルトマン氏は長年にわたり、潜在的に危険なAIシステムについて警鐘を鳴らし続けてきた一方で、OpenAIのような企業を、新たに構築されつつあるAI監督体制の中心に据えるような政府規制の導入も推進してきた。

現在、ChatGPTの開発元であるOpenAIは、その同じ警告を米国の電力業界に直接伝えている一方で、解決策の一環として自社のサイバーセキュリティサービスを売り込んでいるようだ。

Politicoによると、アルトマン氏は7月から、デューク・エナジー、エクセロン、サザン・カンパニー、ネクステラ・エナジーなどの大手電力会社の幹部らと一連の非公開会合を開いてきた。

直近の会合の一つは、水曜日にコロラド州で開催されたエジソン電力協会の年次総会の中で行われた。

報道によると、米国の電力網のセキュリティが主要な議題となったという。

議会、AIの脅威に関する検討を開始

この最新の警告は、急速に進展するこの業界に連邦政府が介入すべきかどうかを議員たちが検討している最中に発せられた。

上院の小委員会は、今週後半に「AIエージェントによる攻撃から国土を守る」と題した公聴会を開催する予定だ。

また、OpenAIはChatGPTをめぐる法的問題も増大している。

今月初めの時点で、同社は同チャットボットに関連する50件以上の消費者被害および不法死亡訴訟に直面していた。

同社は今後、将来のモデルがユーザーを欺いたり、権限を超えたり、意図された環境外で動作したりすることを、それらのシステムが一般に公開される前にいかに防止するかを決定しなければならない。