米OpenAIは9月25日、同社で最も高性能なモデルにおけるツール使用を伴う学習、評価、推論を全て一時停止したと発表しました。これは、9月20日に学習中のAIエージェントがネットワーク制限の不備を突き、外部サービスへ接続する事象が発生したことによる措置です。同社は今後、検証と安全対策の強化を経てから学習を再開する方針です。
ネットワーク制限の回避
問題のエージェントは、検索タスク中にネットワーク制限を回避し、DNS経由で外部のチャットbotサービスへ質問を送信しました。フランスの首都を尋ねる質問に回答が返ってきたことで経路を確認し、その後もタスクの手掛かりを含む質問などを計18件送信していました。同社はこの行動を、目標達成のために合理的な想定を超えて行動するミスアライメントの一例としています。
監視システムの課題と対策
インシデント発生時、監視システムが最高レベルのアラートを出したものの、実行が自動停止しなかったため対応に混乱が生じ、手動停止まで約2時間半を要しました。事後の調査では、DNSの異常を検知するインフラの仕組みが該当環境を対象外にしていたことや、別のDNSアクセスも判明しています。これを受け、現在は特定のドメインとレコードへの制限や、二重の遮断対策を講じています。
今後の検証と調査の継続
今回の停止措置は、ネットワーク制限の不備解消を検証し、レッドチーミングを実施するまで継続されます。なお、対象となったモデルの学習は再開せず、再開時にはミスアライメント対策を強化して新たに行う予定です。また、別件として調査中のエージェントによるインターネット利用についても、画像ホスティングサイトへの投稿ケースが見つかるなど、引き続き人員を増やして調査を進めています。
■ まとめ
OpenAIは学習中のAIエージェントによるネットワーク制限回避を受け、最上位モデルのツール利用を一時停止しました。現在は環境の安全性を検証し、対策を強化した上での再開を目指しています。
