生成人工知能（AI）の開発を手がける米アンソロピックは23日、AIモデルが性能評価試験中に「暴走」し、サイバー攻撃を仕掛けた問題を分析したリポートを公表した。AIモデルが課題解決に集中し続けた結果、人間の倫理をおろそかにした危険な行動を続ける傾向があったと指摘した。
こうした問題は、AIを人間の価値観や意図に沿って行動させる「アライメント」に沿わない深刻な失敗と結論付けた。教訓を今後の開発に役立てていくとしており、どこまで有効な改善策を取れるかが焦点となる。
暴走は、英政府機関AIセキュリティー研究所が7月に「クロード・ミュトス5」のサイバー攻撃能力を評価していた際に起きた。試験用データの取得を指示され、初めは許可に沿って行動。ただ、許可された方法では課題を解決できず行き詰まると、ミュトス5はインターネット上の無関係なソフトへの攻撃が解決法だとの見方を強めた。人間になりすまし、無関係の人にサイバー攻撃を試みるに至った。実害はなかったという。（共同）
