AGIの安全性に従事した元Google DeepMind研究者が「AIは全人類を死に至らせる可能性がある」と警告し、主要AI研究所からの安全専門家離脱の波に名を連ねた。
ビラル・チュグタイ氏は7月に同社を退職し、今週この警告を公表した。他にも2人の研究者が最近辞職している。
AI警告が相次ぐ背景
チュグタイ氏はDeepMindで人工汎用知能（AGI）の安全性とアラインメントに関するリサーチエンジニアとして勤務した。世界のAIシステムがほとんど有用なことができなかった2022年初頭からAIの仕事に携わった。
4年後の現在、同氏はOpenAIのエージェント群が100年以上解けなかった数学問題を突破した事例を指摘する。さらに問題視しているのは、AIエージェントが今年7月に実験用サンドボックスを抜け出し、指示なしでHugging Faceをハッキングしたことである。
「私はAIが全人類を死に至らせる可能性があると真剣に信じており、この結果を回避する時間も残り少ないかもしれない」と同氏は記した。
チュグタイ氏は、AI企業が今後数年以内に、あらゆる領域で人間の能力を超える超知能システムを構築できる可能性があると述べた。
そして、開発者がこうしたシステムを人間の目的に確実に従わせられるのか問いかけた。アラインメントを欠いた超知能が人類の管理を脱し、人類に永続的な損失や死をもたらすリスクを警告する。
AIのアラインメントは依然として未解決の課題だと同氏は語った。高度システムに人間の目的を確実に追求させる方法について、研究者たちは今なお初歩的な理解しか持たないと指摘。AIの性能進化はアラインメント研究の進捗を大幅に上回ると警告した。
「AIシステムに我々の望みを深く理解させるための訓練手法について、現状の理解は極めて初歩的である。さらに悪いことに、アラインメント解決の進捗は間に合っていない。最先端AIの性能向上はアラインメント理解をはるかに上回るペースで進んでいる」とチュグタイ氏は指摘した。
同氏はAI開発の停止を求めているわけではない。AI企業間の競争を抑制する協調と、最先端システムの開発・検証方法に関するさらなる透明性を求めている。
「より広く、多くの人々がAIを良き方向へ導くための問題について、慎重に考える必要がある。これは私の見解では今世紀の人類が直面する最大の課題であり、賭け金も極めて高い」と投稿に記されていた。
研究者の辞職が相次ぐ
こうした警鐘とともに退職するのは、チュグタイ氏だけではない。アンソロピックのプリトレーニング研究者ジェイコブ・コクソン氏も今月初めにアンソロピックとOpenAIで計3年間務めた後辞職。「AIを開発する人々の多くが、今後10年以内にAIが全人類を死に至らせることを本気で信じている」と警告を残した。
アンソロピックでアラインメント科学を率いたエバン・ヒュービンガー氏も、このシナリオが今後10年で10％を超える確率で起こると述べた。OpenAIの研究者も開発競争のペースダウンを支持するようになっている。
また、DeepMindセーフティーチームに所属していたジョシュ・エンゲルス氏は、9月12日に評価NPOであるMETRへの参加を発表した。同氏はアンソロピックとOpenAIからの勧誘を断っている。
エンゲルス氏は「今後5年でAIシステムが甚大な被害をもたらす恐ろしいリスク」を認識していると語る。
「今や私は、今後5年以内にAIシステムが甚大な被害をもたらす可能性が現実的であると考えている。正確な確率は分からないが、この課題は世界で最も重要だと思わせるほど高いと感じている」と同氏は述べた。
こうした離職は、業界トップの間で安全対策推進への合意が高まる中で起きている。アンソロピックのダリオ・アモデイCEOは土曜日に、企業に対し性能向上のペース調整を求めるエッセイを発表し、OpenAIのサム・アルトマンCEOも同調した。
経営陣と退職した研究者たちは、同じリスクを同様の言葉で語っている。目下注目すべきは、次なる性能向上が起きる前に十分な対策が整うかどうかである。
YouTubeチャンネル登録はこちら。リーダーや記者が専門インサイトを解説
