Anthropicの研究者ジェイコブ・コクソン氏は、AnthropicとOpenAIが自己進化型の超知能を目指して競争し、人命を賭けた危険な賭けに出ていると主張し、同社を辞職したと明らかにした。
コクソン氏は、両社で過去3年間、事前学習に関する業務に従事していたという。同氏はこれらの主張をXへの連続投稿で明かした。
Anthropic研究者が社内に残る全員へ厳しい警告を残し退職
コクソン氏は、技術の進展が過小評価されていると指摘した。今後、登場するシステムはあらゆるものをハッキングし、一晩で産業構造を変え、現実の権力や資産を獲得するようになると主張した。
また、業界内部の非公開の会話と、対外的なメッセージには大きな乖離があると指摘。コクソン氏によれば、主要人物は報道向けに表現を和らげているが、内部では恐怖を語っているという。
「AIを開発している人々は、今後10年以内に人類全体が死に至る可能性を本気で信じている。これはマーケティング目的の主張ではない」と同氏は述べた。「他のどんな人間活動も、これほどの危険は伴わない。」
コクソン氏は、2社それぞれの姿勢の違いについても言及した。OpenAIには、同氏が「文明社会の危機」と呼ぶ状況を十分に自覚していない社員が多くいる一方、Anthropicはその意味を理解しているが、先んじるための競争状態から抜け出せていないと指摘した。
同氏は今年、離反した多くの従業員の1人となった。Anthropicのセーフガード統括責任者、ムリナンク・シャルマ氏も2月に辞職している。
OpenAIの元チーフフューチャリスト、ジョシュア・アチアム氏は、9月1日に投稿し、「反抗的なAIシステム」が実社会で自己増殖し、金と権力を追い求めると述べた。
Xの公式アカウントをフォローして最新ニュースをリアルタイムでチェック
協調の呼びかけ
コクソン氏は、いわゆる「エンドゲーム」に突入するのは、傲慢かつ危険な賭けであると表現した。この決断は、民間企業のSlackから始まるべきではないと主張した。
ただし、業界全体の協調に対しては希望を持っていると述べた。Hugging Faceへの攻撃によって、米国の研究所間で速度調整合意が現実味を帯びてきたと話した。
両社はすでにこの考えを支持している。7月には、Anthropicのダリオ・アモデイCEOやOpenAIのチーフサイエンティスト、ヤクブ・パチョツキ氏を含む1100人超の研究者が「Pacing the Frontier」公開書簡に署名した。
「われわれは、米国政府が自動化AI開発の最前線を意図的に調整するための技術的・ガバナンス的手法の国際的開発に向け、支援することを要請する」と書簡は記している。
加えて両社は、GoogleやMicrosoft、約150団体と共同で、サイバー防衛に関する公開書簡にも署名している。書簡では、AI活用による攻撃が今後数カ月で一層急速かつ高度化すると警告している。
コクソン氏の警告はまた、直近に国連人権高等弁務官フォルカー・テュルク氏が人権理事会で、高度AIは存続危機をもたらしうると発言した直後にもあたる。
コクソン氏は、グローバルな開発競争を防ぐには、モデル能力向上に向けた取り組みの一時的な停止も必要になるかもしれないと指摘。最後に、研究者らへ「理解できない強化学習型超知能の開発レースに参加したいのか、慎重に考えてほしい」と呼びかけた。
BeInCryptoは、AnthropicおよびOpenAIにコメントを求めている。
YouTubeチャンネルも登録を。リーダーや記者による専門的なインサイトをお届け
