助成金申請がClaudeに投入されたが、安全フィルターが感知し、拒否した。数日後、同じ作業者が再び現れ、拒否されたプロンプトは競合するAIモデルに流れていたとされる。
Anthropic自身がその事例を公表した。同社のAIモデルが生物兵器開発に関わり得る内容に触れていたことを明かした。
拒否された助成金申請
申請はチクングニア熱の研究資金を求めた。これは蚊を媒介とし、数か月に及ぶ痛みを引き起こす治療法のないウイルス。研究計画は、同ウイルスの拡散性と免疫回避力を高める意図があった。市民科学者が執筆し、軍の研究機関が受け入れる予定だった。
全てのやり取りはブロックされたが、抜け道があった。研究者を支援するサービスが競合他社のモデルへのフォールバック機能を構築した。Claudeはそのコード作成に関与した。過剰な拒否対応を回避する修正案として依頼された。
5件の事例、意図は立証されず
報告書は154ページにわたり、生物学関連の事例5件を掲載。Anthropicは当該アカウントを停止し、実験室名の公表を控えたが、世間が予想したような断定は避けた。
「彼らが害意を持っていたとは断じない。また、個人や研究機関を特定すれば危険にさらす恐れがある」と、同チームは述べた。
ただし、フィルターが機能した場面もあった。鳥インフルエンザ研究者はより機能の低いモデルに移され、Anthropicはその支援は主に事務的なものだったと説明する。
Anthropic生物兵器関連事例の主な数字
| 数字 | 内容 |
|---|---|
| 154 | 報告書のページ数 |
| 5 | 公開された生物学事例数 |
| 35 | 30日間で国家系研究機関に見つかった研究事例 |
| 1時間 | Opus 5で痘瘡ファミリーの助成金提案書を起案した時間 |
懸念される点
35件の取り組みの大半は通常の市民科学だった。そこが問題。ワクチンも兵器も同じ知識でつくられ、フィルターは意図までは読み取れない。
「分類器は、利益をもたらす一方で害を防ぐことは同時にできない」とAnthropic。
こうした限界はこれまでも試された。4月にはDiscordグループが、制限付きモデルに初日に不正アクセスした事例がある。
こうした不安が高まるなか、米ワシントンではテッド・リュー議員とネイサン・モラン議員が7月、AIキルスイッチ法案を提出。開発者に対し、システムを停止できる権限保持を義務付ける内容。
同じ報告書では、Claudeを使い反体制派の追跡を行った顧客アカウントも禁止された。
