OpenAIは、欧州連合（EU）全域でチャットボットのテキストおよびCodexによるコーディング出力に、目に見えないChatGPTのウォーターマークを追加する。しかし、自社のテストでは、語彙の4分の1を同義語に置き換えるだけで検出率がわずか17％に落ちることが示された。
この対応は、EUのAIルールブックである「AI法」でAI生成テキストへの機械判読可能なラベル付与が義務付けられたことに応じたもの。ただし、OpenAIは技術が未成熟であることを認めており、検出ツールの一般公開は当面見送る方針。
ChatGPTのウォーターマークは編集を加えると検出力がどれほど弱まるか
発表によれば、「textGrain」と呼ばれるこのシステムは、統計的なパターンが隠れるようにモデルの語彙選択を誘導する。別の検出ツールがテキスト内のそのパターンをスキャンする仕組み。
ウォーターマークは文そのものに埋め込まれるとOpenAIはFAQで説明する。不可視文字や見えないスペース、特殊な句読点などは追加しない。つまり、一般的な不可視文字の除去テクニックが無効ということ。
テキストの長さも重要。同社はAIモデルが処理する単語断片である「トークン」単位で測定を行う。1トークンは英単語の約4分の3に相当。
OpenAIのテストでは約150語の未編集の回答で検出率が約66％だった。300語程度では約92％に上昇した。
軽微な編集でもウォーターマークの検出力は低下する。300語のテキストで10語に1語を同義語に置き換えると検出率は92％から66％に減少。4語に1語の場合、わずか17％まで下がる。
OpenAIの最新モデル「GPT-6 Astra」のベンチマークスコアにウォーターマークが大きく影響することはなかった。
OpenAIが一般公開で検出ツールを運用しない理由
OpenAIは一般向けのツールではなく、認定研究者や専門機関からの申請を受け付けている。陽性結果でもユーザー名やプロンプト、会話内容は特定されないと説明する。
陰性結果でも決定的な証明にはならない。短文や編集済み、翻訳済みのテキストは検出をすり抜けることがあるほか、他のAIツールの出力も検出は困難。
ウォーターマークが検出されなかった場合でも、人間の著作を証明するものではない。
出典：OpenAI
画像や音声は仕組みが異なる。これらのファイルは、OpenAIの公開用検証ツールで誰でもアップロードし、SynthIDウォーターマークの有無を確認できる。
欧州以外では、ChatGPTのウォーターマークはデフォルトで無効。一方、API利用者は、プロジェクトや組織設定から一部モデルで任意に有効化できるようになった。
この導入は、EUが8月にAI法の透明性義務を施行したことを受けた対応。暗号資産業界でも、AIによる犯罪利用が前年比で40％増加したとTRM Labsは報告する。
従って、規制当局が要求する水準と、実際に検出ツールが証明できる内容との間のギャップが、今後すべての主要AIラボの遵守体制を左右する可能性が高い。
