イーロン・マスク氏は、Grok 4.5を「Opusクラスのモデル」であり、高速かつ低コストと表現した。この主張を裏付ける独立したエージェント型ベンチマークが登場した。
Artificial AnalysisのAutomationBench-AAにおいて、Grok 4.5は51.4％というスコアで首位となり、タスクあたり0.34ドルというコストを記録した。Claude Fable 5（48.6％）やClaude Opus 4.8（48.5％）を上回った。
イーロン・マスク氏の主張を検証する独立評価
SpaceXAIは今週、1.5兆パラメータのV9基盤上に構築されたGrok 4.5を一般公開した。マスク氏の説明は、初期の社内評価に基づいていた。
AutomationBench-AAはこの状況を変えた。Artificial Analysisは独立してベンチマークを実施し、評価タスクは外部から明かさず、汚染を防いでいる。
テストはGmail、Slack、Salesforce、HubSpotなど40のシミュレーションアプリで657タスクを実施する。エージェントがガードレール（制約）を破らずに完了した目標割合でスコア化する。
Grok 4.5：低コスト・高速・高い合格率
Grok 4.5のタスクあたりコスト0.34ドルは、Fable 5の1.35ドルやOpus 4.8の1.46ドルを大きく下回った。最も近いのはGemini 3.5 Flashの0.49ドルだった。
モデルは1タスクあたり約8000トークン生成し、Opus 4.8の約4分の1。同モデルの効率性がコスト差を生み、マスク氏の説明と一致する結果となった。
「トータルのトークン使用量は、1タスクあたり44万（0.44M）で、リーダーボード内でも最小水準。低コストはこの効率と低価格が要因」Artificial Analysisは述べた。
また、Grok 4.5は79.9％のタスク目標を完了し、全タスクの21.9％で完全合格した。最難関のファイナンス領域では71％となり、Fable 5の64％やOpus 4.8の62％を上回った。
ただし、このモデルは最も近い競合よりガードレール違反が多い。1タスクあたりの違反数は0.63で、Opus 4.8の0.55やGemini 3.5 Flashの0.46より高かった。
この差は、金融システムなどで実際に運用する企業にとっては重要となる。1件の違反でも大きなコストが発生しうるためだ。
YouTubeチャンネル登録はこちら。リーダーや記者による専門インサイトを動画で配信
