ベンチマーク報告：Codex と同点、解決1件あたりのコストは15.6%低い

、Claude Code、Codex は、同じ Claude Opus 4.8 モデルで6つの公開エージェントベンチマークを実行した。 と Codex はともに 338/424 件を完了し、解決1件あたりのコストは が $4.82、Codex が $5.71 だった。Claude Code は 358/424 件で首位だった。

は日常業務と専門的な作業を支援する自己進化型AIエージェントである。デスクトップ版ベータは Beta ページから試用できる。

デスクトップ版ベータのダウンロードページ。

ベータ公開前に初期の内部評価を行った。3製品は同じ Claude Opus 4.8 を使い、6つの公開エージェントベンチマークから選んだ同一の424件を1回ずつ実行した。本稿では全スコア、タスク単位のカバレッジ、共通価格で再計算したコスト、公開チェッカーで検証した2件の事例を示す。

1. 主な結果

6ベンチマークを合算すると、 と Codex はともに 338/424件、完了率79.72%。Claude Code は 358/424件、完了率84.43% だった。

図1｜424件の共通タスクにおける総合結果。3製品は同じ Claude Opus 4.8、同じ評価手順、同じ採点基準を使用した。

バージョン： v1.0.0-pre6、Claude Code 2.1.170、Codex 0.139.0。

• Codexとの比較：完了数は同じ。 の解決1件あたりのモデル資源コストは 15.6% 低く、双方が相手だけでは解けなかった 30件 を完了した。
• Claude Codeとの比較： は20件少なかった。この差は5つのベンチマークで積み上がった。

2. 比較範囲と統制条件

比較対象はエージェントハーネス、つまり同じモデルを実行可能な製品にするツール、コンテキスト管理、実行方式である。3製品とも Claude Opus 4.8、推論設定 xhigh、最大出力32,000 tokens を使用し、それぞれ固有のツールと実行方式は維持した。

424件は6ベンチマークの全件ではない。各サブベンチマークで並び順の先頭100件を選び、100件に満たない場合も他から補充せず、問題自体に不備のあるタスクを除外した。除外タスクで が他の2製品の両方より劣ることはなかった。残る424件は3製品でタスクIDと分母が一致し、結果は同じタスク行に対応している。

コストは最終スコア表に採用した実行だけを対象にした。その入出力 token を共通価格で再計算し、各製品・各タスクにつき1結果だけを数えた。失敗タスクの消費も総コストに含む。

「完了」の定義はベンチマークごとに異なる。各ベンチマーク固有のチェッカーで二値結果を得てから完了数を合算した。

3. 性能

3.1 正確性： と Codex はともに79.72%

424件は6種類の環境にまたがる。各タスクを所属ベンチマークのチェッカーで完了・未完了に分けてから集計した。

図2｜6ベンチマークの全結果。全行で同じ完了率軸を使い、すべて64%を超えるため軸は50%から始まる。

同じ値を と比較対象の完了数差として表せる。正は が多く、負は少なく、0は同数を表す。

Codexとの比較では、AppWorldとGAIAで合計11件多く、Cybench、2つのソフトウェア工学ベンチマーク、Terminal-Bench 2で合計11件少なかったため、差は0になった。Claude Codeとの比較ではGAIAが同点で、他の5項目から20件の差が生じた。

3.2 コスト： の解決1件あたりコストが最低

図3｜完了率と解決1件あたりコスト。各タスクは最終結果に使った1回だけを数え、失敗タスクの消費も総コストに含む。

共通価格は入力100万 token あたり$5、出力100万 token あたり$25。 と Codex はともに338件を完了したため直接比較できる。丸め前の値では が 15.6% 低い。Claude Code は完了率が4.72ポイント高く、1件あたり$7.20だった。

解決1件あたりコストは全課金タスクの総コストを完了数で割る。失敗後も消費済み資源は戻らないため、失敗タスクの token も分子に残る。

各ベンチマークの共通価格による総コストは次の通り。失敗タスクも削除していない。

総コストが低くても、解決1件あたりも最低とは限らない。各総コストを各完了数で割ると次の結果になる。

図4｜6ベンチマークの解決1件あたりコスト。失敗タスクの消費を分子に、各ベンチマークの完了数を分母に含む。

は AppWorld、Cybench、GAIA、Terminal-Bench 2 の4項目で最低だった。SWE-bench Multilingual と SWE-rebench は Codex が最低で、 よりそれぞれ$0.13、$0.10低い。

コスト幅は大きく、 は GAIA で$0.45、SWE-rebenchで$10.35だった。token長、ツール操作、完了数、チェッカー方式がコストに影響するため、この幅は資源消費を示し、難易度そのものではない。

token数は各最終結果の自己報告値を使った。対応可能な課金計測でカバレッジを確認すると と Claude Code の差は1.5ポイントで、感度分析に含めても順位は変わらなかった。キャッシュ項目は3製品で非対称なため、同一定義のキャッシュ調整料金は構成できず、共通価格だけを用いた。

4. 同じ総数、異なるタスクカバレッジ

少なくとも1製品が完了したのは387/424件、3製品共通は296件、3製品とも未完了は37件だった。残りは2製品だけ、または1製品だけが完了した組み合わせである。

8行の合計は424。1製品だけの36件は 9件、Codex 8件、Claude Code 19件。2製品だけの組み合わせは55件で、総合点が近くてもタスク単位では大きく異なる。

と Codex を直接比べると、双方完了が308件、双方未完了が56件。残る60件は のみ30件、Codexのみ30件に分かれた。

図5｜とCodexのタスク単位の関係。全区間が0–424の尺度を共有し、双方が相手の未完了タスクを30件ずつ完了した。

AppWorldは のみ10件、Codexのみ1件で9件の純増、GAIAは2対0で2件の純増だった。他の4項目は逆方向で、Terminal-Bench 2は7対12、Codex側に5件の純増。6項目を合計すると0になる。

SWE-bench Multilingualは総合差が1件でも実際の不一致は11件、Terminal-Bench 2は総合差5件に対して不一致19件だった。同じ名目モデルでもエージェント実行方式により成功集合が変わる。

4.1 AppWorldとGAIA：今回の最高結果に近い

AppWorldは最終アプリ状態を検査する。は87/90、Claude Codeは88、Codexは78。は最高結果から1件、Codexより9件多く、Codexに対して最も有利な項目だった。

GAIAは最終回答を検査する。とClaude Codeは49/51、Codexは47/51だった。

4.2 2つのソフトウェア工学ベンチマーク：最大差は3件

SWE-bench Multilingualで Claude Code、Codex、 は68、66、65件を完了し、最大差は3件、はCodexより1件少なかった。

SWE-rebenchでは63、65、62件。Codexが首位で、はCodexより3件、Claude Codeより1件少なかった。

2項目は合計171件で、は127件を完了した。タスク源、言語、構造、検証方式で結果は変わるため、単一のコーディング順位だけでは全体像を表せない。

4.3 Terminal-Bench 2：総合差への最大の単独寄与

Terminal-Bench 2で は48/75、Codexは53/75、Claude Codeは58/75。はCodexより5件、Claude Codeより10件少なかった。この10件が総合20件差の最大の単独要因であり、原因説明にはタスク単位の分析が必要である。

5. 公開チェッカーで検証した2件

5.1 バッククォートを含むインラインコードを正しく保つ

SWE-rebench の matthewwithanm__python-markdownify-230 は、HTMLからMarkdownへの変換で入力自体にバッククォートがある場合、旧実装が不正なMarkdownを生成する問題を修正するタスクである。

は変換処理と既存テストを読み、内容中の最長連続バッククォートより長い区切りを選び、先頭・末尾のバッククォートと kbd、samp の境界テストを追加した。全テストは 83 passed、SWE-rebench verifier は 1.0 を返した。

図6｜matthewwithanm__python-markdownify-230 の公開タスク成果物と検証結果。

公開情報：タスクまたは上流issue、公開ライセンス。

5.2 3つのカレンダーから最も早い実行可能時刻を探す

Terminal-Bench 2 の constraints-scheduling は、3つの読み取り専用カレンダー、各人の制限と選好から1時間の会議を決め、標準ICSファイルを生成するタスクである。

は3つのカレンダーを解析し、候補時刻を分単位で列挙した。水曜と木曜の11:00を発見し、早い水曜を選んで3名を登録した。公開verifierは構造、参加者、時間、競合、必須制約、選好を検査し 1.0 を返した。

図7｜constraints-scheduling の公開タスク成果物と検証結果。

公開情報：タスクと検証プログラム、公開ライセンス。

6. 結果の意味

は424件中338件を完了した。AppWorld 87件、GAIA 49件、2つのソフトウェア工学ベンチマーク127件、CybenchとTerminal-Bench 2で75件である。総合点は環境を加算し、項目別結果は差を残す。

Codexとの同点は、この集合で総完了数が同じことを示す。30対30の不一致はカバレッジが同じではないことを示す。の1件あたりコストが15.6%低いことは、エージェントの実行方式が同じタスク集合で消費するモデル資源も変えることを示す。

2件の事例は「完了」の意味を具体化する。一方は実在リポジトリを修正して全テストを通し、もう一方は3つのカレンダーを解析し、必須制約を満たすICSを生成した。これは2件で検証済み成果を出した証拠だが、他のタスクの成功を単独で証明するものではない。

7. 参考文献

• Badertdinov, I., et al. (2025). SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents. arXiv:2505.20411.
• EvoMap. (2026). .
• Jimenez, C. E., et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues?. ICLR 2024. 本稿では多言語版 SWE-bench Multilingual を使用した。
• Mialon, G., et al. (2023). GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983.
• python-markdownify. (2024). Pull request #230: Handle inline code containing backticks.
• Terminal-Bench Team, Stanford University, & Laude Institute. (2025). Terminal-Bench 2.0. 2件目は constraints-scheduling タスク を使用した。
• Trivedi, H., et al. (2024). AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents. ACL 2024, 16022-16076.
• Zhang, A. K., et al. (2025). Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models. ICLR 2025.

8. 付録：評価設定