跑分報告：與 Codex 同分，解題成本低 15.6%

、Claude Code 與 Codex 使用同一 Claude Opus 4.8 模型完成六項公開 Agent Benchmark。 與 Codex 均完成 338/424 項， 每項成功任務成本為 $4.82，Codex 為 $5.71；Claude Code 以 358/424 領先 20 項。

是一個自進化 AI Agent，可以幫助用户處理日常事務和工作任務。桌面版現已開放內測，可在 Beta 頁面下載試用。

桌面版內測下載頁面。

在內測前，我們對 做了初步內部評估。、Claude Code 與 Codex 使用同一 Claude Opus 4.8 模型，在六項公開 Agent Benchmark 的 424 項共同任務上各運行一次。本文給出完整成績、逐題任務覆蓋、按統一價目重算的成本，以及兩個經過公開檢查程序驗證的任務案例。

1. 核心結果

六項 Benchmark 合併計分後， 與 Codex 均完成 338/424 項，完成率 79.72%；Claude Code 完成 358/424 項，完成率 84.43%。

圖 1｜三家 Agent 在 424 項共同任務上的總體結果。分母均為 424；三家使用同一模型 Claude Opus 4.8、同一套評測流程與判分標準。

版本： v1.0.0-pre6、Claude Code 2.1.170、Codex 0.139.0。

• 與 Codex 對比：兩家完成數相同。 每完成一項任務花費的模型資源低 15.6%；兩家各自完成了 30 項對方沒有完成的任務。
• 與 Claude Code 對比： 少完成 20 項，差距來自六項任務的共同累積。

2. 比較範圍與控制變量

比較對象是 Agent Harness，也就是把同一模型組織成可執行產品的工具、上下文和運行方式。三家都配置為 Claude Opus 4.8，推理檔為 xhigh，最大輸出為 32,000 tokens；各自保留自己的工具、上下文組織和執行方式。

這 424 項不是六項 Benchmark 的全集。每個子 Benchmark 取排序靠前的 100 題，不滿 100 題的不從其他 Benchmark 補齊；題目本身有問題的任務被排除。在這些被排除的任務上， 的表現並不比另外兩家差。最終 424 項對三家使用相同任務身份、相同分母，每項結果都落在同一行任務記錄上。

成本只統計最終成績表採用的那次運行：讀取該次運行記錄的輸入與輸出 token，按統一價目重算。每個 Agent 在每項任務上只計一次，失敗任務的消耗也計入。

六項 Benchmark 對“完成”的定義不同。彙總前先使用各自的任務檢查程序得到二元結果，再把完成項相加。

3. 性能表現

3.1 正確率： 與 Codex 同為 79.72%

424 項共同任務來自六種環境。每項任務由所屬 Benchmark 的檢查程序判定完成或未完成，再彙總為完成任務數和完成率。

圖 2｜六項 Benchmark 完整結果。六行共用同一條完成率座標，起點為 50%，因為全部結果都高於 64%。

同一組數字還可以寫成 相對兩種對照的任務數差。正數表示 多完成，負數表示 少完成，0 表示完成數相同。

相對 Codex 在 AppWorld 和 GAIA 合計多完成 11 項，在 Cybench、兩個軟件工程 Benchmark 和 Terminal-Bench 2 合計少完成 11 項，最終總差為 0。相對 Claude Code， 在 GAIA 同分，其餘五項合計少完成 20 項。

3.2 成本： 每項成功任務成本最低

圖 3｜完成率與每項成功任務成本。每個任務只計最終結果採用的一次運行，失敗任務的消耗也計入總成本。

統一價目按每百萬輸入 token 5 美元、每百萬輸出 token 25 美元計算。 與 Codex 的完成任務數同為 338，可以直接比較每項成功任務成本。按未四捨五入值計算， 比 Codex 低 15.6%。Claude Code 的完成率高 4.72 個百分點，每項成功任務成本為 $7.20。

“每項成功任務成本”用全部計費任務總成本除以完成任務數。失敗任務的 token 仍留在分子中，因為真實運行不會在失敗後退回已經消耗的模型資源。

六項 Benchmark 的統一價目總成本如下。每一格都包含該 Agent 在該項全部最終計分任務上的消耗，失敗任務沒有從總額中刪除。

總成本低不自動錶示單位成功成本最低。繼續用各項總成本除以各項完成數，得到每項成功任務成本。

圖 4｜六項 Benchmark 的每項成功任務成本。六行共用同一美元尺度；失敗任務消耗計入分子，各項完成數作為分母。

在 AppWorld、Cybench、GAIA 和 Terminal-Bench 2 四項的每項成功任務成本最低。Codex 在 SWE-bench Multilingual 與 SWE-rebench 最低，分別比 低 $0.13 和 $0.10。

六項的成本跨度很大。 在 GAIA 的每項成功成本為 $0.45，在 SWE-rebench 為 $10.35。token 長度、工具交互、任務通過數和檢查方式共同影響成本，所以這個跨度反映資源消耗，不代表 Benchmark 難度。

token 數來自每個最終計分結果的 Agent 自報值。我們用可對齊的賬單計量檢查了自報覆蓋， 與 Claude Code 的差異為 1.5 個百分點；把這項差異納入敏感性檢查後，三家成本排序不變。三家暴露的緩存字段並不對稱，無法用同一輸入定義構造可比的緩存賬單，因此這裏只按統一價目計算。

4. 相同總分，不同任務覆蓋

三家合看，至少一種 Agent 完成了 387/424 項，三家共同完成 296 項，三家都未完成 37 項。其餘任務分佈在三種“兩家完成”和三種“僅一家完成”的組合中。

八行相加為 424。三種“僅一家完成”合計 36 項，其中 獨佔 9 項、Codex 獨佔 8 項、Claude Code 獨佔 19 項。三種“兩家完成”合計 55 項，説明總分相近時仍存在大量逐題差異。

與 Codex 直接比較時，共同完成 308 項，共同未完成 56 項。其餘 60 項恰好各佔一半：僅 完成 30 項，僅 Codex 完成 30 項。

圖 5｜ 與 Codex 的 424 項逐題關係。全部區段共用 0–424 的尺度；雙方各自完成了對方未完成的 30 項任務。

AppWorld 為 帶來 10 項相對 Codex 的新增覆蓋，同時只有 1 項由 Codex 單獨完成，形成 的 9 項淨優勢。GAIA 的 2 對 0 對應 的 2 項優勢。Cybench、兩個軟件工程 Benchmark 和 Terminal-Bench 2 的方向相反，其中 Terminal-Bench 2 為 7 對 12，形成 Codex 的 5 項淨優勢。六項淨差相加為零。

SWE-bench Multilingual 的總分只差 1 項，但雙方實際有 11 項結果不同；Terminal-Bench 2 的總分差 5 項，雙方有 19 項結果不同。相同名義模型配置下，不同 Agent 運行方式形成了不同的成功集合。

4.1 AppWorld 與 GAIA：接近本輪最高結果

AppWorld 檢查應用環境的最終狀態。 完成 87/90，Claude Code 完成 88 項，Codex 完成 78 項。 比最高結果少 1 項，比 Codex 多 9 項，是 相對 Codex 最有利的分項。

GAIA 檢查最終答案。 與 Claude Code 都完成 49/51，Codex 完成 47/51。兩種判定形態下， 都完成了較高比例的多步驟任務。

4.2 兩個軟件工程 Benchmark：最大差距均為 3 項

SWE-bench Multilingual 覆蓋多語言真實倉庫修改。Claude Code、Codex、 分別完成 68、66 和 65 項，最高與最低相差 3 項， 比 Codex 少 1 項。

SWE-rebench 持續從真實 GitHub 問題構建並驗證任務。Claude Code、Codex、 分別完成 63、65 和 62 項。Codex 在這一項領先， 比 Codex 少 3 項，比 Claude Code 少 1 項。

兩個軟件工程 Benchmark 合計 171 項， 完成 127 項。任務來源、語言、倉庫結構和驗證方式都會改變結果，單一代碼榜單不能代替完整軟件工程剖面。

4.3 Terminal-Bench 2：總體差距的最大單項來源

Terminal-Bench 2 在終端環境中檢查最終文件、程序或系統狀態。 完成 48/75，Codex 完成 53/75，Claude Code 完成 58/75。 比 Codex 少 5 項，比 Claude Code 少 10 項。

這 10 項是 與 Claude Code 總體 20 項差距的最大單項來源。具體失敗來源仍需任務級分析。

5. 兩個經過公開檢查的任務案例

5.1 讓包含反引號的行內代碼保持合法

這項任務是 SWE-rebench 的 matthewwithanm__python-markdownify-230。題目要求修復 HTML 轉 Markdown 時的行內代碼邊界：輸入內容本身含有反引號時，舊邏輯會生成無法正確解析的 Markdown。

讀取轉換器和現有測試，按內容中最長連續反引號選擇更長的分隔符，同時補上首尾反引號、kbd 和 samp 別名等邊界測試。修改後的完整倉庫測試為 83 passed，SWE-rebench verifier 給出 1.0。

圖 6｜matthewwithanm__python-markdownify-230 的公開任務產物與驗證結果。

公開來源：任務或上游問題；發佈許可。

5.2 從三份日曆中找到最早可行時間

這項任務是 Terminal-Bench 2 的 constraints-scheduling。題目給出三份只讀日曆、每個人的時間限制和偏好，要求排出一小時的團隊會議並生成標準 ICS 文件。

解析三份日曆並按分鐘枚舉候選時間，找到週三和週四 11:00 兩個可行時段，再按最早時間選擇週三並寫入三位參會人。公開 verifier 檢查文件結構、參會人、時長、衝突、硬約束和偏好規則，最終給出 1.0。

圖 7｜constraints-scheduling 的公開任務產物與驗證結果。

公開來源：任務與驗證程序；發佈許可。

6. 結果意味着什麼

在這 424 項任務中完成 338 項：AppWorld 87 項，GAIA 49 項，兩個軟件工程 Benchmark 合計 127 項，Cybench 與 Terminal-Bench 2 合計 75 項。總體成績把這些環境相加，分項結果保留它們之間的差異。

與 Codex 同分説明兩種 Agent 產品形態在這批任務上的總體完成數一致；30 對 30 的逐題分歧説明同分沒有產生相同任務覆蓋。 相對 Codex 的 15.6% 單項成功成本差異進一步表明，Agent 運行方式還會改變完成任務所消耗的模型資源。

兩個公開案例展示了“完成”的具體含義：一個案例需要修改真實倉庫的轉換邏輯並通過全部測試，另一個案例需要解析三份日曆、滿足硬約束並生成標準 ICS 文件。它們證明 在這兩項任務中交付了通過公開檢查程序的結果；它們不能單獨證明其他任務也會成功。

7. 參考文獻

• Badertdinov, I., et al. (2025). SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents. arXiv:2505.20411.
• EvoMap. (2026). .
• Jimenez, C. E., et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues?. ICLR 2024. 本文使用其多語言變體 SWE-bench Multilingual。
• Mialon, G., et al. (2023). GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983.
• python-markdownify. (2024). Pull request #230: Handle inline code containing backticks.
• Terminal-Bench Team, Stanford University, & Laude Institute. (2025). Terminal-Bench 2.0. 本文第二個案例使用其 constraints-scheduling 任務。
• Trivedi, H., et al. (2024). AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents. ACL 2024, 16022–16076.
• Zhang, A. K., et al. (2025). Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models. ICLR 2025.

8. 附錄：評測設置