、Claude Code 与 Codex 使用同一 Claude Opus 4.8 模型完成六项公开 Agent Benchmark。 与 Codex 均完成 338/424 项， 每项成功任务成本为 $4.82，Codex 为 $5.71；Claude Code 以 358/424 领先 20 项。
是一个自进化 AI Agent，可以帮助用户处理日常事务和工作任务。桌面版现已开放内测，可在 Beta 页面下载试用。
桌面版内测下载页面。
在内测前，我们对 做了初步内部评估。、Claude Code 与 Codex 使用同一 Claude Opus 4.8 模型，在六项公开 Agent Benchmark 的 424 项共同任务上各运行一次。本文给出完整成绩、逐题任务覆盖、按统一价目重算的成本，以及两个经过公开检查程序验证的任务案例。
1. 核心结果
六项 Benchmark 合并计分后， 与 Codex 均完成 338/424 项，完成率 79.72%；Claude Code 完成 358/424 项，完成率 84.43%。
图 1｜三家 Agent 在 424 项共同任务上的总体结果。分母均为 424；三家使用同一模型 Claude Opus 4.8、同一套评测流程与判分标准。
版本： v1.0.0-pre6、Claude Code 2.1.170、Codex 0.139.0。
- 与 Codex 对比：两家完成数相同。 每完成一项任务花费的模型资源低 15.6%；两家各自完成了 30 项对方没有完成的任务。
- 与 Claude Code 对比： 少完成 20 项，差距来自六项任务的共同累积。
2. 比较范围与控制变量
比较对象是 Agent Harness，也就是把同一模型组织成可执行产品的工具、上下文和运行方式。三家都配置为 Claude Opus 4.8，推理档为 xhigh，最大输出为 32,000 tokens；各自保留自己的工具、上下文组织和执行方式。
这 424 项不是六项 Benchmark 的全集。每个子 Benchmark 取排序靠前的 100 题，不满 100 题的不从其他 Benchmark 补齐；题目本身有问题的任务被排除。在这些被排除的任务上， 的表现并不比另外两家差。最终 424 项对三家使用相同任务身份、相同分母，每项结果都落在同一行任务记录上。
成本只统计最终成绩表采用的那次运行：读取该次运行记录的输入与输出 token，按统一价目重算。每个 Agent 在每项任务上只计一次，失败任务的消耗也计入。
六项 Benchmark 对“完成”的定义不同。汇总前先使用各自的任务检查程序得到二元结果，再把完成项相加。
| Benchmark | 任务要求 | 一项“完成”表示什么 |
|---|---|---|
| AppWorld（Trivedi et al., 2024） | 在可控应用世界中读取状态并执行多步骤操作 | 最终应用状态通过任务检查，文字说明不能替代状态变化 |
| Cybench（Zhang et al., 2025） | 分析并完成网络安全挑战 | 提交结果满足挑战的验证条件，中间探索步数不加分 |
| GAIA（Mialon et al., 2023） | 回答需要检索、推理、多模态处理和工具协作的问题 | 最终答案通过题目判定，答案长度和工具数量不计分 |
| SWE-bench Multilingual（Jimenez et al., 2024） | 修改多语言真实仓库 | 最终补丁通过对应仓库任务测试，Agent 自述不计分 |
| SWE-rebench（Badertdinov et al., 2025） | 处理持续构建的真实 GitHub 问题 | 仓库修改通过验证程序，修改行数不改变分数 |
| Terminal-Bench 2（Terminal-Bench Team, 2025） | 在终端完成工程、数据和系统任务 | 结束时的文件、程序或系统状态通过任务测试 |
3. 性能表现
3.1 正确率： 与 Codex 同为 79.72%
424 项共同任务来自六种环境。每项任务由所属 Benchmark 的检查程序判定完成或未完成，再汇总为完成任务数和完成率。
| Benchmark | n | Claude Code | Codex | |
|---|---|---|---|---|
| AppWorld | 90 | 88/90，97.78% | 78/90，86.67% | 87/90，96.67% |
| Cybench | 37 | 32/37，86.49% | 29/37，78.38% | 27/37，72.97% |
| GAIA | 51 | 49/51，96.08% | 47/51，92.16% | 49/51，96.08% |
| SWE-bench Multilingual | 89 | 68/89，76.40% | 66/89，74.16% | 65/89，73.03% |
| SWE-rebench | 82 | 63/82，76.83% | 65/82，79.27% | 62/82，75.61% |
| Terminal-Bench 2 | 75 | 58/75，77.33% | 53/75，70.67% | 48/75，64.00% |
| 总计 | 424 | 358/424，84.43% | 338/424，79.72% | 338/424，79.72% |
图 2｜六项 Benchmark 完整结果。六行共用同一条完成率坐标，起点为 50%，因为全部结果都高于 64%。
同一组数字还可以写成 相对两种对照的任务数差。正数表示 多完成，负数表示 少完成，0 表示完成数相同。
| Benchmark | 相对 Claude Code | 相对 Codex | 本项最高结果 |
|---|---|---|---|
| AppWorld | -1 | +9 | Claude Code，88/90 |
| Cybench | -5 | -2 | Claude Code，32/37 |
| GAIA | 0 | +2 | 、Claude Code，49/51 |
| SWE-bench Multilingual | -3 | -1 | Claude Code，68/89 |
| SWE-rebench | -1 | -3 | Codex，65/82 |
| Terminal-Bench 2 | -10 | -5 | Claude Code，58/75 |
| 总计 | -20 | 0 | Claude Code，358/424 |
相对 Codex 在 AppWorld 和 GAIA 合计多完成 11 项，在 Cybench、两个软件工程 Benchmark 和 Terminal-Bench 2 合计少完成 11 项，最终总差为 0。相对 Claude Code， 在 GAIA 同分，其余五项合计少完成 20 项。
3.2 成本： 每项成功任务成本最低
| Agent | 计费任务 | 完成任务 | 统一价目总成本 | 每项成功任务成本 |
|---|---|---|---|---|
| Claude Code | 424 | 358 | $2,579.15 | $7.20 |
| Codex | 424 | 338 | $1,930.78 | $5.71 |
| 424 | 338 | $1,629.32 | $4.82 |
图 3｜完成率与每项成功任务成本。每个任务只计最终结果采用的一次运行，失败任务的消耗也计入总成本。
统一价目按每百万输入 token 5 美元、每百万输出 token 25 美元计算。 与 Codex 的完成任务数同为 338，可以直接比较每项成功任务成本。按未四舍五入值计算， 比 Codex 低 15.6%。Claude Code 的完成率高 4.72 个百分点，每项成功任务成本为 $7.20。
“每项成功任务成本”用全部计费任务总成本除以完成任务数。失败任务的 token 仍留在分子中，因为真实运行不会在失败后退回已经消耗的模型资源。
六项 Benchmark 的统一价目总成本如下。每一格都包含该 Agent 在该项全部最终计分任务上的消耗，失败任务没有从总额中删除。
| Benchmark | Claude Code 总成本 | Codex 总成本 | 总成本 |
|---|---|---|---|
| AppWorld | $276.73 | $168.76 | $135.74 |
| Cybench | $210.73 | $139.22 | $69.06 |
| GAIA | $67.30 | $49.21 | $22.17 |
| SWE-bench Multilingual | $751.80 | $576.39 | $576.00 |
| SWE-rebench | $812.94 | $665.76 | $641.42 |
| Terminal-Bench 2 | $459.66 | $331.44 | $184.92 |
| 总计 | $2,579.15 | $1,930.78 | $1,629.32 |
总成本低不自动表示单位成功成本最低。继续用各项总成本除以各项完成数，得到每项成功任务成本。
| Benchmark | Claude Code 每项成功 | Codex 每项成功 | 每项成功 |
|---|---|---|---|
| AppWorld | $3.14 | $2.16 | $1.56 |
| Cybench | $6.59 | $4.80 | $2.56 |
| GAIA | $1.37 | $1.05 | $0.45 |
| SWE-bench Multilingual | $11.06 | $8.73 | $8.86 |
| SWE-rebench | $12.90 | $10.24 | $10.35 |
| Terminal-Bench 2 | $7.93 | $6.25 | $3.85 |
| 总计 | $7.20 | $5.71 | $4.82 |
图 4｜六项 Benchmark 的每项成功任务成本。六行共用同一美元尺度；失败任务消耗计入分子，各项完成数作为分母。
在 AppWorld、Cybench、GAIA 和 Terminal-Bench 2 四项的每项成功任务成本最低。Codex 在 SWE-bench Multilingual 与 SWE-rebench 最低，分别比 低 $0.13 和 $0.10。
六项的成本跨度很大。 在 GAIA 的每项成功成本为 $0.45，在 SWE-rebench 为 $10.35。token 长度、工具交互、任务通过数和检查方式共同影响成本，所以这个跨度反映资源消耗，不代表 Benchmark 难度。
token 数来自每个最终计分结果的 Agent 自报值。我们用可对齐的账单计量检查了自报覆盖， 与 Claude Code 的差异为 1.5 个百分点；把这项差异纳入敏感性检查后，三家成本排序不变。三家暴露的缓存字段并不对称，无法用同一输入定义构造可比的缓存账单，因此这里只按统一价目计算。
4. 相同总分，不同任务覆盖
三家合看，至少一种 Agent 完成了 387/424 项，三家共同完成 296 项，三家都未完成 37 项。其余任务分布在三种“两家完成”和三种“仅一家完成”的组合中。
| 通过组合 | 任务数 |
|---|---|
| 三家都完成 | 296 |
| 仅 Claude Code 与 Codex 完成 | 22 |
| 仅 Claude Code 与 完成 | 21 |
| 仅 Codex 与 完成 | 12 |
| 仅 Claude Code 完成 | 19 |
| 仅 Codex 完成 | 8 |
| 仅 完成 | 9 |
| 三家都未完成 | 37 |
八行相加为 424。三种“仅一家完成”合计 36 项，其中 独占 9 项、Codex 独占 8 项、Claude Code 独占 19 项。三种“两家完成”合计 55 项，说明总分相近时仍存在大量逐题差异。
与 Codex 直接比较时，共同完成 308 项，共同未完成 56 项。其余 60 项恰好各占一半：仅 完成 30 项，仅 Codex 完成 30 项。
图 5｜ 与 Codex 的 424 项逐题关系。全部区段共用 0–424 的尺度；双方各自完成了对方未完成的 30 项任务。
| Benchmark | 双方都完成 | 双方都未完成 | 仅 完成 | 仅 Codex 完成 |
|---|---|---|---|---|
| AppWorld | 77 | 2 | 10 | 1 |
| Cybench | 25 | 6 | 2 | 4 |
| GAIA | 47 | 2 | 2 | 0 |
| SWE-bench Multilingual | 60 | 18 | 5 | 6 |
| SWE-rebench | 58 | 13 | 4 | 7 |
| Terminal-Bench 2 | 41 | 15 | 7 | 12 |
| 总计 | 308 | 56 | 30 | 30 |
AppWorld 为 带来 10 项相对 Codex 的新增覆盖，同时只有 1 项由 Codex 单独完成，形成 的 9 项净优势。GAIA 的 2 对 0 对应 的 2 项优势。Cybench、两个软件工程 Benchmark 和 Terminal-Bench 2 的方向相反，其中 Terminal-Bench 2 为 7 对 12，形成 Codex 的 5 项净优势。六项净差相加为零。
SWE-bench Multilingual 的总分只差 1 项，但双方实际有 11 项结果不同；Terminal-Bench 2 的总分差 5 项，双方有 19 项结果不同。相同名义模型配置下，不同 Agent 运行方式形成了不同的成功集合。
4.1 AppWorld 与 GAIA：接近本轮最高结果
AppWorld 检查应用环境的最终状态。 完成 87/90，Claude Code 完成 88 项，Codex 完成 78 项。 比最高结果少 1 项，比 Codex 多 9 项，是 相对 Codex 最有利的分项。
GAIA 检查最终答案。 与 Claude Code 都完成 49/51，Codex 完成 47/51。两种判定形态下， 都完成了较高比例的多步骤任务。
4.2 两个软件工程 Benchmark：最大差距均为 3 项
SWE-bench Multilingual 覆盖多语言真实仓库修改。Claude Code、Codex、 分别完成 68、66 和 65 项，最高与最低相差 3 项， 比 Codex 少 1 项。
SWE-rebench 持续从真实 GitHub 问题构建并验证任务。Claude Code、Codex、 分别完成 63、65 和 62 项。Codex 在这一项领先， 比 Codex 少 3 项，比 Claude Code 少 1 项。
两个软件工程 Benchmark 合计 171 项， 完成 127 项。任务来源、语言、仓库结构和验证方式都会改变结果，单一代码榜单不能代替完整软件工程剖面。
4.3 Terminal-Bench 2：总体差距的最大单项来源
Terminal-Bench 2 在终端环境中检查最终文件、程序或系统状态。 完成 48/75，Codex 完成 53/75，Claude Code 完成 58/75。 比 Codex 少 5 项，比 Claude Code 少 10 项。
这 10 项是 与 Claude Code 总体 20 项差距的最大单项来源。具体失败来源仍需任务级分析。
5. 两个经过公开检查的任务案例
5.1 让包含反引号的行内代码保持合法
这项任务是 SWE-rebench 的 matthewwithanm__python-markdownify-230。题目要求修复 HTML 转 Markdown 时的行内代码边界：输入内容本身含有反引号时，旧逻辑会生成无法正确解析的 Markdown。
读取转换器和现有测试，按内容中最长连续反引号选择更长的分隔符，同时补上首尾反引号、kbd 和 samp 别名等边界测试。修改后的完整仓库测试为 83 passed，SWE-rebench verifier 给出 1.0。
图 6｜matthewwithanm__python-markdownify-230 的公开任务产物与验证结果。
5.2 从三份日历中找到最早可行时间
这项任务是 Terminal-Bench 2 的 constraints-scheduling。题目给出三份只读日历、每个人的时间限制和偏好，要求排出一小时的团队会议并生成标准 ICS 文件。
解析三份日历并按分钟枚举候选时间，找到周三和周四 11:00 两个可行时段，再按最早时间选择周三并写入三位参会人。公开 verifier 检查文件结构、参会人、时长、冲突、硬约束和偏好规则，最终给出 1.0。
图 7｜constraints-scheduling 的公开任务产物与验证结果。
6. 结果意味着什么
在这 424 项任务中完成 338 项：AppWorld 87 项，GAIA 49 项，两个软件工程 Benchmark 合计 127 项，Cybench 与 Terminal-Bench 2 合计 75 项。总体成绩把这些环境相加，分项结果保留它们之间的差异。
与 Codex 同分说明两种 Agent 产品形态在这批任务上的总体完成数一致；30 对 30 的逐题分歧说明同分没有产生相同任务覆盖。 相对 Codex 的 15.6% 单项成功成本差异进一步表明，Agent 运行方式还会改变完成任务所消耗的模型资源。
两个公开案例展示了“完成”的具体含义：一个案例需要修改真实仓库的转换逻辑并通过全部测试，另一个案例需要解析三份日历、满足硬约束并生成标准 ICS 文件。它们证明 在这两项任务中交付了通过公开检查程序的结果；它们不能单独证明其他任务也会成功。
7. 参考文献
- Badertdinov, I., et al. (2025). SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents. arXiv:2505.20411.
- EvoMap. (2026). .
- Jimenez, C. E., et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues?. ICLR 2024. 本文使用其多语言变体 SWE-bench Multilingual。
- Mialon, G., et al. (2023). GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983.
- python-markdownify. (2024). Pull request #230: Handle inline code containing backticks.
- Terminal-Bench Team, Stanford University, & Laude Institute. (2025). Terminal-Bench 2.0. 本文第二个案例使用其
constraints-scheduling任务。 - Trivedi, H., et al. (2024). AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents. ACL 2024, 16022–16076.
- Zhang, A. K., et al. (2025). Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models. ICLR 2025.
8. 附录：评测设置
| 项目 | 本次设置 | 结果怎样进入本文 |
|---|---|---|
| Agent | v1.0.0-pre6、Claude Code 2.1.170、Codex 0.139.0 | 每家固定一个版本身份 |
| 模型 | Claude Opus 4.8 | 使用同一名义模型 |
| 推理配置 | xhigh，最大输出 32,000 tokens | 使用同一名义配置 |
| 任务 | 六项公开 Benchmark 中共同纳入的 424 项 | 三家逐题身份一致 |
| 评分 | 对应 Benchmark 的检查程序判定完成或未完成 | 每题一个最终二元结果 |
| 指标 | 完成任务数与完成率 | 不给接近正确的结果部分分 |
| 成本 | 最终计分结果记录的输入与输出 token，按统一价目重算 | 每家每题计一次，失败任务也计费 |
| 案例 | 原始题面、最终提交、必要执行记录与公开检查程序 | 通过公开许可和证据门后进入正文 |
