, Claude Code y Codex utilizaron el mismo modelo Claude Opus 4.8 en seis benchmarks públicos de agentes. y Codex resolvieron 338/424 tareas cada uno. El coste por tarea resuelta fue de $4.82 para y $5.71 para Codex; Claude Code lideró con 358/424.
es un agente de IA autoevolutivo para tareas cotidianas y profesionales. La beta de escritorio está disponible en la página de Beta.
Página de descarga de la beta de escritorio de .
Antes de abrir la beta realizamos una evaluación interna inicial. Los tres productos usaron Claude Opus 4.8 en las mismas 424 tareas de seis benchmarks públicos. Este informe presenta todos los resultados, la cobertura por tarea, los costes recalculados con una tarifa común y dos casos verificados por comprobadores públicos.
1. Resultados principales
Al combinar los seis benchmarks, y Codex resolvieron 338/424 tareas, una tasa del 79.72%. Claude Code resolvió 358/424, una tasa del 84.43%.
Figura 1 | Resultado global en 424 tareas compartidas. Los tres agentes usaron Claude Opus 4.8, el mismo proceso de evaluación y las mismas reglas de puntuación.
Versiones: v1.0.0-pre6, Claude Code 2.1.170 y Codex 0.139.0.
- Frente a Codex: ambos resolvieron el mismo número. consumió un 15.6% menos de recursos del modelo por tarea resuelta y cada uno completó 30 tareas que el otro no resolvió.
- Frente a Claude Code: resolvió 20 tareas menos. La diferencia se acumuló en cinco benchmarks.
2. Alcance y variables controladas
La comparación mide el harness del agente: herramientas, organización del contexto y ejecución que convierten un mismo modelo en un producto operativo. Los tres usaron Claude Opus 4.8, razonamiento xhigh y un máximo de 32,000 tokens de salida; cada producto conservó sus propias herramientas y forma de ejecución.
Las 424 tareas no son el contenido completo de los seis benchmarks. Tomamos las primeras 100 tareas ordenadas de cada subbenchmark, no rellenamos los conjuntos menores con otros benchmarks y excluimos tareas defectuosas. En las tareas excluidas no rindió peor que los otros dos productos a la vez. Las 424 tareas restantes tienen las mismas identidades y el mismo denominador para los tres agentes.
El coste incluye solo la ejecución usada en la tabla final. Recalculamos sus tokens de entrada y salida con una tarifa común. Cada agente aporta un resultado por tarea y el consumo de los fallos permanece en el total.
Cada benchmark define «resuelta» de forma distinta. Primero aplicamos su propio comprobador para obtener un resultado binario y después sumamos las tareas resueltas.
| Benchmark | Requisito | Qué significa una tarea «resuelta» |
|---|---|---|
| AppWorld (Trivedi et al., 2024) | Leer el estado y ejecutar acciones de varios pasos en aplicaciones controladas | El estado final supera el comprobador; una explicación no sustituye el cambio de estado |
| Cybench (Zhang et al., 2025) | Analizar y completar retos de ciberseguridad | El resultado satisface el verificador; los pasos de exploración no suman puntos |
| GAIA (Mialon et al., 2023) | Responder preguntas con búsqueda, razonamiento, multimodalidad y herramientas | La respuesta final supera el criterio; la longitud y el número de herramientas no puntúan |
| SWE-bench Multilingual (Jimenez et al., 2024) | Modificar repositorios reales en varios lenguajes | El parche final supera las pruebas de la tarea; la declaración del agente no cuenta |
| SWE-rebench (Badertdinov et al., 2025) | Resolver issues reales de GitHub recopilados de forma continua | El cambio del repositorio supera el verificador; las líneas modificadas no cambian la puntuación |
| Terminal-Bench 2 (Terminal-Bench Team, 2025) | Completar tareas de ingeniería, datos y sistemas en una terminal | Los archivos, programas o el estado final del sistema superan las pruebas |
3. Rendimiento
3.1 Exactitud: y Codex alcanzaron el 79.72%
Las 424 tareas abarcan seis entornos. Cada comprobador marcó sus tareas como resueltas o no resueltas antes de agregarlas.
| Benchmark | n | Claude Code | Codex | |
|---|---|---|---|---|
| AppWorld | 90 | 88/90, 97.78% | 78/90, 86.67% | 87/90, 96.67% |
| Cybench | 37 | 32/37, 86.49% | 29/37, 78.38% | 27/37, 72.97% |
| GAIA | 51 | 49/51, 96.08% | 47/51, 92.16% | 49/51, 96.08% |
| SWE-bench Multilingual | 89 | 68/89, 76.40% | 66/89, 74.16% | 65/89, 73.03% |
| SWE-rebench | 82 | 63/82, 76.83% | 65/82, 79.27% | 62/82, 75.61% |
| Terminal-Bench 2 | 75 | 58/75, 77.33% | 53/75, 70.67% | 48/75, 64.00% |
| Total | 424 | 358/424, 84.43% | 338/424, 79.72% | 338/424, 79.72% |
Figura 2 | Resultados completos. Todas las filas comparten una escala que empieza en 50%, porque todos los resultados superan el 64%.
Los mismos valores pueden expresarse como diferencia entre y cada producto. Un valor positivo indica más tareas para , uno negativo menos y cero el mismo número.
| Benchmark | frente a Claude Code | frente a Codex | Mejor resultado |
|---|---|---|---|
| AppWorld | -1 | +9 | Claude Code, 88/90 |
| Cybench | -5 | -2 | Claude Code, 32/37 |
| GAIA | 0 | +2 | y Claude Code, 49/51 |
| SWE-bench Multilingual | -3 | -1 | Claude Code, 68/89 |
| SWE-rebench | -1 | -3 | Codex, 65/82 |
| Terminal-Bench 2 | -10 | -5 | Claude Code, 58/75 |
| Total | -20 | 0 | Claude Code, 358/424 |
Frente a Codex, ganó 11 tareas en AppWorld y GAIA y perdió 11 en Cybench, los dos benchmarks de ingeniería de software y Terminal-Bench 2: la diferencia neta fue cero. Frente a Claude Code empató en GAIA y acumuló 20 tareas menos en los otros cinco.
3.2 Coste: tuvo el menor coste por tarea resuelta
| Agente | Tareas facturadas | Tareas resueltas | Coste total uniforme | Coste por tarea resuelta |
|---|---|---|---|---|
| Claude Code | 424 | 358 | $2,579.15 | $7.20 |
| Codex | 424 | 338 | $1,930.78 | $5.71 |
| 424 | 338 | $1,629.32 | $4.82 |
Figura 3 | Tasa de resolución y coste por tarea resuelta. Cada tarea cuenta una sola ejecución final; el consumo de los fallos sigue en el coste total.
La tarifa común es de $5 por millón de tokens de entrada y $25 por millón de tokens de salida. y Codex resolvieron 338 tareas, por lo que la comparación es directa. Con valores sin redondear fue un 15.6% más barato. Claude Code tuvo 4.72 puntos porcentuales más de resolución y un coste de $7.20 por tarea resuelta.
El coste por tarea resuelta divide el coste de todas las tareas facturadas por la cantidad resuelta. Los tokens de los fallos permanecen en el numerador porque una ejecución real no reembolsa los recursos consumidos.
| Benchmark | Coste total de Claude Code | Coste total de Codex | Coste total de |
|---|---|---|---|
| AppWorld | $276.73 | $168.76 | $135.74 |
| Cybench | $210.73 | $139.22 | $69.06 |
| GAIA | $67.30 | $49.21 | $22.17 |
| SWE-bench Multilingual | $751.80 | $576.39 | $576.00 |
| SWE-rebench | $812.94 | $665.76 | $641.42 |
| Terminal-Bench 2 | $459.66 | $331.44 | $184.92 |
| Total | $2,579.15 | $1,930.78 | $1,629.32 |
Un coste total menor no garantiza un menor coste por éxito. Al dividir cada total por las tareas resueltas obtenemos:
| Benchmark | Claude Code por tarea | Codex por tarea | por tarea |
|---|---|---|---|
| AppWorld | $3.14 | $2.16 | $1.56 |
| Cybench | $6.59 | $4.80 | $2.56 |
| GAIA | $1.37 | $1.05 | $0.45 |
| SWE-bench Multilingual | $11.06 | $8.73 | $8.86 |
| SWE-rebench | $12.90 | $10.24 | $10.35 |
| Terminal-Bench 2 | $7.93 | $6.25 | $3.85 |
| Total | $7.20 | $5.71 | $4.82 |
Figura 4 | Coste por tarea resuelta. El consumo de los fallos permanece en el numerador y la cantidad resuelta de cada benchmark es el denominador.
fue el más barato en AppWorld, Cybench, GAIA y Terminal-Bench 2. Codex fue el más barato en SWE-bench Multilingual y SWE-rebench, por $0.13 y $0.10 respectivamente.
Los costes varían mucho: gastó $0.45 por éxito en GAIA y $10.35 en SWE-rebench. Longitud, herramientas, cantidad resuelta y comprobador afectan al coste; esta amplitud mide recursos, no dificultad.
Los tokens proceden del resultado final declarado por cada agente. La comparación con mediciones de facturación alineables mostró una diferencia de cobertura de 1.5 puntos entre y Claude Code; incluirla en el análisis de sensibilidad no cambió el orden. Los campos de caché no son simétricos, así que no puede construirse una factura de caché comparable y usamos solo la tarifa común.
4. Mismo total, distinta cobertura
Al menos un agente resolvió 387/424 tareas; los tres resolvieron 296 y los tres fallaron 37. El resto se reparte entre combinaciones de dos o de un solo producto.
| Combinación | Tareas |
|---|---|
| Los tres | 296 |
| Solo Claude Code y Codex | 22 |
| Solo Claude Code y | 21 |
| Solo Codex y | 12 |
| Solo Claude Code | 19 |
| Solo Codex | 8 |
| Solo | 9 |
| Ninguno | 37 |
Las ocho filas suman 424. Las tres combinaciones de un agente suman 36 tareas: 9 exclusivas de , 8 de Codex y 19 de Claude Code. Las combinaciones de dos agentes suman 55, señal de diferencias importantes aunque los totales sean próximos.
En la comparación directa -Codex, ambos resolvieron 308 y ambos fallaron 56. Las 60 restantes se dividen en 30 exclusivas de y 30 de Codex.
Figura 5 | Relación por tarea en las 424 tareas. Cada producto resolvió 30 que el otro no resolvió.
| Benchmark | Ambos resueltos | Ambos fallaron | Solo | Solo Codex |
|---|---|---|---|---|
| AppWorld | 77 | 2 | 10 | 1 |
| Cybench | 25 | 6 | 2 | 4 |
| GAIA | 47 | 2 | 2 | 0 |
| SWE-bench Multilingual | 60 | 18 | 5 | 6 |
| SWE-rebench | 58 | 13 | 4 | 7 |
| Terminal-Bench 2 | 41 | 15 | 7 | 12 |
| Total | 308 | 56 | 30 | 30 |
AppWorld aportó 10 tareas exclusivas de y una de Codex, una ventaja neta de nueve. GAIA añadió dos. Las otras cuatro categorías fueron en sentido contrario; Terminal-Bench 2 se dividió 7 a 12, cinco a favor de Codex. La suma neta es cero.
SWE-bench Multilingual solo difiere en un punto total, pero contiene 11 desacuerdos por tarea. Terminal-Bench 2 difiere en cinco y contiene 19. La misma configuración nominal produjo conjuntos de éxito distintos.
4.1 AppWorld y GAIA: cerca del mejor resultado
AppWorld comprueba el estado final de las aplicaciones. resolvió 87/90, Claude Code 88 y Codex 78. quedó a una tarea del mejor resultado y nueve por encima de Codex.
GAIA comprueba la respuesta final. y Claude Code resolvieron 49/51 y Codex 47/51.
4.2 Dos benchmarks de software: ninguna diferencia superior a tres
En SWE-bench Multilingual Claude Code, Codex y resolvieron 68, 66 y 65 tareas. La mayor diferencia fue tres y quedó una por debajo de Codex.
En SWE-rebench resolvieron 63, 65 y 62. Codex lideró; quedó tres por debajo de Codex y una por debajo de Claude Code.
Los dos conjuntos suman 171 tareas y resolvió 127. Fuentes, lenguajes, estructura y validación cambian los resultados; una sola tabla de código no describe todo el perfil.
4.3 Terminal-Bench 2: mayor origen individual de la diferencia total
resolvió 48/75, Codex 53/75 y Claude Code 58/75. quedó cinco por debajo de Codex y diez por debajo de Claude Code. Esas diez tareas son la mayor aportación individual a la diferencia global de veinte; explicar los fallos exige análisis por tarea.
5. Dos tareas verificadas públicamente
5.1 Mantener válido el código en línea con comillas invertidas
La tarea SWE-rebench matthewwithanm__python-markdownify-230 pide corregir los límites del código en línea al convertir HTML a Markdown: si la entrada contiene comillas invertidas, la lógica anterior puede producir Markdown inválido.
leyó el conversor y las pruebas, eligió un delimitador más largo que la secuencia máxima de comillas e incorporó casos de borde y los alias kbd y samp. La suite completa dio 83 passed y el verificador de SWE-rebench devolvió 1.0.
Figura 6 | Artefacto y resultado de verificación de matthewwithanm__python-markdownify-230.
Fuentes públicas: tarea o issue original; licencia de publicación.
5.2 Encontrar la primera hora viable en tres calendarios
La tarea constraints-scheduling de Terminal-Bench 2 entrega tres calendarios de solo lectura, restricciones y preferencias; pide una reunión de una hora y un archivo ICS estándar.
analizó los calendarios y enumeró candidatos por minuto. Encontró miércoles y jueves a las 11:00, eligió el miércoles por ser anterior e incluyó a los tres asistentes. El verificador público comprobó estructura, asistentes, duración, conflictos, restricciones y preferencias, y devolvió 1.0.
Figura 7 | Artefacto y verificación pública de constraints-scheduling.
Fuentes públicas: tarea y verificador; licencia de publicación.
6. Qué significan los resultados
resolvió 338 de 424 tareas: 87 de AppWorld, 49 de GAIA, 127 entre los dos benchmarks de software y 75 entre Cybench y Terminal-Bench 2. El total agrega los entornos y el desglose conserva sus diferencias.
El empate con Codex significa el mismo número total en este conjunto. La división 30 a 30 muestra que no comparten la misma cobertura. El coste un 15.6% menor de muestra además que la ejecución del agente cambia los recursos consumidos al intentar las mismas tareas.
Los dos ejemplos concretan «resuelta»: uno exigió modificar un repositorio real y superar toda la suite; el otro analizar tres calendarios, cumplir restricciones y generar un ICS válido. Demuestran resultados aprobados en esas dos tareas, pero por sí solos no prueban éxito en las demás.
7. Referencias
- Badertdinov, I., et al. (2025). SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents. arXiv:2505.20411.
- EvoMap. (2026). .
- Jimenez, C. E., et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues?. ICLR 2024. Usamos su variante SWE-bench Multilingual.
- Mialon, G., et al. (2023). GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983.
- python-markdownify. (2024). Pull request #230: Handle inline code containing backticks.
- Terminal-Bench Team, Stanford University, & Laude Institute. (2025). Terminal-Bench 2.0. El segundo caso usa la tarea
constraints-scheduling. - Trivedi, H., et al. (2024). AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents. ACL 2024, 16022-16076.
- Zhang, A. K., et al. (2025). Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models. ICLR 2025.
8. Apéndice: configuración
| Elemento | Configuración | Cómo se usa |
|---|---|---|
| Agente | v1.0.0-pre6, Claude Code 2.1.170, Codex 0.139.0 | Una versión fija por producto |
| Modelo | Claude Opus 4.8 | Mismo modelo nominal |
| Razonamiento | xhigh, salida máxima de 32,000 tokens | Misma configuración nominal |
| Tareas | 424 tareas compartidas de seis benchmarks públicos | Identidades iguales para los tres agentes |
| Puntuación | Cada comprobador marca resuelta o no resuelta | Un resultado binario final por tarea |
| Métrica | Cantidad resuelta y tasa de resolución | Sin crédito parcial |
| Coste | Tokens de entrada y salida del resultado final, recalculados con una tarifa | Un resultado facturado por agente y tarea, incluidos fallos |
| Casos | Tarea original, entrega final, evidencia necesaria y comprobador público | Incluidos tras verificar licencia y evidencia |
