Relatório de benchmark do : empate com o Codex e custo 15,6% menor por tarefa resolvida

, Claude Code e Codex usaram o mesmo modelo Claude Opus 4.8 em seis benchmarks públicos de agentes. e Codex resolveram 338/424 tarefas cada. O custo por tarefa resolvida foi de $4.82 para o e $5.71 para o Codex; o Claude Code liderou com 358/424.

é um agente de IA autoevolutivo para tarefas cotidianas e profissionais. A versão beta para desktop está disponível na página Beta.

Página de download da versão beta do para desktop.

Antes da abertura da beta, fizemos uma avaliação interna inicial. Os três produtos usaram Claude Opus 4.8 nas mesmas 424 tarefas de seis benchmarks públicos. Este relatório apresenta todos os resultados, a cobertura por tarefa, os custos recalculados com uma tabela de preços comum e dois casos verificados por validadores públicos.

1. Principais resultados

Somando os seis benchmarks, e Codex resolveram 338/424 tarefas, taxa de 79.72%. O Claude Code resolveu 358/424, taxa de 84.43%.

Figura 1 | Resultado geral em 424 tarefas compartilhadas. Os três agentes usaram Claude Opus 4.8, o mesmo fluxo de avaliação e as mesmas regras de pontuação.

Versões: v1.0.0-pre6, Claude Code 2.1.170 e Codex 0.139.0.

• Comparado ao Codex: ambos resolveram a mesma quantidade. O consumiu 15.6% menos recursos do modelo por tarefa resolvida, e cada um concluiu 30 tarefas que o outro não resolveu.
• Comparado ao Claude Code: o resolveu 20 tarefas a menos. A diferença acumulou-se em cinco benchmarks.

2. Escopo e variáveis controladas

A comparação mede o harness do agente: ferramentas, organização do contexto e execução que transformam o mesmo modelo em um produto operacional. Os três usaram Claude Opus 4.8, raciocínio xhigh e saída máxima de 32,000 tokens. Cada produto manteve suas próprias ferramentas e forma de execução.

As 424 tarefas não são o conteúdo completo dos seis benchmarks. Selecionamos as primeiras 100 tarefas ordenadas de cada sub-benchmark, não completamos conjuntos menores com tarefas de outros benchmarks e removemos tarefas defeituosas. Nas tarefas removidas, o não teve resultado inferior aos outros dois produtos simultaneamente. As 424 restantes têm as mesmas identidades e o mesmo denominador para os três agentes.

O custo inclui somente a execução usada na tabela final. Recalculamos seus tokens de entrada e saída com uma tabela de preços comum. Cada agente contribui com um resultado por tarefa, e o consumo das falhas permanece no total.

Cada benchmark define “resolvida” de modo diferente. Primeiro aplicamos seu próprio validador para obter um resultado binário e depois somamos as tarefas resolvidas.

3. Desempenho

3.1 Exatidão: e Codex alcançaram 79.72%

As 424 tarefas abrangem seis ambientes. Cada validador marcou suas tarefas como resolvidas ou não antes da agregação.

Figura 2 | Resultados completos. Todas as linhas compartilham uma escala que começa em 50%, pois todos os resultados superam 64%.

Os mesmos valores podem ser expressos como a diferença entre o e cada produto. Um valor positivo indica mais tarefas para o , um negativo indica menos e zero indica a mesma quantidade.

Contra o Codex, o ganhou 11 tarefas em AppWorld e GAIA e perdeu 11 em Cybench, nos dois benchmarks de engenharia de software e no Terminal-Bench 2, chegando a diferença líquida zero. Contra o Claude Code, empatou em GAIA e acumulou 20 tarefas a menos nos outros cinco.

3.2 Custo: o teve o menor custo por tarefa resolvida

Figura 3 | Taxa de resolução e custo por tarefa resolvida. Cada tarefa conta somente uma execução final; o consumo das falhas permanece no custo total.

A tabela comum cobra $5 por milhão de tokens de entrada e $25 por milhão de tokens de saída. e Codex resolveram 338 tarefas, permitindo comparação direta. Com valores não arredondados, o foi 15.6% mais barato. O Claude Code teve taxa 4.72 pontos percentuais maior e custo de $7.20 por tarefa resolvida.

O custo por tarefa resolvida divide o custo de todas as tarefas cobradas pela quantidade resolvida. Tokens de falhas permanecem no numerador porque uma execução real não devolve recursos já consumidos.

Um custo total menor não garante menor custo por sucesso. Dividindo cada total pela quantidade resolvida:

Figura 4 | Custo por tarefa resolvida. O consumo das falhas permanece no numerador e a quantidade resolvida de cada benchmark é o denominador.

O foi o mais barato em AppWorld, Cybench, GAIA e Terminal-Bench 2. O Codex foi o mais barato em SWE-bench Multilingual e SWE-rebench, por $0.13 e $0.10 respectivamente.

Os custos variam bastante: o gastou $0.45 por sucesso em GAIA e $10.35 em SWE-rebench. Comprimento, ferramentas, quantidade resolvida e o validador influenciam o custo; essa amplitude mede recursos, não dificuldade.

Os tokens vieram do resultado final informado por cada agente. A comparação com medições de cobrança alinháveis mostrou diferença de cobertura de 1.5 pontos entre e Claude Code; incluí-la na análise de sensibilidade não mudou a ordem. Os campos de cache são assimétricos, então não é possível construir uma cobrança de cache comparável e usamos somente a tabela comum.

4. Mesmo total, cobertura diferente

Pelo menos um agente resolveu 387/424 tarefas; os três resolveram 296 e os três falharam 37. O restante se distribui entre combinações de dois produtos ou de apenas um.

As oito linhas somam 424. As combinações de um agente somam 36 tarefas: 9 exclusivas do , 8 do Codex e 19 do Claude Code. As combinações de dois agentes somam 55, mostrando diferenças importantes mesmo com totais próximos.

Na comparação direta, e Codex resolveram juntos 308 e falharam juntos 56. As 60 restantes se dividem em 30 exclusivas do e 30 do Codex.

Figura 5 | Relação por tarefa nas 424 tarefas. Cada produto resolveu 30 que o outro não resolveu.

AppWorld trouxe 10 tarefas exclusivas do e uma do Codex, vantagem líquida de nove. GAIA acrescentou duas. As outras quatro categorias seguiram a direção oposta; Terminal-Bench 2 dividiu-se em 7 contra 12, cinco a favor do Codex. A soma líquida é zero.

SWE-bench Multilingual difere em um ponto total, mas contém 11 divergências por tarefa. Terminal-Bench 2 difere em cinco e contém 19. A mesma configuração nominal produziu conjuntos de sucesso diferentes.

4.1 AppWorld e GAIA: próximos do melhor resultado

AppWorld verifica o estado final dos aplicativos. O resolveu 87/90, o Claude Code 88 e o Codex 78. O ficou uma tarefa atrás do melhor resultado e nove à frente do Codex.

GAIA verifica a resposta final. e Claude Code resolveram 49/51 e o Codex 47/51.

4.2 Dois benchmarks de software: nenhuma diferença acima de três

No SWE-bench Multilingual, Claude Code, Codex e resolveram 68, 66 e 65 tarefas. A maior diferença foi três, e o ficou uma abaixo do Codex.

No SWE-rebench, resolveram 63, 65 e 62. O Codex liderou; o ficou três abaixo do Codex e uma abaixo do Claude Code.

Os dois conjuntos somam 171 tarefas e o resolveu 127. Fontes, linguagens, estrutura e validação mudam os resultados; uma única tabela de código não descreve o perfil completo.

4.3 Terminal-Bench 2: maior origem individual da diferença total

O resolveu 48/75, o Codex 53/75 e o Claude Code 58/75. O ficou cinco abaixo do Codex e dez abaixo do Claude Code. Essas dez tarefas são a maior contribuição individual para a diferença total de vinte; explicar as falhas exige análise por tarefa.

5. Duas tarefas verificadas publicamente

5.1 Manter válido o código inline com acentos graves

A tarefa SWE-rebench matthewwithanm__python-markdownify-230 pede a correção dos limites do código inline ao converter HTML em Markdown: quando a entrada contém acentos graves, a lógica antiga pode gerar Markdown inválido.

O leu o conversor e os testes, escolheu um delimitador maior que a sequência máxima de acentos e adicionou casos de borda e os aliases kbd e samp. A suíte completa informou 83 passed e o verificador do SWE-rebench retornou 1.0.

Figura 6 | Artefato e resultado de verificação de matthewwithanm__python-markdownify-230.

Fontes públicas: tarefa ou issue original; licença de publicação.

5.2 Encontrar o primeiro horário viável em três calendários

A tarefa constraints-scheduling do Terminal-Bench 2 fornece três calendários somente para leitura, restrições e preferências; pede uma reunião de uma hora e um arquivo ICS padrão.

O analisou os calendários e enumerou candidatos por minuto. Encontrou quarta e quinta às 11:00, escolheu a quarta por ser anterior e incluiu os três participantes. O verificador público checou estrutura, participantes, duração, conflitos, restrições e preferências e retornou 1.0.

Figura 7 | Artefato e verificação pública de constraints-scheduling.

Fontes públicas: tarefa e verificador; licença de publicação.

6. O que os resultados significam

O resolveu 338 das 424 tarefas: 87 de AppWorld, 49 de GAIA, 127 nos dois benchmarks de software e 75 entre Cybench e Terminal-Bench 2. O total agrega os ambientes, enquanto o detalhamento preserva suas diferenças.

O empate com o Codex significa a mesma quantidade total neste conjunto. A divisão 30 a 30 mostra que a cobertura não é igual. O custo 15.6% menor do também mostra que a execução do agente altera os recursos consumidos ao tentar as mesmas tarefas.

Os dois exemplos tornam “resolvida” concreto: um exigiu modificar um repositório real e passar em toda a suíte; o outro, analisar três calendários, cumprir restrições e gerar um ICS válido. Eles comprovam resultados aprovados nessas duas tarefas, mas sozinhos não provam sucesso nas demais.

7. Referências

• Badertdinov, I., et al. (2025). SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents. arXiv:2505.20411.
• EvoMap. (2026). .
• Jimenez, C. E., et al. (2024). SWE-bench: Can Language Models Resolve Real-World GitHub Issues?. ICLR 2024. Usamos a variante SWE-bench Multilingual.
• Mialon, G., et al. (2023). GAIA: A Benchmark for General AI Assistants. arXiv:2311.12983.
• python-markdownify. (2024). Pull request #230: Handle inline code containing backticks.
• Terminal-Bench Team, Stanford University, & Laude Institute. (2025). Terminal-Bench 2.0. O segundo caso usa a tarefa constraints-scheduling.
• Trivedi, H., et al. (2024). AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents. ACL 2024, 16022-16076.
• Zhang, A. K., et al. (2025). Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models. ICLR 2025.

8. Apêndice: configuração