一个代码仓库任务的快速判断
此 SWE-2 审查并不是声称我通过生产代码仓库独立运行了该模型。我没有具有与工程团队使用的相同代码仓库、权限和部署条件的 Devin 工作区。相反，在将编码模型视为为真正的代码仓库工作做好准备之前，我会列出我希望看到的单任务审查。
我是莉娜。我的快速结论很简单：SWE-2 看起来值得在 Devin 中进行评估，但编码基准只是决定的开始。有用的问题不在于模型是否可以产生合理的补丁。关键在于它是否可以进入一个不熟悉的代码库，找到重要的限制，更改最小的正确内容，证明更改，在第一个路径中断时恢复，并留下一些可供人类查看的内容，而无需重建整个会话。
这种区别很重要，因为 Cognition 报告的供应商运行结果在 FrontierCode 1.1 Main 上为 50.0%，在 DeepSWE 1.1 上为 73.0%，在 Terminal-Bench 2.1 上为 92.8%。它们是有关 2026 年 9 月 10 日版本的信号，而不是独立复制团队软件的成功率。同一个 SWE-2 发布公告 表示桌面和 CLI 可用，同时推出了 Web 和 Fusion。我会测试团队计划使用的确切表面。
我如何在 Devin 中测试 SWE-2
对于真正的代码仓库智能体测试，我将使用一项现有的、重要的更改，而不是综合提示或广泛的功能请求。它应该足够小，可以一次复习，但又足够真实，需要找到依赖关系并尊重既定的模式。一个好的候选者是具有可重现的失败测试、范围狭窄的验证更改或记录的行为差距的错误，其中可以在不解释的情况下检查验收标准。
在开始之前，我会记录 Devin 表面、选定的模型、显示的工作设置、日期、提交 SHA、分支规则、锁定文件、工具、网络状态以及初始通过或失败的命令。我还会设定时间和尝试预算，并在开始任务后保存每个人工提示。这可以防止一个干净的演示悄然成为一个不同的实验。
代码仓库、任务、环境和验收标准
简报应命名行为、受影响的区域和终点线：重现指定的错误，进行最小的兼容更改，添加或调整回归测试，运行规定的检查，并返回可审查的差异。除非普通受让人知道，否则它不应该命名文件。我会提前声明所需的注册表、凭据等机密信息或浏览器登录，而不是因为模型失败而错误地缺少访问权限。
基线必须是诚实的。如果代码仓库在任务之前没有构建，我将保存日志并将该失败与智能体创建的失败区分开来。如果规定的接受命令保持红色，则绿色子集不计算在内。当地的说明和测试可能会指导模型，但它们属于记录。
SWE-2 在编辑之前可以理解代码库吗？
我会检查路径，而不仅仅是最终代码。强大的会话可在编辑之前识别执行路径、相关测试、配置边界和附近约定。这并不会奖励无休止的搜索。 Cognition 表示，在 FrontierCode 运行中，SWE-2 媒体编辑早于 SWE-1.7；仅当跳过的读取无关紧要时，速度才重要。
查找约束、依赖关系和现有模式
我想问它认为必须保留什么：公共 API 行为、错误处理、授权、数据形状、向后兼容性或类似的约定。然后我会将该答案与代码仓库进行比较。它是否找到了真正的调用者，使用了已建立的测试助手，并注意到功能标志、生成的产物、迁移或包边界？
真正的代码仓库智能体测试的这一部分应该产生证据，而不是听起来有信心的分数。有用的产物是它检查的文件、它命名的约束以及范围与它们匹配的差异。一次令人惊讶的短暂探索可能会很棒；很长的补丁仍然可能会错过使补丁不安全的依赖性。即使测试通过，我也会将请求区域之外的无法解释的编辑视为审查结果。
SWE-2 能否提供经过验证的变更？
实施是 SWE-2 编码模型必须负责的地方。我会寻找一个最小的补丁，一个没有它就会失败的回归测试，以及来自实际代码仓库环境的输出。对于界面或工作流程，我会添加一项轻量级手动检查，而不是假设单元覆盖范围讲述了整个故事。
实施、测试和最终移交
交接应该说明哪些内容发生了变化、原因、哪些内容发生了变化以及哪些内容仍然不确定。干净的拉取请求描述并不能证明。我会从新的结帐或 CI 作业重新运行接受命令，检查不相关的流失，并确认分支保护仍然适用。
我希望所有贡献者都遵循相同的标准：没有发明通过测试，没有声称已执行的不可用服务，并且没有隐藏在自信摘要中的跳过命令。 NIST 生成式 AI 配置文件 类似地围绕背景和风险构建评估，而不是通用能力标签。这不是 Devin 或 SWE-2 的采购决定。
人类干预仍然重要的地方
人为干预是一种测量。这个真实的代码仓库智能体测试将编码智能体为干预视为命名事件：一个人澄清了需求，授予了预期许可，修复了环境，解释了约定，在有效的产品行为之间进行了选择，或者纠正了诊断。将它们合并为一个计数会使智能体看起来比以前更糟糕或更自主。
澄清、失败的测试和恢复
最能说明问题的时刻可能是编辑后第一次失败的测试。我会保留诊断、证据、恢复情况以及人类是否提供了新事实。当编码智能体缩小假设范围、检查故障、修改补丁并重新运行检查时，它的故障恢复能力很强；当它反复更改代码或扩大差异时，它就很弱。
我不会仅仅为了让会议变得戏剧化而制造失败。但是，当真正的依赖项、测试或环境问题阻止任务时，它就属于结果。对于编码智能体来说，恢复质量是交付质量的一部分。它告诉我一个人是在审查工作还是默默地成为智能体的调试者。
已发布的基准未证明什么
已发布的基准可以表明模型在指定的工具下完成了定义的任务。他们没有确定它理解您的架构，拥有您的权限，启动您的工具链，尊重您的发布流程，或者将从您的票证中的特定模糊性中恢复。它们也不能使 SWE-2 和 SWE-bench 互换：SWE-2 是 Cognition 的型号名称，而 SWE-bench 是基准系列。
供应商的数据特别容易被过度解读，因为它们很精确。他们应该始终携带其来源、基准版本和日期。单个分数不能成为对实际代码仓库成功的预测，也不能告诉工程主管一项任务需要多少干预。我会用这些数字来选择要测试的内容，而不是放弃测试。
本次 SWE-2 审查的局限性
这是一个记录在案的评估计划，而不是完整的独立运行。它无法报告特定代码仓库的解决率、成本、挂钟时间或 SWE-2 故障模式。结果将因所选 Devin 产品表面、工作量级别、工作区快照、代码仓库说明、依赖项可用性、网络访问、权限和任务简介的质量而异。
它也不提出法律、安全、合规或购买声明。在连接私有代码仓库之前，我会让帐户所有者验证当前的产品文档和协议。特别是，团队应检查授予的实际权限、当前数据控制、保留语言、计划权利以及预期的 SWE-2 选项在其 Devin 环境中是否可见。本次审查的任何部分均不暗示 EvoX 或 Evomap 使用或集成 SWE-2。
常见问题解答
SWE-2 目前在 Devin 产品中的哪些位置可用？
Cognition 在 2026 年 9 月 10 日发布的声明中表示，SWE-2 可在 Devin Desktop 和 CLI 中使用，并将推广到 Devin Web 和 Fusion。这是发布时间声明，而不是永久权利承诺，因此我会在依赖特定表面之前检查当前的模型选择器、发布说明和计划。
Devin 团队可以限制 SWE-2 可以访问哪些代码仓库吗？
对于 GitHub 集成，Cognition 的当前指南表示，管理员可以授予 Devin 对所有代码仓库或选择代码仓库的访问权限，并且可以稍后更改该范围。企业部署还记录代码仓库权限。 Devin GitHub 集成指南 列出了涉及的更广泛的读写权限，因此“选定的代码仓库”仍应被视为有意义的访问授权，而不是被视为无害的切换。
Cognition 如何处理提交给 SWE-2 的代码仓库数据？
Cognition 的公共安全文档应与客户的协议一起视为此问题的当前来源。目前的公开措辞称，Cognition 会处理授权用户主动提供的数据，并表示默认情况下会关闭对客户数据的模型训练，除非通过数据控制启用；它单独指出企业客户数据不用于训练模型。它还以不同的方式描述保留和反馈或用户交互数据。因为这些是数据处理条款，所以我会验证实时文档和合同，而不是将此答案转化为法律或合规结论。
用户可以为每个任务选择 SWE-2 推理工作吗？
Cognition 的公告将 SWE-2 中、高和最大描述为行为上不同的努力级别，但该公告本身并不保证每个 Devin 表面都允许每个用户为每项任务选择每种努力。我会在测试中记录实际的可选设置，并在接口或计划未公开它时将其标记为不可用。训练多个努力水平本身并不是通用的每任务控制的证据。
Cognition 提供 SWE-2 权重还是独立 API？
该发布公告通过 Devin 产品描述了 SWE-2，而不是可下载的权重或独立的 SWE-2 推理 API。 Devin 拥有平台和工作流程接口，但这与已发布的模型权重版本或通用模型 API 不同。根据本文审查的公开材料，两者都不应该假设；需要其中任何一个的团队应该直接询问 Cognition。
往期文章：
- 对于模型能力与实际任务完成情况的另一个固定代码仓库比较，Muse Spark 1.3 智能体推理 检查长期编码工作的完成质量、人工干预、恢复、延迟和推理工作。
- 如果您想了解如何通过一个有界代码仓库任务来评估编码智能体，T3 代码审查 会遵循设置、会话控制、差异检查和切换，而不会混淆接口与底层智能体。
- 从更广泛的实际软件开发角度来看，GPT-5.6 Sol 软件开发案例研究 不仅关注代码生成，还关注测试、实施证据、部署边界和人工审查。
- 为了理解为什么SWE-2基准测试结果仍然依赖于周围的执行层，DeepSeekharness插件架构将模型功能与工具、会话、权限、插件和运行时控制分开。
- 为了保留失败测试、重试、更正和最终代码仓库状态背后的证据，LLM 智能体的确定性重播 解释了智能体运行如何在任务结束后保持可重现和可审核。
