Claude Opus 4.7 解决不了 agent 可靠性

Claude Opus 4.7 解决不了 agent 可靠性

2026年4月24日
65 次阅读
Claude Opus 4.7 agent reliability production agents harness engineering LLM

Claude Opus 4.7 修不好 agent 的可靠性

嘿,我是 Lena,来了。

这次不是因为新闻不好。其实挺好的。Claude Opus 4.7 于 2026 年 4 月 16 日发布,读完 Anthropic 的官方公告,我发现自己其实点头了不少次。他们内部 93 个任务的代码 benchmark 上升了 13%。在 high 和 max 之间新加了一档叫 xhigh 的 effort level。更好的视觉支持——最高 3.75 兆像素,大约是 Opus 4.6 的三倍。还有一个悄悄抓住我注意力的点:模型现在会"设计办法在回报之前,验证自己的输出"。

我在这里停了下来。

最后那点挺有意思,真的挺有意思。但它也让我意识到我手上仍握着这几个月都在问的同一个问题:如果模型在规划上更强了、在自检输出上也更强了,那为什么我们实际在跑的那些 agent,还在用跟半年前一模一样的方式失败?

Claude Opus 4.7 官方层面改进了什么

进阶的软件工程、自主性和视觉提升

这些升级是真的。我回头仔细又读了一遍发布材料,他们的措辞很准——Anthropic 把这个模型定位成可以"以严谨性和一致性处理复杂、长时间任务"的模型。来自 Hex 等早期测试者反馈,Opus 4.7"在数据缺失时会如实报告,而不是提供看似合理、实际错误的替代方案"。Box 提到"显著的效率提升"。

在 agentic 代码 benchmark 上,SWE-bench Verified 跃升到 87.6%,上一个版本是 80.8%。CursorBench 从 58% 提到了 70%。这些不是装饰用的数字。

2026 年 4 月 16 日 Anthropic 公开确认了什么

官方 Opus 4.7 system card 还引入了 task budget——一个新 beta 特性,给模型在整个 agentic 循环上设定 token 目标。模型可以看到一个运行中的倒计时,并以此来排优先级、优雅收尾。这是一个经过思考的设计选择。

定价保持不变:每百万 input token $5,每百万 output token $25。模型 ID 是 claude-opus-4-7,可以在 Claude 系列产品、Amazon Bedrock、Google Cloud Vertex AI 和 Microsoft Foundry 上使用。

上面这些我都不质疑。这些是真实的改进。但我一直绕回到一个 benchmark 没办法完整捕捉的分野。

为什么 Claude Opus 4.7 默认仍然无法让 agent 变得可靠

Session 重置与经验保留的缺失

这部分是我比较难绕过去的。

当一个 session 结束——不管是崩了、上下文溢出,还是只是换了一天——agent 从零起步。这不是 Opus 4.7 特有的 bug。这是结构性的。LLM 天然就是无状态的。 每次 API 调用,在某种意义上都是第一次调用。周二里成功 debug 了一个棘手认证流程的模型,到了周三对此毫无记忆。你必须重新解释上下文、重新建立约束,然后再一次信任它处理同类任务。

2026 年 2 月发表的关于 AI agent memory 架构 的研究发现,连续两个季度里有 65% 的企业领导者把 agent 系统的复杂度列为首要障碍。2026 年 3 月一项面向 650 位企业技术领导者的调研显示,78% 有 agent pilot 在跑,但只有 14% 成功规模化到生产。这个 gap 不只是模型能力的问题。

可能是我想多了,但 Opus 4.7 公告里提到的"基于文件系统的 memory"——模型"在长期、跨 session 的工作中记住重要笔记"——感觉像是对这个问题的正面承认。是一步。我不确定它能把 gap 合多少,也还没能深入测试到足以说出来。

更好的规划不等于可复用的修复

这是我一直尝试讲清楚的那条分野。

当 Opus 4.7 "设计办法来验证自己的输出"时,那是 session 内的智能。是模型在一次运行里更小心。这有价值。但当这次运行结束,那段验证推理不会作为可复用的 artifact 保留下来。下一次跑类似任务——输入稍微不同、上下文稍微不同——模型又会从零开始推理。

2026 年一篇研究论文 "Towards a Science of AI Agent Reliability" 小心地描述了这条可靠性 gap:大多数 AI 模型是在平均准确率上做 benchmark 的,这是"一个允许极端不稳定表现的指标"。这篇论文追踪了四个维度——一致性、鲁棒性、校准、安全——并发现 benchmark 表现和真实生产结果之间存在差距。一个被引用的例子:Replit 的 AI 编码助手 2025 年 7 月删除了一个生产数据库,尽管被明确指示不要这么做。模型是有能力的。系统不可靠。

这是不同的问题。

开发者仍然要面对的升级陷阱

模型升级后的再测试、再调优和工作流漂移

我看过这个场景发生——而且我觉得许多跑 agent 的团队都看过。

一个模型升级来了。在那些真正重要的维度上,它确实更好。你迁移。然后——悄悄地——你花了好几周调好的工作流开始稍微行为不一样了。Opus 4.7 更严格地按字面执行指令。 它不会再悄悄地从一个项目泛化到另一个项目。发布说明明确标注了这点:"这一点在更低的 effort level 上尤其明显。"

从正确性角度这是一个好改动。但这也意味着在 Opus 4.6 上工作的 prompt,在 4.7 上未必以同样方式行为。每次升级也都是一次重新校准事件。你重新测、重新调。而那些让上一个版本变得可靠所投入的工作,并不会完整地带进下一代。

Anthropic 随发布一起发了一份 迁移指南,我觉得这是正确的事情。但是迁移指南的存在本身,也是个信号:一定会有东西坏。

为什么成功的修复不会自动累积

这是我觉得更难说清的地方。

当一个团队修好了一个反复出现的 agent 失败——一个幻觉模式、tool use 上的某个边界情况、某类模型一贯做错的任务——那个修复通常存在某处:一个 prompt 文件里、某个人脑子里、三个月前的一条 Slack 里。修复发生过。知识在某个地方。但下次类似的失败再出现时,同样那套诊断工作往往还是从头来一遍。

……当你第一次注意到这件事时,你会有点意外。你会以为这些修复应该会积累起来。但它们大部分并不会,至少不是自动地积累。

根据 《Fortune》对 AI agent 可靠性研究的报道,一个专门研究这个问题的研究团队明确区分了能力提升和可靠性提升——指出这两者并不同步移动。一个更有能力的模型,仍然可能以稳定、可预测的方式失败,并在长时段任务里被复合放大。

模型质量与 agent 可靠性之间缺失的那一层

经过验证的修复历史

我一直回到这个点:更好的推理不会自动产出更好的审计痕迹。

Opus 4.7 "在规划阶段就能抓到自己的逻辑缺陷"——一位早期测试者是这么描述的。这是模型层级的智能。但在一次 session 里抓到一个缺陷,和这个缺陷被文档化、被打标签、在下次类似情境出现时仍然可用,是不同的事。缺口不在模型的推理能力上。而在于这段推理的结果——那个修复、那个决策、那个被验证过的输出——能不能变成系统日后可以继承的东西。

我还不清楚正确的架构应该长什么样。Mem0 的 State of AI Agent Memory 2026 报告 记录了图式 memory 在这个领域从实验性进入生产,以及向量 memory(检索相似事实)和图 memory(检索通过关系连接的事实)的区别对长时段可靠性是有意义的。这感觉更接近我想指的那条线。但我仍然不完全确定。

能力继承与可复用的执行路径

有一个概念一直在我思考里浮现:一个表现好的模型,和一个随时间积累表现的系统,两者是不一样的。

一个能一次写对代码的模型,是一种能力。一个系统里,一次对难题的成功路径被存起来、被验证、在下次运行时被取用——那是基础设施。

Opus 4.7 显然属于前者。截至 2026 年 4 月,它是当前可用模型里面向编码和 agentic 工作最强的模型之一。这一点我相信。

我不那么确定的是,团队要怎么闭合第二条 gap——从一个强模型到一个可靠系统的那段距离。这个领域我观察了一阵子了,一直注意到模型能力的讨论和执行可靠性的讨论,发生在不同的房间里。

限制与取舍

这一段我要小心一点,因为我在自己真正了解的边界上做判断。

Opus 4.7 我自己还没跑过长期生产 benchmark。关于自检行为和文件系统 memory 特性的阅读,感觉有前景,但我真的还不知道这些在实践里能把可靠性 gap 合上多少。可能 Anthropic 的 memory 改进比我当下愿意给的信用要大。我会继续观察。

我更有把握的是这条结构性观点:模型升级和 agent 可靠性不是同一个问题。一个是关于模型在一次 session 里能做什么。另一个是关于模型做过的东西能不能累积成某种持久的形态。

Opus 4.7 是一次有分量的升级。这点我觉得没什么可争的。

我仍在琢磨的问题,是坐在它上面的那一层。

FAQ

Q:Claude Opus 4.7 的"自我验证输出"特性能不能解决可靠性 gap?

A:它在 session 内的正确性上有帮助——模型在回报前更小心。但 session 内的验证,和系统跨 session 从那次验证中学习,是两件事。修复发生过;它能不能持久化,是另一个问题。

Q:可靠性问题是 Claude 特有的,还是整个行业的?

A:整个行业。前面引用的研究覆盖了 GPT 系列模型、Gemini 等。2026 年 3 月的调研显示,只有 14% 的企业成功把 agent 规模化到生产——跨所有模型提供商。

Q:Opus 4.7 基于文件系统的 memory 有没有帮助?

A:这是我最不确定的一块。Anthropic 发布说明描述这个模型可以"在长时间、跨 session 的工作中记住重要笔记"。方向是对的。但在复杂 agentic workflow 里它能把 gap 合多少——我目前还不知道。

Q:什么才能真正闭合可靠性 gap?

A:根据我读到的:跨运行持久化的"经过验证的修复历史"、把成功执行路径结构化编码的方式、以及把"模型这次 session 搞明白了什么"和"系统随时间学会了什么"分开的基础设施。这些该怎么造——我仍在尝试理解。

Previous Posts

相关文章