Claude Opus 4.7 解決唔到 agent 可靠性

Claude Opus 4.7 解決唔到 agent 可靠性

2026年4月24日
65 次閱讀
Claude Opus 4.7 agent reliability production agents harness engineering LLM

Claude Opus 4.7 救唔到 agent 嘅可靠性

喂,我係 Lena,嚟啦。

今次唔係因為消息差。其實都幾好。Claude Opus 4.7 喺 2026 年 4 月 16 號發佈,讀完 Anthropic 嘅官方公告 之後,我發覺自己其實點咗幾次頭。佢哋內部 93 個任務嘅 coding benchmark 上升咗 13%。喺 high 同 max 之間加咗新嘅一檔叫 xhigh 嘅 effort level。更好嘅視覺支援——最高 3.75 megapixel,大約係 Opus 4.6 嘅三倍。仲有一個靜靜咁抓住我注意力嘅 point:而家模型會"諗辦法喺回報之前,驗證自己嘅輸出"。

我喺呢度停低咗。

最後嗰 point 好有趣,真係幾有趣。但佢都令我意識到我手上仲揸住呢幾個月都喺問嘅同一條問題:如果模型喺規劃上更強、喺自檢輸出上都更強,咁點解我哋實際跑緊嗰啲 agent,仍然用同半年前一模一樣嘅方式失敗?

Claude Opus 4.7 官方改進咗啲咩

進階嘅軟件工程、自主性同視覺提升

呢啲升級係真嘅。我回頭仔細讀咗一次發佈材料,佢哋嘅描述好精準——Anthropic 將呢個模型定位成可以"用嚴謹性同一致性處理複雜、長時間任務"嘅模型。嚟自 Hex 嘅早期測試者反饋,Opus 4.7"喺 data 缺失嗰陣會如實報告,而唔係俾睇落合理、實際錯誤嘅替代方案"。Box 亦都提到"明顯嘅效率提升"。

喺 agentic 代碼 benchmark 上,SWE-bench Verified 跳到 87.6%,上一個版本係 80.8%。CursorBench 由 58% 升到 70%。呢啲唔係裝飾性嘅數字。

2026 年 4 月 16 號 Anthropic 官方確認咗咩

官方 Opus 4.7 system card 仲引入咗 task budget——一個新嘅 beta 特性,俾模型喺成個 agentic 循環上有個 token 目標。模型可以睇到一個跑緊嘅倒數,並且用嚟排優先級、優雅收場。呢個係一個有經過諗過嘅設計選擇。

定價保持不變:每百萬 input token $5,每百萬 output token $25。Model ID 係 claude-opus-4-7,喺 Claude 產品、Amazon Bedrock、Google Cloud Vertex AI 同 Microsoft Foundry 上都用得到。

上面呢啲我都唔質疑。呢啲係真實嘅改進。但我一直繞返去一條 benchmark 冇辦法完整抓到嘅界線。

點解 Claude Opus 4.7 預設情況下仍然令 agent 唔可靠

Session 重置同經驗保留嘅缺失

呢部分係比較難繞過嘅。

當一個 session 結束——無論係 crash、context 爆咗,定係就係過咗一日——agent 由零開始。呢個唔係 Opus 4.7 獨有嘅 bug。呢個係結構性嘅。LLM 本質上就係無狀態嘅。 每次 API call,某程度上都係第一次 call。喺星期二成功 debug 咗一個棘手嘅認證流程嘅模型,到星期三對呢件事冇任何記憶。你要重新解釋上下文、重新建立約束,再一次信任佢處理同類任務。

2026 年 2 月發表嘅關於 AI agent memory 架構 嘅研究發現,連續兩個季度裡面,65% 嘅企業領導將 agent 系統嘅複雜度列為最主要嘅障礙。2026 年 3 月一項對 650 個企業技術領導嘅調查顯示,78% 有 agent pilot 跑緊,但得 14% 成功規模化到生產。呢條 gap 唔淨係模型能力嘅問題。

可能係我諗多咗,但 Opus 4.7 公告入面提到嘅"基於文件系統嘅 memory"——模型"喺長期、跨 session 嘅工作中記住重要筆記"——感覺就係對呢個問題嘅正面承認。係行咗一步。但佢能夠將呢條 gap 合埋幾多,我仲未測試得夠深入講得出。

更好嘅規劃唔等於可複用嘅修復

呢條分界係我一直嘗試講清楚嘅。

當 Opus 4.7 "諗辦法去驗證自己嘅輸出"嗰陣,嗰個係 session 內嘅智能。係模型喺一次運行裡面更小心。呢件嘢有價值。但當呢次運行結束之後,嗰段驗證推理唔會以可複用 artifact 嘅形式保留。下次跑類似任務——input 稍為唔同、context 稍為唔同——模型又會由零開始推理。

2026 年一篇研究論文 "Towards a Science of AI Agent Reliability" 小心咁描述咗呢條可靠性 gap:大部分 AI 模型係喺平均準確度上做 benchmark,而呢個係"一個容許極端不穩定表現嘅指標"。呢篇論文追蹤咗四個維度——一致性、魯棒性、校準、安全——並發現 benchmark 表現同真實生產結果之間有差距。其中一個被引用嘅例子:Replit 嘅 AI 編碼助手 2025 年 7 月刪除咗一個生產數據庫,即使被明確指示唔好咁樣做。模型係有能力嘅。系統唔可靠。

呢啲係唔同嘅問題。

開發者仲要面對嘅升級陷阱

模型升級之後嘅 re-test、re-tune 同 workflow 漂移

我見過呢件事發生——而且我覺得好多跑 agent 嘅團隊都見過。

一個模型升級嚟到。喺真正重要嘅維度上,佢確實更好。你遷移。然後——靜靜地——你用咗幾個禮拜調好嘅 workflow 開始行為有啲唔一樣。Opus 4.7 更嚴格咁按字面執行指令。 佢唔再靜靜咁從一件嘢泛化到另一件。發佈說明明確標出咗呢點:"呢點喺更低嘅 effort level 上尤其明顯。"

喺正確性角度,呢個係好改動。但呢個都意味住喺 Opus 4.6 上行得通嘅 prompt,喺 4.7 上唔一定會以同樣方式行為。每次升級都係一次重新校準嘅事件。你 re-test。你 re-tune。而你之前投入令上一個版本可靠嘅工作,唔會完整咁延續落嚟。

Anthropic 隨發佈出咗一份 遷移指南,我覺得係啱嘅嘢。但遷移指南嘅存在本身,都係個信號:一定有嘢會壞。

點解成功嘅修復唔會自動累積

呢部分更加難講。

當一個團隊修好咗一個反覆出現嘅 agent 失敗——一個幻覺模式、tool use 上嘅某個邊界情況、某類模型一貫做錯嘅任務——嗰個修復通常存喺某啲地方:一個 prompt 文件裡、某個人腦度、三個月前一條 Slack thread 度。修復發生過。知識喺某啲地方。但下次類似失敗再出現嗰陣,同一套診斷工作往往又係從頭嚟一次。

……當你第一次留意到呢件嘢嘅時候,你會覺得有啲意外。你會以為呢啲修復應該會累積。但佢哋大部分都唔會,至少唔係自動地。

根據 《Fortune》對 AI agent 可靠性研究嘅報道,一個專門研究呢個問題嘅研究團隊明確區分咗能力提升同可靠性提升——指出兩者唔會同步移動。一個更有能力嘅模型,仍然可以用穩定、可預測嘅方式失敗,並喺長時段任務裡面被複合放大。

模型質素同 agent 可靠性之間缺咗嗰一層

經過驗證嘅修復歷史

我一直回到呢個 point:更好嘅推理唔會自動產生更好嘅審計軌跡。

Opus 4.7 "喺規劃階段就能抓到自己嘅邏輯缺陷"——一位早期測試者係咁形容嘅。呢個係模型層級嘅智能。但喺一次 session 度抓到一個缺陷,同呢個缺陷被文檔化、打 tag、下次類似情境出現時仲可用,係唔同嘅事。缺口唔係喺模型嘅推理能力上。而係喺呢段推理嘅結果——嗰個修復、嗰個決策、嗰個被驗證咗嘅輸出——能唔能夠變成系統以後可以繼承嘅嘢。

我仲未知正確嘅架構應該點樣。Mem0 嘅 State of AI Agent Memory 2026 報告 記錄咗圖式 memory 喺呢個範疇由實驗性進入生產,亦都講到向量 memory(檢索相似事實)同圖 memory(檢索通過關係連接嘅事實)嘅分別對長時段可靠性係有意義嘅。呢啲感覺更接近我想指嘅嗰條線。但我仲未完全肯定。

能力繼承同可複用嘅執行路徑

有個概念一直喺我思考裡面浮現:一個表現好嘅模型,同一個隨時間累積表現嘅系統,兩者唔係同一件嘢。

一個能一次寫啱代碼嘅模型,係一種能力。一個系統裡面,一次對難題嘅成功路徑被存起嚟、被驗證、喺下次運行俾取用——嗰個係基礎設施。

Opus 4.7 明顯屬於前者。截至 2026 年 4 月,佢係目前可用嘅模型裡面,面向 coding 同 agentic 工作最強嘅模型之一。呢一點我信。

我冇咁肯定嘅係,團隊點樣合埋第二條 gap——由一個強模型到一個可靠系統嗰段距離。呢個領域我觀察咗一排,一直留意到關於模型能力嘅討論同關於執行可靠性嘅討論,發生喺唔同嘅房間裡面。

限制同取捨

呢段我要小心啲,因為我喺自己真正識嘅邊界上做判斷。

Opus 4.7 我自己仲未跑過長期生產 benchmark。關於自檢行為同基於文件系統嘅 memory 呢啲特性,我讀過嘅內容睇落有前景,但我真係仲唔知佢哋喺實踐中能合埋幾多可靠性 gap。Anthropic 嘅 memory 改進可能比我而家願意俾嘅 credit 要大。我會繼續睇。

我更有把握嘅係呢條結構性觀點:模型升級同 agent 可靠性唔係同一個問題。一個係關於模型喺一次 session 裡面可以做咩。另一個係關於模型做過嘅嘢能唔能夠累積成某種持久嘅形態。

Opus 4.7 係一次有份量嘅升級。呢點我覺得冇乜嘢好爭。

我仲喺度諗嗰條問題,係坐喺佢上面嗰一層。

FAQ

Q:Claude Opus 4.7 嘅"自我驗證輸出"特性能唔能夠解決可靠性 gap?

A:佢對 session 內嘅正確性有幫助——模型喺回報之前更小心。但 session 內嘅驗證,同系統跨 session 從嗰次驗證中學到嘢,係兩件唔同嘅事。修復發生過;佢能唔能夠持久化,係另一個問題。

Q:可靠性問題係 Claude 獨有,定係全行業嘅?

A:全行業。前面引用嘅研究覆蓋咗 GPT 系列模型、Gemini 等。2026 年 3 月嘅調查發現,只有 14% 嘅企業成功將 agent 規模化到生產——跨所有模型 provider。

Q:Opus 4.7 基於文件系統嘅 memory 有冇幫助?

A:呢個係我最唔肯定嘅位。Anthropic 嘅發佈說明描述呢個模型能夠"喺長期、跨 session 嘅工作中記住重要筆記"。方向係啱嘅。但喺複雜 agentic workflow 裡面佢能合多少 gap——我目前仲唔知。

Q:究竟咩先至可以真正閂埋可靠性 gap?

A:根據我讀到嘅:跨運行持久化嘅"經過驗證嘅修復歷史"、將成功執行路徑結構化編碼嘅方式、同埋將"模型今次 session 諗通咗咩"同"系統隨時間學會咗咩"分開嘅基礎設施。呢啲點樣造出嚟——我仲喺度嘗試理解。

Previous Posts

相關文章