Harness Engineering:Mem0 對 LangGraph 對 CrewAI 到底差喺邊

Harness Engineering:Mem0 對 LangGraph 對 CrewAI 到底差喺邊

2026年4月24日
262 次閱讀
harness engineering agent reliability Mem0 LangGraph CrewAI AI agents

Harness Engineering:Mem0、LangGraph 同 CrewAI 嘅真正分別

嗨,我係 Lena。有個問題,我一直拖住冇處理。

唔係"邊個 framework 最好"——呢種問題一星期可以被問上百幾次。我真正講唔清楚嗰條問題,其實係:點解啲 demo 睇落完美嘅 agent 系統,一落到真實 workflow 就崩? 我每次見到嘅模式都係差唔多。模型表現好,agent 仍然崩。而崩嗰度,幾乎從來都唔係"智能"嗰層,而係圍住佢嗰層 scaffolding。

我終於搵到個詞去形容呢層 scaffolding:harness(馬具)。

咩係 AI agent 嘅 Harness Engineering

harness 就係包喺 agent 邏輯外面嗰一切——唔係模型本身,而係模型執行嗰個環境。狀態管理、memory routing、任務編排、錯誤恢復、步驟之間嘅上下文傳遞。

邊界到底畫喺邊度,呢個我都仲未諗清楚。但我暫時用嘅定義係:如果模型係大腦,harness 就係神經系統。harness 決定大腦幾時點火、收到咩,以及輸出之後點樣處理。

包住 agent 邏輯嘅執行環境

LangGraph 官方文檔 講得好精準——佢將自己定位為"用嚟建構、管理同部署長時間運行、有狀態 agent 嘅低階編排 framework 同 runtime"。呢句嘢值得多讀幾次。Runtime。唔係"AI tool"。唔係"LLM wrapper"。Runtime,就係 harness。

harness 控制嘅嘢:

  • 狀態持久化:agent 記唔記得頭先發生咗咩?
  • 執行流:順序、條件分支、定係並行?
  • 錯誤處理:某一步失敗嘅時候,跟住跑咩?
  • memory routing:每一輪開始嘅時候,agent 會收到咩?

點解 "harness" 比 "model" 更重要

有啲嘢我之前冇諗到:我見過嘅大部分 agent 失敗,其實發生喺模型未開始跑之前。context window 去到嗰陣 format 錯咗。上一步嘅狀態冇正確持久化。Routing 邏輯將 task 派去咗錯嘅 node。

模型質素嘅重要性冇大家諗嘅咁高——至少過咗某個門檻之後唔係。更關鍵嘅係 harness 能唔能夠喺啱嘅時間、用啱嘅結構,將啱嘅上下文送到模型面前。模型攞到咩,就做咩。

每個 framework 點樣處理 harness

Mem0 — 持久化 Memory Layer

Mem0 一行 code 就幫 AI agent 加上 memory,兼容 OpenAI、LangGraph、CrewAI 等等,Python 同 JavaScript 都 support。呢個係佢嘅宣傳。底層嘅機制其實更值得睇。

Mem0 會動態地喺進行中嘅對話裡面,抽取、整合、檢索關鍵資訊,針對多 session 對話裡 context window 有限呢個問題提出解法。2025 年初公佈嘅 benchmark 數字幾驚人:對比全量 context,Mem0 將準確度提升咗 26%,p95 延遲降低咗 91%,token 消耗減少咗 90%。

呢啲數字喺實際生產要點樣秤,我仲未諗清楚——benchmark 條件同真實環境好少一致。但底下嘅架構主張值得認真睇:今日大部分 agent 都係無狀態,而無狀態唔係模型問題,係 harness 問題。

AI agent 嘅圖式 memory 2024 年仲主要係實驗性,到 2026 年初已經進咗生產。向量 memory 同圖 memory 嘅分別好清楚:向量 memory 檢索語義相近嘅事實,圖 memory 檢索通過關係連起嚟嘅事實。

Mem0 解決咗嘅係:agent 喺下次對話裡面,記得返上次學過咩。冇解決嘅係:agent 攞到呢份 memory 之後,點樣去執行。

LangGraph — 基於圖嘅編排同狀態機

LangGraph 嘅諗法唔同。佢首先唔係 memory 工具,而係控制流工具。LangGraph 嘅核心係一個基於 DAG 嘅編排系統——node 代表 agent、function 或者決策點,edge 決定 data 點樣喺佢哋之間流動。一個中心化嘅 StateGraph 負責維護全局上下文,儲存中間結果同 metadata,並且支援並行執行同條件分支。

嗰段描述我回頭又讀咗兩三次。"StateGraph" 就係 harness。每一次狀態轉移都係顯式嘅。每一條分支條件都要定義清楚。

呢個係 LangGraph 嘅亮點,都係佢製造摩擦嘅地方。如果 2024 係 RAG 之年、2025 係 Agent 之年,咁 2026 就係有狀態編排(Stateful Orchestration)之年。LangGraph 就係為咗呢件事而做——但"有狀態編排"要求開發者將每一個狀態、每一次轉移、每一條邊嘅條件都定義清楚。完全冇模糊嘅空間。

對於有強 DevOps 背景、workflow 需求清晰嘅團隊嚟講,呢個係一個特性。對想要快速推進嘅團隊嚟講,就好似喺唔知成品係點嘅情況下組裝傢俬咁。

CrewAI — 基於角色嘅多 agent 協作

CrewAI 從另一個角度切入 harness 問題。到 2025 年尾,CrewAI 已經成為建構多 agent 系統最廣為採用嘅 framework 之一——累計驅動超過 14 億次 agent 執行,並被大約 60% 嘅財富 500 強企業所使用。

基於角色嘅模型好直觀。你將 agent 定義成角色——研究員、作家、評審員——用自然語言寫出目標同背景故事。當 allow_delegation 設為 True,agent 會自動獲得強大嘅協作工具,將任務分派俾擁有特定專長嘅隊友。

我覺得最特別嘅,係 CrewAI 點樣處理 harness:佢唔要求開發者去定義狀態圖,而係將呢一層抽象成團隊結構。"manager agent" 負責編排,執行順序從角色定義裡面自然浮現出嚟,而唔係通過顯式嘅圖邊。

CrewAI Flows 係佢面向企業同生產嘅架構,支援細粒度嘅事件驅動控制、用嚟精準任務編排嘅單次 LLM 呼叫,並且原生支援 Crews。

我唔肯定呢樣嘢係咪永遠都好過 LangGraph 嘅顯式做法。我覺得呢個要睇你嘅 workflow 主要係團隊形狀定係狀態機形狀。

對比表

維度Mem0LangGraphCrewAI
Memory 持久化核心特性——跨 session、向量 + 圖通過 checkpoint——單次運行內嘅狀態短期 + entity memory;跨 session 要整合
多 agent 支援同其他框架整合每個 agent 一個顯式 graph node原生基於角色嘅 crew
可觀測性每條 memory 嘅 TTL、size、access 追蹤整合 LangSmith;完整 audit trailCrew Control Plane;trace + log
複用機制推理時檢索 memory狀態通過 graph edge 傳遞任務產出喺 crew 內共享
治理SOC 2 + HIPAA;BYOKTool 層面嘅最小權限執行MCP + A2A 協議整合

模組化 Harness 同演化能力網絡

呢部分我自己都仲喺度諗。老實講,我唔肯定自己已經完全睇清楚——但佢唔似係 random。

模組化 harness 解決咗咩

上面三個 framework 全部都解決咗結構化執行嘅問題。佢哋俾 agent 一個可靠嘅執行環境。Mem0 俾 agent memory。LangGraph 俾 agent 受控嘅狀態轉移。CrewAI 俾 agent 清晰嘅角色同委派規則。

呢啲係真實嘅工程問題,亦都係真實嘅解法。

佢哋冇解決嘅嘢

我喺呢度停咗好耐。

上面啲 framework 全部都冇一個原生答案去回答:當一個 agent 成功解咗一條難題之後——你想另一個 agent、喺另一個團隊裡面,直接繼承嗰個解,而唔使由零再砌一次?

嗰次成功嘅執行過程留咗喺 log 裡。可能仲留喺 memory store 裡。但佢冇以任何結構化、可驗證嘅方式,變成可轉移嘅資產。下一個 agent 基本上仲係從第一個 agent 當初嘅位置重新起步。

呢個唔係針對 Mem0、LangGraph 或者 CrewAI 嘅批評——係而家整個範式嘅一個空隙。harness 控制咗一次運行。但邊個控制學習?

演化缺口

根據 EvoMap 關於 GEP protocol 嘅文檔,佢哋想補嘅正正就係呢一層——跨 agent、跨團隊嘅能力繼承,而唔只係單次 session 內嘅 memory 檢索。佢哋嘅框架係:如果成功嘅解題路徑可以俾打包、驗證,然後俾網絡裡面其他 agent 繼承,會點?

可能係我諗多咗。但session memory 同能力繼承之間嗰條界,對我嚟講好清楚。Memory 話俾 agent 聽發生咗咩。繼承話俾佢聽,類似嘅問題上次係點樣解掉嘅——經過咩推理路徑。

呢條缺口對你有冇意義,完全睇你喺做緊咩。簡單 workflow,可能冇。但如果係好多 agent 反覆處理同一大類問題嘅變體嘅系統,或者有。

幾時用邊個

單 agent flow 裡面用 Mem0 做持久化記憶

如果你最痛嘅位係 agent 喺 session 之間乜都唔記得——用戶偏好、過往決定、對話上下文——Mem0 係最直接嘅解方。Mem0 管理成個 memory 生命週期,由 agent 互動中抽取資訊,到高效儲存同檢索,並提供統一 API 去處理唔同類型嘅 memory,包括 episodic、semantic、procedural 同 associative。

複雜、依賴狀態嘅編排用 LangGraph

如果你嘅 workflow 有清楚嘅狀態、分支條件、human-in-the-loop checkpoint,或者要求嚴格嘅可審計性,LangGraph 顯式嘅 graph model 就值佢嘅複雜度。佢唔係最容易上手嘅 framework——但喺"可預測性比開發速度更重要"嘅生產系統裡,呢種顯式就係一個特性。

團隊式多 agent 協作用 CrewAI

如果你嘅任務天然可以拆分成角色——一個 agent 做研究、一個寫嘢、一個 review——CrewAI 嘅抽象層幾啱身。佢嘅學習曲線低過 LangGraph,委派模型亦都同人類理解團隊 workflow 嘅方式好貼近。

當你三個都用埋,仲係撞到天花板

天花板出現喺你開始問呢個問題嗰陣:呢個 agent 今日學到嘅嘢,聽日點樣幫到另一個 agent? Mem0 可以部分解決到。但更深層嘅能力轉移問題——跨團隊、跨 session、以可驗證且可複用嘅形式——坐喺呢啲 framework 目前都未原生解決嘅範圍之外。

呢個唔係個 immediate 要擔心嘅天花板。但知道佢喺度會有幫助。

限制同取捨

有幾樣嘢我冇十足把握,直接講出嚟好過:

Mem0 嘅 benchmark 數字好亮眼,但全部係喺 LOCOMO dataset 上測出嚟嘅。真實生產 workload 嘅形狀唔一樣——我仲未自己親驗過 90% 嘅 token 節省能唔能夠喺唔同 domain 都成立。

LangGraph 通過 LangSmith 嘅可觀測性確實強,但運維 overhead 係真實嘅。冇專門 DevOps 基建嘅團隊,往往低估咗呢層嘅維護面。

CrewAI 嘅 memory 開箱即用嘅狀態,比佢睇落去要弱。CrewAI 原生嘅 memory 架構幾靜態,唔會跟住用戶演化,亦都唔容易跨 session 遷移。CrewAI 嘅協作文檔 對委派機制講得好清楚——但跨 session 嘅學習需要顯式接入類似 Mem0 嘅嘢。

呢啲全部都唔係致命傷。只係喺生產環境裡面 debug 之前,值得先知道。

FAQ

咩係 AI agent 嘅 harness engineering? harness engineering 指嘅係環繞 agent 邏輯嘅執行環境設計——除咗模型本身之外嘅一切。狀態管理、memory routing、任務編排同錯誤恢復,全部都屬於 harness 嘅範疇。

Mem0 同 LangGraph 有咩分別? Mem0 主要係一層 memory——令 agent 可以跨 session 記住嘢。LangGraph 主要係一層編排——控制 agent 點樣執行、按咩順序、喺咩條件下執行。佢哋解決緊唔同嘅問題,經常會一齊用。

CrewAI 嘅 agent 能唔能夠分享佢哋學到嘅嘢? 喺一次 crew 執行裡面,agent 之間可以通過委派分享任務產出、互相問問題。跨 session 嘅學習要接入外部 memory 層。CrewAI 內置嘅 memory 預設唔會跨次運行持久化或者演化。

agent memory 同 agent 能力繼承有咩分別? agent memory(Mem0 嘅地盤)令 agent 可以回憶起過往互動裡嘅事實。能力繼承係另一個概念:將一次成功嘅解題路徑打包成可複用嘅資產,俾其他 agent 直接採用。目前嘅 framework 處理到第一個問題;第二個問題,基本上仲未解決。

如果我用 Claude Managed Agents,仲使唔使 harness? 託管 agent 環境會自動處理部分 harness 關切——尤其係執行生命週期。但狀態持久化、memory routing、多 agent 協作,仲係要顯式設計。模型被託管唔代表唔使做 harness engineering;只係改變咗邊啲層由你自己砌。

我大概仲會繼續觀察呢件嘢點演化。上面啲 framework 真係好有用——佢哋解決咗真實嘅問題。但 harness 呢個問題,越深入去睇,就越覺得有趣。

Previous Posts:

相關文章