嗨，我係 Lena。「本地 AI agent」呢個詞而家周圍都聽到，但講真，每個人講嘅嘢都唔太一樣。有啲 developer 講嘅係用自己嘅 GPU 跑一個 open-weight 模型。另一啲講嘅係 agent runtime 完全喺 device 度跑，就算推理係叫云端 API。仲有愈來愈多人講嘅係成個 stack——本地模型、本地工具、本地資料，對外完全唔發任何 call。

過去一年我一直喺度搭同評估各種 local agent，試過唔同模型、runtime、硬件嘅組合。呢篇文章係我想將呢層含糊切清楚啲，回答團隊討論度成日彈出嚟嘅一個問題：本地 AI agent 究竟係乜，幾時「行本地」先真係划算？

「本地 AI agent」實際指乜

本地執行 vs 本地模型 vs 混合 agent

第一樣要拆清嘅，係「本地」呢個詞究竟修飾邊一段。畀人叫做「本地 AI agent」嘅，至少有三種完全唔同嘅形態：

本地模型 + 本地執行。 模型跑喺你自己嘅硬件上面（透過 Ollama、LM Studio 或者 llama.cpp），agent runtime 喺本地跑，tool call 喺你部機完成。所有嘢都唔出你個 network。呢個係最純嘅本地 AI agent 形態。

本地執行 + 雲端模型。 Agent runtime 同工具都喺你部機度跑，但推理 call 行去 Claude 或者 GPT 嗰類雲 API。OpenClaw 預設就係呢種——佢係一個 self-host gateway，將通訊類 app 接上 LLM，但 LLM 本身通常係雲端模型。即使編排係本地，你嘅資料都仲係要經過外部 server 先做到推理。

混合。 部分任務 route 去本地模型（簡單分類、起稿），複雜啲嘅推理 call 去 frontier API。呢類做法喺 production 度越嚟越普遍——團隊要敏感資料嘅 privacy，又仲係需要 frontier 級嘅推理應付難題。

呢三種係真係唔同嘅架構，privacy、成本、能力嘅曲線完全唔同。將佢哋當成一回事，會做錯決定。 所以有人話「我哋喺度行緊本地 AI agent」，第一條應該問嘅問題永遠係：本地模型、本地執行，定係兩樣都係本地？

本地 agent 同雲端 agent 嘅差別

雲端 agent——例如帶 plugin 嘅 ChatGPT、帶 MCP connector 嘅 Claude——推理係喺遠端 server 度跑。你嘅 prompt 同資料要過網絡。按 token 收費。延遲取決於你嘅網絡同 provider 當時嘅負載。

本地 AI agent 將呢套權衡反轉。只要你跑嘅係本地模型，資料完全唔會離開你部機。 一次硬件投資之後，唔再有 per-token 費用。延遲由 GPU 決定，唔受網絡影響。但你都被硬件能力同 open-weight 模型同 frontier API 之間嘅質素差距困住。

本地 AI agent 點樣運作

用 Ollama、LM Studio 或者 llama.cpp 做本地模型服務

模型 serving 嘅層級係大多數人入門嘅地方。三個主流工具服務嘅人群略有唔同。

Ollama 係由零去到跑起一個本地模型最快嘅路徑。一條命令拉模型，另一條經 OpenAI 兼容 API serve 喺 localhost:11434。佢自動處理量化，並且支援 agent workflow 需要嘅 tool calling。去到 2026 年，Ollama 仲加咗桌面 app，甚至有 cloud gateway 嘅選項，但核心嘅 local-first 體驗仲係免費同 open source。

LM Studio 提供一個圖形介面去 browse、download、run model。底層用 llama.cpp，對外都係兼容嘅本地 API。如果你寧願用 GUI 去評估多個模型而唔係 CLI，由呢度入手會舒服啲。

llama.cpp 係 Ollama 同 LM Studio 都基於嘅 C/C++ 推理引擎。直接用佢可以畀到你最大嘅控制權——自訂編譯 flag、細粒度 layer offload、最新嘅量化方法喺傳到上層工具之前就用到。代價係上手嘅學習曲線陡啲。

對啱啱入門嘅大部分 developer，我會話 Ollama 係合理嘅 default。需要更細粒度控制嘅時候，隨時可以落到 llama.cpp。

Agent runtime 層：OpenClaw 或者本地 framework

一個模型本身仲未係 agent。你要一個 runtime 層去跑 plan-act-observe loop、管理 tool call、維持 session state。呢層有幾個選擇。

OpenClaw 係而家最有存在感嘅本地 agent 平台之一。佢係一個 open-source、self-host 嘅 gateway，將你嘅通訊類 app 接到一個可以跑 shell 命令、瀏覽網頁、管理檔案嘅 AI agent。佢經由 Ollama 同時支援雲端模型同本地模型。OpenClaw 文檔將成個 setup 流程走一次。要注意嘅係：OpenClaw 因為權限要求比較闊，畀人審視過，部署前要認真睇下佢嘅 security posture。

其他 framework 仲有：LangGraph 處理 stateful 嘅 graph-based workflow、CrewAI 處理多 agent 協同、Vercel AI SDK 處理 JavaScript 端嘅 agent loop。呢啲全部都可以將 inference endpoint 指去本地嘅 Ollama，而唔係雲 API。

Tool calling 同 MCP 喺本地場景入面

Tool calling 係將一個語言模型變成 agent 嘅關鍵——模型唔淨係生 text，仲會自己揀去 invoke 邊個 function。Model Context Protocol 將「工具、資源、prompt 點向 AI 應用暴露」呢件事標準化。

對本地 setup 嚟講重要嘅一點：MCP 同本地模型嘅配合一樣好——只要你嘅本地模型支援 function calling。Ollama 上嘅 Qwen 2.5、Llama 3 呢類模型原生支援 tool calling。你可以用 stdio 喺本地跑一個 MCP server，透過 agent framework 接到本地模型，成條 pipeline 都喺 device 入面行。資料完全唔離開你個 network。

點解有人揀本地 AI agent

Privacy 同資料主權

呢個係團隊選擇行本地嘅最主要原因，冇之一。當你喺自己嘅硬件度跑推理，你嘅 prompt、你嘅 code、你嘅資料完全唔會接觸第三方 server。 對於受 GDPR、HIPAA 或者嚴格 IP 政策約束嘅機構，本地推理直接消除咗「data-in-transit」呢條合規線——當然完整合規仲要額外嘅物理同 access control。

成本可預測，冇 per-token API 費

雲 API 嘅成本好難預測，agent workflow 入面尤其如此——佢會 loop。一個 agentic 任務可能會打幾十次推理。本地模型將成本變固定：硬件投資加電費。一台跑 Ollama 嘅標準工作站每日大約 $1-2 嘅電費。一次硬件投資之後，per-token 收費同用量上限都係零。

Offline 能力同延遲控制

本地 agent 冇網都行到。對野外部署、隔網環境，又或者單純想避開雲 API 嗰種忽快忽慢嘅延遲，呢點好重要。一張 RTX 4060 跑 7B 模型，Q4 量化下做到 40-60 token/秒——夠應付實時對話。

客制化同全棧可控

由你揀模型、揀量化等級、揀 prompt 格式以及每一個參數。你可以喺自己嘅資料上做 fine-tune，全程唔使 upload 出去。換模型一條命令就搞掂。冇 vendor lock-in，唔使擔心服務條款突然變。

本地 AI agent 撞到嘅幾道牆

同 frontier API 模型嘅能力差距

呢點要誠實。截至 2026 年中期，open-weight 模型最好嗰啲，同 frontier API 之間，喺複雜推理、長 context、多步規劃上面仍然有可感嘅質素差距。 一個本地嘅 Qwen 3 30B 或 Llama 4 Scout，按佢嘅體量嚟講已經好驚艷，但喺難題上面冇法同 Claude Opus 或 GPT-5 比。對好多 agent workflow——簡單 tool routing、code completion、summarization——本地模型已經綽綽有餘。但要做 frontier 級推理，差距係真嘅。

硬件要求同維護開銷

要將 7B 模型跑得舒服，最少要 8GB VRAM 或者 16GB 系統 RAM。模型再大要求更高：一個 30B 模型大約要 16-24GB VRAM。一部 Apple M4 Max 配 64GB unified memory 大多數嘢都應付到，但呢部機唔便宜。除咗一次性買硬件之外，driver 更新、模型版本管理、推理問題排查都要你自己嚟。冇支援團隊可以打電話——根據 llama.cpp 項目，你跑嘅係社區維護嘅 open source 軟件。

本地 agent 都係冇將學到嘅嘢分享出去

呢條係我反反覆覆撞到嘅邊界。一個本地 AI agent 畀咗你對執行同資料嘅完全控制權。但佢唔會自動保留嗰啲已經行得通嘅嘢。 你搭咗一個能將 query route 去啱嘅 tool、處理到 edge case、出到乾淨 output 嘅 workflow——下個 session 開始，所有 context 都冇晒。OpenClaw 呢類 framework 喺度探索跨 session 嘅 memory，但更廣泛嘅本地 agent 生態喺 session 之間仲係大致 stateless。設定可以共享，操作層面嘅知識通常唔得。

幾時行本地值得，幾時唔值

Privacy 敏感嘅 workflow

如果你嘅資料唔可以離開你個 network——受監管行業、私有 code、個人健康資料——本地 AI agent 加本地模型係最清晰嘅路徑。唔使去合規審第三方嘅資料處理協議，唔使對雲 provider 做信任假設。資料留喺原地。

對 frontier 推理質素嘅要求

如果你嘅 workflow 依賴市面最好嘅推理——複雜嘅跨檔重構、需要細緻拿捏嘅法律分析、進階數學證明——雲端 frontier model 仲係更好嘅工具。本地模型進步好快，但對最難嘅任務仲未到位。對自己 workflow 真正需要乜嘢，誠實啲。

混合 setup 作為中間路線

我喺 production 度見過最實用嘅做法係混合：敏感資料行本地模型，複雜推理行 frontier API。 呢個方法喺重要嘅地方畀你 privacy，喺需要嘅地方畀你能力。LangGraph 呢類 framework 令到「先 check 資料敏感度再決定 call 邊個模型」嘅 routing 邏輯落地直接。Hugging Face Hub 上有上千個 open-weight 模型可以拉嚟用喺本地嗰邊。

FAQ

最好嘅本地 AI agent framework 係邊個？

冇單一答案——睇你個 use case。OpenClaw 強喺嗰啲 always-on、有 messaging 整合嘅個人助手 workflow。LangGraph 處理 stateful、graph-based 嘅 agent 邏輯好叻。簡單嘅單 agent setup，直接將 Ollama 駁入一個自己寫嘅 Python loop 通常已經夠用。由能覆蓋你需求嘅最簡單方案開始。

本地 AI agent 要 GPU 嗎？

嚴格嚟講唔係必須，但冇 GPU 嘅話表現好差。純 CPU 跑 7B 模型比 GPU 慢 5-10 倍。要實際用，最少要一張 8GB VRAM 嘅 NVIDIA GPU（RTX 4060 或更好），又或者一部 Apple Silicon Mac 配 16GB 以上 unified memory，呢個係實際嘅最低門檻。

本地 AI agent 可以用 MCP 嗎？

得。MCP 係 transport-agnostic——本地進程經 stdio，遠端 server 經 HTTP。任何支援 tool calling 嘅本地模型，都可以透過 agent framework 用 MCP tool。協議本身唔理推理係喺本地定喺雲。

本地 AI agent 係咪比 ChatGPT 好？

「好」完全睇你優化緊乜。論privacy、成本、offline 能力，本地 agent 贏。論純推理質素同易用性，對大多數任務嚟講 ChatGPT 同類雲服務仲係領先。佢哋係解決唔同問題嘅唔同工具。

跑一個本地 AI agent 大約要幾錢？

硬件係主要成本。一個夠用嘅 setup——一張 RTX 4060（12GB VRAM）擺喺一部中階工作站——淨係 GPU 大約 $800-1200，整機大約 $1500-2500。Apple Silicon Mac 起步價大約 $1600 嘅 M4 Pro 配 24GB。之後嘅持續成本就係電費——一部跑推理嘅工作站每日大約 $1-2。對比一下：雲 API 嘅成本，按模型唔同每百萬 token 由 $0.15 到 $60——只要 scale 上到去，本地推理回本好快。

如果你想理解 MCP 喺本地 agent workflow 度嘅位置、點解佢變緊預設嘅工具連接層，繼續睇：What Is MCP AI Tool Connection Standard
跑本地 agent 係一件事——將 workflow 同操作層嘅記憶喺跨 session 之間保留落嚟係另一件事，呢篇將呢條縫挖得更深：Claude Code Local Skills Memory Persistence
想知 OpenClaw 同啲新嘅 memory-oriented 自托管 agent 系統點比？呢篇對比同上面提到嘅權衡直接連住：Hermes Agent vs Evomap Agent Memory
如果你正喺度評估實際可以落地嘅本地 agent stack，呢篇將 MCP、CLI runtime、GEP 層拆開講嘅文章會畀你一張更清楚嘅架構圖：MCP CLI GEP Three Layers Agent Stack
本地 agent 今日最大嘅局限，除咗模型質素之外——係 session 之間能力冇辦法重用。呢條學習鴻溝呢篇講得更細：ARC AGI 3 Agent Learning Gap GEP

本地 AI agent 究竟係乜嘢？