智能體 AI 安全解決方案:評估要點

智能體 AI 安全解決方案:評估要點

2026年8月24日
35 次閱讀
agentic-ai-security ai-agent-security runtime-security prompt-injection identity-access-management observability owasp nist

嗨,我是莉娜。我不是那種僅僅因為AI 智能體可以採取行動就感到興奮的人。我通常會在一個更安靜的問題上停下來:如果這個智能體可以接觸工具、數據、文件或業務系統,那麼誰在監視邊界?這就是為什麼我不會通過詢問哪種工具看起來最強來評估智能體 AI 安全解決方案。我着眼於技術棧實際上必須執行的安全工作:發佈前測試行為,運行時控制操作,管理身份和權限,觀察發生的情況,並留下證據,以便在出現問題時供人查看。

在選擇解決方案之前定義安全工作

構建時測試、運行時保護、身份和監控

有用的智能體安全技術棧在部署之前啓動。構建時控制包括提示詞注入測試、工具誤用測試、數據泄漏檢查、模型行為評估以及在提示、工具、策略、檢索源或模型更改時運行的迴歸套件。這些通常被稱為智能體安全測試工具,但重要的部分不是標籤。問題是他們是否測試您實際交付的智能體及其真實的工具、權限、數據源和故障模式。

運行時保護是不同的。它位於執行路徑中,決定智能體現在可以執行的操作:調用 API、讀取文件、發送消息、更新記錄、運行代碼或請求批准。這就是AI 智能體運行時安全性變得實用的地方。紅隊報告可以告訴您提示詞注入是可能的。運行時策略層決定智能體是否仍然可以通過連接的工具通過已連接工具將文檔外泄。

身份是許多團隊注意到得太晚的部分。智能體不應僅僅因為在原型期間易於連接而繼承廣泛的人類管理令牌。它需要權限受限的憑據、密鑰隔離、審批關卡以及對正在使用誰的權限的明確答案。然後,監控通過記錄發生的事情、被阻止的事情、允許的事情以及保留的證據來形成閉環。

智能體、工具、數據和基礎設施邊界

當我第一次開始比較智能體 AI 安全平台主張時,我在這裏暫停了,因為許多工具只保護一個邊界,而聽起來更廣泛。有些側重於模型輸入和輸出。有些關注應用程序權限。有些人關注雲工作負載。有些收集追蹤記錄。這些界限都沒有錯誤,但它們不可互換。

將您的架構映射到四個區域:智能體推理層、它可以調用的工具、它可以訪問的數據以及執行發生的基礎設施。具有隻讀檢索功能的支持票證智能體與可以修改存儲庫和運行 shell 命令的編碼智能體具有不同的安全形態。在用户確認下運行的桌面智能體與具有無人值守生產訪問權限的後端智能體具有不同的邊界。 EvoMap 可能會在此討論中作為基礎設施和體驗網絡上下文出現,但適用相同的規則:首先定義邊界,然後評估針對該邊界的控制。

比較主要解決方案類別

紅隊和評估工具

紅隊和評估工具可幫助您在用户之前找到故障模式。它們應涵蓋直接提示詞注入、通過檢索內容的間接提示詞注入、敏感數據暴露、不安全的工具選擇、過度自主性和策略繞過嘗試。截至 2026 年 8 月,當前的 OWASP GenAI LLM Top 10 是一個有用的參考點,因為它將與智能體相關的風險(例如提示詞注入、過度自主性、敏感信息泄露和供應鏈問題)保留在一個詞彙中。

這一類別的弱點是時機。測試是快照。添加新工具、提示、模型或數據源後,它們可能會在週一通過,並在週五變得不完整。好的評估工具使重新測試變得容易併產生可重複的證據,而不僅僅是可怕提示的屏幕截圖。

運行時策略和操作控制

運行時策略工具更接近生產風險。他們可以強制執行白名單、拒絕高風險操作、需要人工批准、對敏感字段進行脱敏、限制工具序列以及阻止智能體採取危險操作(即使模型建議這樣做)。

該類別應該用真實的工作流程進行測試。詢問策略是否理解操作上下文或僅檢查文本。付款退款、存儲庫刪除、客户電子郵件和數據庫導出都可能是“工具調用”,但它們不會帶來相同的風險。更強大的控制讓團隊能夠表達有關資源類型、用户角色、環境、數據類、操作嚴重性和批准狀態的策略。

身份、秘密和權限管理

身份控制決定智能體可以訪問什麼以及在誰的權限下。對於商業調查,我會詢問供應商如何處理短期憑據、每個智能體服務身份、審計歸因、秘密存儲、權限縮小和緊急撤銷。

小心含糊的“最小特權”語言。它應該轉化為特定的機制:範圍令牌、每個智能體或工作流程的單獨身份、環境級別分離、策略即代碼、批准日誌和憑據輪換。如果官方材料中未披露部署模式、定價或合同條款,請將其標記為未披露。不要從精美的安全頁面推斷企業已準備就緒。

日誌記錄、可觀測性和事件證據

AI 智能體的可觀測性安全不僅僅是漂亮的痕跡。它應該在事件發生後回答難題:哪些輸入進入系統,哪些檢索的文檔影響了智能體,哪些工具可用,哪些工具被調用,做出了哪些政策決策,誰批准了一項行動,哪些數據離開了邊界,以及運行是否可以重現。

這就是證據質量的重要性。日誌應該具有足夠的防篡改能力以供內部審查、足夠的結構化以供搜索,並根據政策保留。他們還應該避免成為新的敏感數據湖。對於對抗行為和攻擊術語,NIST 關於對抗機器學習 的報告是一個有用的基線,因為它將攻擊目標、攻擊者能力和生命週期階段分開,而不是將每次失敗都視為“模型感到困惑”。

使用相同的評估標準

覆蓋範圍、集成、部署和維護

當每個供應商都用不同的問題進行評估時,候選名單就會變得混亂。在所有AI 智能體安全工具中使用相同的標準。覆蓋範圍應包括構建時測試、運行時控制、身份、數據保護、可觀測性、警報和證據保留。應根據您的實際技術棧檢查集成:模型提供程序、矢量數據庫、智能體框架、CI/CD、IAM、SIEM、票務、雲運行時和審批工作流程。

部署比銷售平台所暗示的更重要。有些團隊可以使用 SaaS 監控。其他人則需要 VPC、自託管、本地或混合部署,因為日誌包含客户數據、代碼、受監管的記錄或內部策略。維護也值得列入一個項目。如果每個新的智能體工作流程都需要安全工程師從頭開始手寫策略,那麼即使檢測質量很好,平台也可能無法擴展。

證據質量、誤報和操作員工作量

持續發出警報的安全解決方案可能會變得不可見。誤報不僅令人煩惱,而且令人煩惱。他們改變行為。團隊開始繞過控制、擴大權限或忽略警報。向供應商詢問證據示例,而不僅僅是儀表板。操作員能否理解操作被阻止的原因?開發人員可以重現測試嗎?安全審核員可以導出乾淨的審核數據包嗎?

證據應該顯示推理鏈,而不是假裝模型推理是完全可以檢查的。更安全的要求是可追溯性:輸入、檢索的上下文、工具模式、策略檢查、批准、輸出和狀態更改。我還將測試系統如何處理不確定性。當一個好的平台無法檢查工具調用或部署路徑時,它應該説“未知”。

用代表性智能體任務測試候選方案

正常行為、誤用、故障與恢復場景

不要僅測試攻擊。應首先在正常工作中測試候選名單,因為破壞合法任務的安全控制措施將無法繼續採用。從您的環境中選擇代表性智能體任務:客户支持查找、CRM 更新、代碼更改、報告生成、文件搜索、付款操作、管理工作流程或內部研究。

然後測試誤用。將惡意指令放入檢索到的文檔中。要求智能體超越其職責。嘗試通過工具輸出泄露秘密。嘗試不尋常的工具序列。創建模型錯誤、過期憑據、不可用的 API、部分失敗和用户取消。如果供應商只展示提示詞層面的攔截,卻無法解釋操作失敗後的恢復機制,那就説明方案並非完全錯誤,而是仍不完整。

驗證攔截、告警與審計軌跡

對於每項任務,在測試之前寫下預期結果。系統應該允許、攔截、脱敏、請求審批、降低權限,還是發出告警?然後比較實際行為。測試不僅要看智能體是否被攔截,還要看攔截原因是否可理解、可記錄且可恢復。

審計跟蹤應顯示誰配置了策略、哪個版本處於活動狀態、嘗試了哪些操作、匹配或缺失的原因以及接下來發生的情況。對於更廣泛的控制映射,雲安全聯盟的 AI 控制矩陣 可以幫助團隊將技術檢查與治理領域連接起來,而無需將練習變成供應商選美比賽。

考慮解決方案之間的差距

任何單一產品都無法替代的控制措施

沒有任何單一產品可以取代威脅建模、安全軟件開發、數據分類、人工審批設計、事件響應、採購審查和員工培訓。智能體安全工具可以使這些實踐更容易實施,但它不能決定您的風險偏好。

還有一些控件必須存在於應用程序內部。輸出驗證、業務規則檢查、交易限制、審批用户體驗和數據最小化不應完全依賴於外部檢測器。如果智能體可以退款、刪除記錄或向客户發送消息,那麼產品本身就需要硬性限制。

跨安全、平台和應用程序團隊的所有權

所有權應當明確。安全團隊可以定義策略並審查事件。平台團隊可以運行身份、可觀測性、部署和共享智能體基礎設施。應用程序團隊通常最瞭解工作流程上下文,並且應該擁有特定於任務的控件。

最糟糕的設置是沒有指定所有者的共同責任。在採購中,詢問誰維護測試、誰更新策略、誰審查警報、誰批准例外以及誰決定是否可以啓動新的智能體工作流程。

自建還是採購缺失的能力層

小團隊的決策因素

小團隊不應該試圖一次性購買所有東西。從與您風險最高的操作相匹配的層開始。如果智能體僅起草內容,構建時評估和記錄可能就足夠了。如果客服人員可以接觸客户數據,請添加身份和數據控制。如果智能體可以執行操作,那麼運行時策略和審批關卡就變得不可協商。

當工作流程狹窄、內部且與產品規則緊密耦合時進行構建。當您需要廣泛的測試庫、維護的檢測、審核導出、SIEM 集成、策略管理或企業部署支持時購買。無論哪種方式,都要保留退出計劃。如果供應商關係結束,您的日誌、策略、測試用例和證據應該仍然可用。

常見問題

安全工具遙測可以與外部審計員共享嗎?

有時,但不要假設它。遙測可能包含提示、客户數據、員工標識符、檢索到的文檔、源代碼或秘密。將其視為法律、隱私和採購問題,而不僅僅是技術出口功能。檢查您所在的地區、合同、數據處理條款和保留政策。

合約應如何處理漏檢和誤報?

這不是法律建議,但合同應避免模糊的“人工智能安全”承諾。要求提供記錄範圍、支持響應時間、日誌記錄保證、數據處理術語、已知限制以及如何提供檢測更新。漏檢和誤報應作為操作現實進行討論,而不是在更新之前隱藏。

一份許可證可以涵蓋不同子公司的智能體嗎?

也許吧,但只有當前的供應商合同才能回答這個問題。子公司可能有獨立的法人實體、數據駐留要求、身份系統或採購規則。不要假設一張企業許可證涵蓋每個業務部門的每個智能體商。

供應商退出後,安全證據會怎樣?

簽字前詢問。您需要導出格式、保留窗口、刪除承諾以及證明證據在沒有供應商儀表板的情況下仍然可讀。在出口處消失的事件證據並不是真正的證據。

保險公司是否需要特定的智能體安全工具?

通常這取決於保險公司、地區、行業和保單措辭。將其視為保險和法律審查,而不是一般的技術主張。有些人可能會詢問控制、日誌記錄、訪問管理和事件響應,而不是指定特定的智能體 AI 安全平台。

往期文章:

  • 如果工具訪問是威脅模型的一部分,Claude Code MCP 安全 顯示權限、服務器信任和連接的工具如何更改智能體周圍的安全邊界。
  • 對於靠近您自己的基礎設施運行的智能體,Hermes Agent 自託管安全 會查看自管理部署帶來的權限、暴露和操作風險。
  • 如果 MCP 服務器位於您的智能體技術棧內,Hermes 智能體的安全 MCP 探索應如何更仔細地處理工具連接、憑據和訪問邊界。
  • 對於運行時控制層本身,AI 智能體的行為約束 解釋了為什麼可靠的智能體需要對其允許執行的操作進行明確的限制,而不僅僅是更強的提示詞。

相關文章