智能体 AI 安全解决方案:评估要点

智能体 AI 安全解决方案:评估要点

2026年8月24日
35 次阅读
agentic-ai-security ai-agent-security runtime-security prompt-injection identity-access-management observability owasp nist

嗨,我是莉娜。我不是那种仅仅因为AI 智能体可以采取行动就感到兴奋的人。我通常会在一个更安静的问题上停下来:如果这个智能体可以接触工具、数据、文件或业务系统,那么谁在监视边界?这就是为什么我不会通过询问哪种工具看起来最强来评估智能体 AI 安全解决方案。我着眼于技术栈实际上必须执行的安全工作:发布前测试行为,运行时控制操作,管理身份和权限,观察发生的情况,并留下证据,以便在出现问题时供人查看。

在选择解决方案之前定义安全工作

构建时测试、运行时保护、身份和监控

有用的智能体安全技术栈在部署之前启动。构建时控制包括提示词注入测试、工具误用测试、数据泄漏检查、模型行为评估以及在提示、工具、策略、检索源或模型更改时运行的回归套件。这些通常被称为智能体安全测试工具,但重要的部分不是标签。问题是他们是否测试您实际交付的智能体及其真实的工具、权限、数据源和故障模式。

运行时保护是不同的。它位于执行路径中,决定智能体现在可以执行的操作:调用 API、读取文件、发送消息、更新记录、运行代码或请求批准。这就是AI 智能体运行时安全性变得实用的地方。红队报告可以告诉您提示词注入是可能的。运行时策略层决定智能体是否仍然可以通过连接的工具通过已连接工具将文档外泄。

身份是许多团队注意到得太晚的部分。智能体不应仅仅因为在原型期间易于连接而继承广泛的人类管理令牌。它需要权限受限的凭据、密钥隔离、审批关卡以及对正在使用谁的权限的明确答案。然后,监控通过记录发生的事情、被阻止的事情、允许的事情以及保留的证据来形成闭环。

智能体、工具、数据和基础设施边界

当我第一次开始比较智能体 AI 安全平台主张时,我在这里暂停了,因为许多工具只保护一个边界,而听起来更广泛。有些侧重于模型输入和输出。有些关注应用程序权限。有些人关注云工作负载。有些收集追踪记录。这些界限都没有错误,但它们不可互换。

将您的架构映射到四个区域:智能体推理层、它可以调用的工具、它可以访问的数据以及执行发生的基础设施。具有只读检索功能的支持票证智能体与可以修改存储库和运行 shell 命令的编码智能体具有不同的安全形态。在用户确认下运行的桌面智能体与具有无人值守生产访问权限的后端智能体具有不同的边界。 EvoMap 可能会在此讨论中作为基础设施和体验网络上下文出现,但适用相同的规则:首先定义边界,然后评估针对该边界的控制。

比较主要解决方案类别

红队和评估工具

红队和评估工具可帮助您在用户之前找到故障模式。它们应涵盖直接提示词注入、通过检索内容的间接提示词注入、敏感数据暴露、不安全的工具选择、过度自主性和策略绕过尝试。截至 2026 年 8 月,当前的 OWASP GenAI LLM Top 10 是一个有用的参考点,因为它将与智能体相关的风险(例如提示词注入、过度自主性、敏感信息泄露和供应链问题)保留在一个词汇中。

这一类别的弱点是时机。测试是快照。添加新工具、提示、模型或数据源后,它们可能会在周一通过,并在周五变得不完整。好的评估工具使重新测试变得容易并产生可重复的证据,而不仅仅是可怕提示的屏幕截图。

运行时策略和操作控制

运行时策略工具更接近生产风险。他们可以强制执行白名单、拒绝高风险操作、需要人工批准、对敏感字段进行脱敏、限制工具序列以及阻止智能体采取危险操作(即使模型建议这样做)。

该类别应该用真实的工作流程进行测试。询问策略是否理解操作上下文或仅检查文本。付款退款、存储库删除、客户电子邮件和数据库导出都可能是“工具调用”,但它们不会带来相同的风险。更强大的控制让团队能够表达有关资源类型、用户角色、环境、数据类、操作严重性和批准状态的策略。

身份、秘密和权限管理

身份控制决定智能体可以访问什么以及在谁的权限下。对于商业调查,我会询问供应商如何处理短期凭据、每个智能体服务身份、审计归因、秘密存储、权限缩小和紧急撤销。

小心含糊的“最小特权”语言。它应该转化为特定的机制:范围令牌、每个智能体或工作流程的单独身份、环境级别分离、策略即代码、批准日志和凭据轮换。如果官方材料中未披露部署模式、定价或合同条款,请将其标记为未披露。不要从精美的安全页面推断企业已准备就绪。

日志记录、可观测性和事件证据

AI 智能体的可观测性安全不仅仅是漂亮的痕迹。它应该在事件发生后回答难题:哪些输入进入系统,哪些检索的文档影响了智能体,哪些工具可用,哪些工具被调用,做出了哪些政策决策,谁批准了一项行动,哪些数据离开了边界,以及运行是否可以重现。

这就是证据质量的重要性。日志应该具有足够的防篡改能力以供内部审查、足够的结构化以供搜索,并根据政策保留。他们还应该避免成为新的敏感数据湖。对于对抗行为和攻击术语,NIST 关于对抗机器学习 的报告是一个有用的基线,因为它将攻击目标、攻击者能力和生命周期阶段分开,而不是将每次失败都视为“模型感到困惑”。

使用相同的评估标准

覆盖范围、集成、部署和维护

当每个供应商都用不同的问题进行评估时,候选名单就会变得混乱。在所有AI 智能体安全工具中使用相同的标准。覆盖范围应包括构建时测试、运行时控制、身份、数据保护、可观测性、警报和证据保留。应根据您的实际技术栈检查集成:模型提供程序、矢量数据库、智能体框架、CI/CD、IAM、SIEM、票务、云运行时和审批工作流程。

部署比销售平台所暗示的更重要。有些团队可以使用 SaaS 监控。其他人则需要 VPC、自托管、本地或混合部署,因为日志包含客户数据、代码、受监管的记录或内部策略。维护也值得列入一个项目。如果每个新的智能体工作流程都需要安全工程师从头开始手写策略,那么即使检测质量很好,平台也可能无法扩展。

证据质量、误报和操作员工作量

持续发出警报的安全解决方案可能会变得不可见。误报不仅令人烦恼,而且令人烦恼。他们改变行为。团队开始绕过控制、扩大权限或忽略警报。向供应商询问证据示例,而不仅仅是仪表板。操作员能否理解操作被阻止的原因?开发人员可以重现测试吗?安全审核员可以导出干净的审核数据包吗?

证据应该显示推理链,而不是假装模型推理是完全可以检查的。更安全的要求是可追溯性:输入、检索的上下文、工具模式、策略检查、批准、输出和状态更改。我还将测试系统如何处理不确定性。当一个好的平台无法检查工具调用或部署路径时,它应该说“未知”。

用代表性智能体任务测试候选方案

正常行为、误用、故障与恢复场景

不要仅测试攻击。应首先在正常工作中测试候选名单,因为破坏合法任务的安全控制措施将无法继续采用。从您的环境中选择代表性智能体任务:客户支持查找、CRM 更新、代码更改、报告生成、文件搜索、付款操作、管理工作流程或内部研究。

然后测试误用。将恶意指令放入检索到的文档中。要求智能体超越其职责。尝试通过工具输出泄露秘密。尝试不寻常的工具序列。创建模型错误、过期凭据、不可用的 API、部分失败和用户取消。如果供应商只展示提示词层面的拦截,却无法解释操作失败后的恢复机制,那就说明方案并非完全错误,而是仍不完整。

验证拦截、告警与审计轨迹

对于每项任务,在测试之前写下预期结果。系统应该允许、拦截、脱敏、请求审批、降低权限,还是发出告警?然后比较实际行为。测试不仅要看智能体是否被拦截,还要看拦截原因是否可理解、可记录且可恢复。

审计跟踪应显示谁配置了策略、哪个版本处于活动状态、尝试了哪些操作、匹配或缺失的原因以及接下来发生的情况。对于更广泛的控制映射,云安全联盟的 AI 控制矩阵 可以帮助团队将技术检查与治理领域连接起来,而无需将练习变成供应商选美比赛。

考虑解决方案之间的差距

任何单一产品都无法替代的控制措施

没有任何单一产品可以取代威胁建模、安全软件开发、数据分类、人工审批设计、事件响应、采购审查和员工培训。智能体安全工具可以使这些实践更容易实施,但它不能决定您的风险偏好。

还有一些控件必须存在于应用程序内部。输出验证、业务规则检查、交易限制、审批用户体验和数据最小化不应完全依赖于外部检测器。如果智能体可以退款、删除记录或向客户发送消息,那么产品本身就需要硬性限制。

跨安全、平台和应用程序团队的所有权

所有权应当明确。安全团队可以定义策略并审查事件。平台团队可以运行身份、可观测性、部署和共享智能体基础设施。应用程序团队通常最了解工作流程上下文,并且应该拥有特定于任务的控件。

最糟糕的设置是没有指定所有者的共同责任。在采购中,询问谁维护测试、谁更新策略、谁审查警报、谁批准例外以及谁决定是否可以启动新的智能体工作流程。

自建还是采购缺失的能力层

小团队的决策因素

小团队不应该试图一次性购买所有东西。从与您风险最高的操作相匹配的层开始。如果智能体仅起草内容,构建时评估和记录可能就足够了。如果客服人员可以接触客户数据,请添加身份和数据控制。如果智能体可以执行操作,那么运行时策略和审批关卡就变得不可协商。

当工作流程狭窄、内部且与产品规则紧密耦合时进行构建。当您需要广泛的测试库、维护的检测、审核导出、SIEM 集成、策略管理或企业部署支持时购买。无论哪种方式,都要保留退出计划。如果供应商关系结束,您的日志、策略、测试用例和证据应该仍然可用。

常见问题

安全工具遥测可以与外部审计员共享吗?

有时,但不要假设它。遥测可能包含提示、客户数据、员工标识符、检索到的文档、源代码或秘密。将其视为法律、隐私和采购问题,而不仅仅是技术出口功能。检查您所在的地区、合同、数据处理条款和保留政策。

合约应如何处理漏检和误报?

这不是法律建议,但合同应避免模糊的“人工智能安全”承诺。要求提供记录范围、支持响应时间、日志记录保证、数据处理术语、已知限制以及如何提供检测更新。漏检和误报应作为操作现实进行讨论,而不是在更新之前隐藏。

一份许可证可以涵盖不同子公司的智能体吗?

也许吧,但只有当前的供应商合同才能回答这个问题。子公司可能有独立的法人实体、数据驻留要求、身份系统或采购规则。不要假设一张企业许可证涵盖每个业务部门的每个智能体商。

供应商退出后,安全证据会怎样?

签字前询问。您需要导出格式、保留窗口、删除承诺以及证明证据在没有供应商仪表板的情况下仍然可读。在出口处消失的事件证据并不是真正的证据。

保险公司是否需要特定的智能体安全工具?

通常这取决于保险公司、地区、行业和保单措辞。将其视为保险和法律审查,而不是一般的技术主张。有些人可能会询问控制、日志记录、访问管理和事件响应,而不是指定特定的智能体 AI 安全平台。

往期文章:

  • 如果工具访问是威胁模型的一部分,Claude Code MCP 安全 显示权限、服务器信任和连接的工具如何更改智能体周围的安全边界。
  • 对于靠近您自己的基础设施运行的智能体,Hermes Agent 自托管安全 会查看自管理部署带来的权限、暴露和操作风险。
  • 如果 MCP 服务器位于您的智能体技术栈内,Hermes 智能体的安全 MCP 探索应如何更仔细地处理工具连接、凭据和访问边界。
  • 对于运行时控制层本身,AI 智能体的行为约束 解释了为什么可靠的智能体需要对其允许执行的操作进行明确的限制,而不仅仅是更强的提示词。

相关文章