我是Lena。我起初差点错过了NVIDIA AVO。
一分钟了解 NVIDIA AVO
英伟达 AVO 很容易被忽略。它不是一个新的桌面编码产品,也不是证明每个代理都能神奇地自我提升的证据。更清晰的理解是更狭窄且更有趣的:AVO,全称为代理变异算子(Agentic Variation Operators),将编码代理视为进化搜索循环中的变异算子。
我在这里停顿了一下,因为这个转变在措辞上虽小,但在系统设计上影响很大。在较早的LLM辅助进化搜索中,模型通常只生成候选内容,而周围的框架负责决定采样、评分和种群规则。在AVO 论文中,代理不仅仅生成代码。它会阅读之前的版本、参考领域知识、编辑实现、运行测试、研究反馈、修复失败,并决定下一步尝试什么。
截至我在2026年8月的检查,arXiv 列出了该论文的第1版,由 Terry Chen 和 22 位具有 NVIDIA 隶属关系的合著者于2026年3月25日提交。目前公开的证据应被视为研究成果,而不是经过支持的产品发布。
AVO 所解决的研究问题
GPU 内核优化是测试智能体的一个尴尬领域,这正是它有用的原因。搜索空间非常大,但大多数代码更改要么无效,要么更慢,要么过于依赖某一硬件路径。语言模型可以提供建议,但内核性能只有在编译、正确性检查、分析和基准测试之后才真正体现出来。
搜索大量有效的内核更改空间
论文中的目标是在 NVIDIA Blackwell B200 硬件上进行注意力内核优化。这很重要,因为注意力已经被高度优化了。基准并不是弱案例。论文对比了 cuDNN 9.19.1 和 FlashAttention-4,使用了官方的 FA4 实现,并在特定提交版本上进行了测试。
核心难点不是“一次性写出更快的内核”。难点在于:找到一个有效的实现变更,保持数值正确性,提高吞吐量,并记住之前的尝试以避免重复失败。如果我们把这称为普通的代码生成,那就有点不妥。它更接近于长期视角的工程探索。
代理变异操作符的工作原理
最简单的心理模型是这样的:AVO 将变异转化为代理运行。代理不是使用固定的变异算子进行随机或基于模板的编辑,而是观察当前的世系,并决定哪种变异可能有用。
读取谱系和领域上下文
血统是这里一个相当重要的词。AVO 论文中的内核优化实例使用了单血统运行:每个已提交的内核版本都会成为历史的一部分,下一次变体步骤可以检查这些历史。代理可以比较之前的版本,查看分析行为,并利用这些上下文来选择新的方向。
领域上下文也是明确的。论文中提到知识库包括CUDA编程指南、PTX ISA文档、Blackwell架构信息,以及现有的内核实现,包括FlashAttention-4源代码。这不仅仅是聊天机器人所说的“记忆”。它是用于技术搜索的工作上下文。
提出、修复、批评和验证变体
在一个 AVO 变体步骤中,代理可能会检查先前的内核,提出修改,编译它,运行正确性测试,研究分析结果,并在实现失败时进行修复。如果候选内核不正确,则无论吞吐量如何都得零分。这个规则很重要,因为它防止搜索奖励快速但错误的内核。
论文中的核心优化实例只有在新版本通过正确性并匹配或提升最佳已提交基准分数时才提交。失败的尝试仍可能影响内部搜索轨迹,但不会被添加到已提交的谱系中。这为已发表的谱系提供了一个干净的进展故事,同时也留下了我们不应忽视的审计空白。
使用执行反馈来指导下一步搜索
这是使 AVO 在内核调优之外具有相关性的部分。反馈只有在改变下一个提议时才有意义。AVO 的设计围绕这一循环:行动、测量、解释、修正。
论文的例子非常具体。一个变体在累加器重缩放中移除了一个分支。另一个将修正工作与矩阵乘活动重叠。还有一个在 warp 组之间重新平衡寄存器。这些都不是表面层面的重构。它们依赖于同步、调度、寄存器压力和内存行为。
我认为这就是方法开始感觉不那么随机的地方。代理不仅仅是在随机抽取代码字符串。它正在使用执行反馈来重塑其搜索策略。
评估实际衡量的内容
评估测量内核在特定 B200 注意力设置下的吞吐量和正确性。它不衡量一般智能、广泛的软件质量或生产准备情况。
在NVIDIA B200硬件上的注意力核实验
本文报告了在配备 CUDA 13.1 和 PyTorch 2.10.0 的 NVIDIA B200 GPU 上进行的实验。对于多头注意力,它评估了 BF16 精度下的前向预填充吞吐量,头维度为 128,16 个头,序列长度从 4,096 到 32,768,总共固定为 32k 令牌。作者进行了 10 次实验以报告平均性能和标准差。
对于 MHA,AVO 在所有评估配置中,相较于 cuDNN 提供了最高 3.5% 的提升,相较于 FlashAttention-4 提供了最高 10.5% 的提升。对于 GQA,在大约 30 分钟的额外自主适应后,它相较于 cuDNN 提供了最高 7.0% 的提升,相较于 FA4 提供了 9.3% 的提升。FA 的比较也很重要,因为论文指出它使用了与 FlashAttention 基准脚本 相同的计时脚本,以及与 FA4 论文相同的预热和重复轮次。
那些是有意义的数字,但它们是有界的数字。它们属于刚才描述的纸质版本、硬件、精度、序列设置、基线和测量过程。
论文未能确定的内容
这是我想要小心的地方。AVO 是一个强有力的研究信号,但它并不是关于自主代理的声明的空白支票。
通用代理改进、生产转移和硬件可移植性
该论文并未证明所有编程代理都会自我提升。它也未显示由 AVO 生成的内核在所有模型架构中都是生产安全的。它也未确立可移植性适用于每一代 GPU 或每一类 CUDA 工作负载。论文同样没有披露生产团队可能关心的所有信息:总 token 预算、精确的前沿模型配置、完整的失败轨迹,或与 arXiv 发布相关联的公开 NVIDIA 实现仓库。
硬件可移植性特别容易被夸大。这些内核是围绕 Blackwell B200 的行为进行优化的。对某一个寄存器或流水线模式有帮助的改变,可能在另一个目标上消失、退化或需要重新工作。如果一个团队想在生产中使用这个想法,真正的工作将是验证:正确性测试、数值容差检查、性能分析、可维护性审查、备用路径以及与发布工程的集成。
方法为何对智能体进化重要
AVO 之所以重要,是因为它提供了一个代理循环中可重复使用经验的具体示例。不只是作为存储的聊天记录的记忆,也不是作为隐喻的进化。代理会保留血统,利用执行反馈,并根据存活下来的内容改变未来的提议。
反馈只有在改变下一个提案时才有用
这是我不断回到的部分。一个失败的内核本身没有用处。一个分析器跟踪本身没有用处。一个已提交的版本本身没有用处。它们在下一个代理步骤可以读取它们并做出不同选择时才有用。
这是真正连接编码代理和进化搜索的桥梁。AVO 并不是说“让代理写代码然后抱希望”。它构建了一个循环,其中提议、修复、批评、验证、血统和执行反馈紧密相连,以便进展能够积累。
我对这个结论持保留态度,但感觉重要的要点是:智能体的进化不是关于人工智能宣布它已经学会了某些东西。而是关于系统是否保存了正确的证据,并利用这些证据进行更好的下次尝试。
常见问题
目前的NVIDIA AVO实现今天公开可用吗?
我无法验证 arXiv 2603.24517 v1 中描述的 AVO 系统是否存在 NVIDIA 官方公开的仓库、API 或封装实现。网上有第三方的复现和讨论,但这些不应被视为 NVIDIA 的发布。安全的表述是:论文是公开的;截至撰写时,相关实现和生成的内核尚未作为官方版本公开验证。
通过 NVIDIA AVO 生成的内核的知识产权归谁所有?
该论文并未确定内核的所有权。如果 AVO 在 NVIDIA 内部运行,所有权可能取决于 NVIDIA 的雇佣情况、合同、源代码输入、内部政策以及适用法律。如果其他团队构建类似 AVO 的系统,所有权则取决于该团队的合同、模型条款、源代码许可和贡献规则。这不是法律建议。对于由 NVIDIA 托管的工具或材料,在依赖生成的内核之前,请查看当前的 NVIDIA 开发者条款 以及任何具体的产品协议。
英伟达是否宣布对生产级AVO生成的内核提供商业支持?
我没有找到 NVIDIA 的公开公告,提供对论文中生成的 AVO 注意力核的商业支持。该论文是研究证据,不应被写成生产级服务水平协议、支持计划或保证部署路径。
AVO 是否会保留被拒绝的变体以供日后审计?
论文指出,不成功的中间尝试仍然是代理内部搜索轨迹的一部分,但不会被加入到已提交的血统中。每个已提交的版本都会作为带有其评分的 git 提交被保存。论文支持在运行期间被拒绝的尝试仍然保留在代理的内部轨迹中,但它并未确立这些尝试会被作为后续的审计存档保存。
AVO 内核能进入标准的 CUDA 构建流程吗?
原则上,如果生成的内核是有效的源代码、具有适当的许可、可维护、经过测试并且与周围项目集成,它可以进入 CUDA 构建管道。但 AVO 并不会消除正常的工程负担。生产团队仍然需要代码审查、可复现的基准测试、正确性检查点、硬件特定测试、回退行为、安全审查以及明确的所有权。这是一个检查点,而不是终点。
以前的帖子:
- 要理解 AVO 如何融入通过验证经验改进的智能体的更广泛概念,请阅读 EvoSkills 和自我进化技能,该文探讨了成功的智能体行为如何可以成为可重用的能力,而不是一次性的输出。
- 对于进化代理循环背后的记忆层,代理工作流内存 解释了以往运行、任务模式和验证证据如何塑造未来代理的行为。
- 如果你想将 NVIDIA AVO 放入更大的代理基础设施堆栈中,OpenHarness 和 GEP 代理堆栈层 展示了运行时执行、工具包和可重用经验层的不同之处。




