我是Lena。我一開始差點錯過了NVIDIA AVO。
一分鐘瞭解 NVIDIA AVO
NVIDIA AVO 很容易被忽略。它不是一個新的桌面編碼產品,也不是證明每個代理都能神奇地自我改進。更清楚的理解方式是更狹義且有趣的:AVO,是 Agentic Variation Operators(代理變異操作器)的簡稱,將編碼代理視為進化搜尋迴圈內的變異操作器。
我在這裡停頓了一下,因為這種轉變在用詞上微小,但在系統設計上卻很大。在較舊的 LLM 輔助進化搜尋中,模型通常只生成候選項,而周圍的框架則決定抽樣、評分和族群規則。在 AVO 論文 中,代理不僅僅生成代碼。它會閱讀先前版本、查閱領域知識、編輯實現、運行測試、研究反饋、修復失敗,並決定下一步嘗試的內容。
截至我2026年8月的查核,arXiv 列出了這篇論文的第1版,由 Terry Chen 與 22 位擁有 NVIDIA 聯繫的共同作者於2026年3月25日提交。目前公開的證據應被視為研究成果,而非正式支持的產品發布。
AVO 所解決的研究問題
GPU 核心優化是一個不適合測試代理的尷尬領域,這正是它有用的原因。搜尋空間非常大,但大多數程式碼更改要么無效,要么更慢,要么過於依賴單一硬體路徑。語言模型可以提出想法,但核心性能只有在編譯、正確性檢查、分析和基準測試之後才會變得真實。
搜尋大量有效的核心變更空間
論文中的目標是在 NVIDIA Blackwell B200 硬體上進行注意力核優化。這很重要,因為注意力已經被高度優化了。基準並不是弱例子。論文對比了 cuDNN 9.19.1 和 FlashAttention-4,使用特定提交版本的官方 FA4 實現。
核心困難不是“一次就寫出更快的內核”。而是:找到一個有效的實現變更,保持數值正確性,提高吞吐量,並記住之前的嘗試以避免重蹈失敗。如果我們稱之為普通的代碼生成,那就有點不對了。它更接近於長期工程搜尋。
代理變異運算子如何運作
最簡單的心智模型是這樣的:AVO 將突變轉換為代理執行。代理不是依靠固定的突變操作來進行隨機或基於範本的編輯,而是觀察當前的世系並決定哪種類型的變化可能有用。
閱讀血統和領域上下文
血統是這裡一個相當重要的詞。AVO 論文中的核心優化實例使用單一血統運行:每個提交的內核版本都成為歷史的一部分,下一個變異步驟可以檢查。代理可以比較之前的版本,回顧分析行為,並利用這些上下文來選擇新的方向。
領域上下文也是明確的。論文指出,知識庫包括 CUDA 編程指南、PTX ISA 文檔、Blackwell 架構信息,以及現有的內核實現,包括 FlashAttention-4 的源碼。這不只是一般聊天機器人意義上的「記憶」。它是一個技術搜尋的工作上下文。
提出、修復、批評及驗證變體
在一次 AVO 變體步驟中,代理可能會檢查先前的內核、提出修改、編譯它、運行正確性測試、研究分析結果,並在實現失敗時進行修復。如果候選內核不正確,無論吞吐量如何,都會得到零分。這條規則很重要,因為它防止搜索獎勵快速但錯誤的內核。
該論文的核心優化實例只有在通過正確性檢查並且達到或超過最佳已提交的基準分數時才會提交新版本。失敗的嘗試仍然可以影響內部搜尋軌跡,但它們不會被加入已提交的系譜中。這為已發布的系譜提供了清晰的進展故事,同時也留下了一個我們不應忽視的審計空白。
使用執行反饋來指導下一步搜尋
這是使 AVO 在核心調整之外仍具相關性的部分。反饋只有在它改變下一次提議時才有意義。AVO 是圍繞這個循環設計的:行動、測量、解釋、修正。
這篇論文的例子非常具體。其中一個變體是在累加器重新縮放時移除一個分支。另一個則是將校正工作與矩陣乘法活動重疊。還有一個重新平衡不同執行緒組的寄存器。這些都不是表面層的重構。它們依賴於同步、排程、寄存器壓力和記憶體行為。
我認為這是方法開始感覺不那麼隨機的地方。代理不僅僅是在抽樣程式碼字串。它正在使用執行反饋來重新塑造其搜索策略。
評估實際測量的內容
該評估測量內核在特定 B200 注意力設置下的吞吐量和正確性。它不測量一般智能、廣泛的軟體品質或生產就緒性。
在 NVIDIA B200 硬體上的注意力核心實驗
該論文報告了在搭載 CUDA 13.1 和 PyTorch 2.10.0 的 NVIDIA B200 GPU 上的實驗。對於多頭注意力,它評估了使用 BF16 精度、頭部維度為 128、16 個頭、序列長度從 4,096 到 32,768 並固定總 token 數為 32k 的前向預填充吞吐量。作者將實驗運行 10 次以報告平均性能和標準差。
對於 MHA,AVO 在評估的配置中,相比 cuDNN 最大提升 3.5%,相比 FlashAttention-4 最大提升 10.5%。對於 GQA,經過大約 30 分鐘的額外自主適應後,AVO 相比 cuDNN 最大提升 7.0%,相比 FA4 最大提升 9.3%。FA 的比較也很重要,因為論文中提到它使用了與 FlashAttention 基準測試腳本 相同的計時腳本,以及與 FA4 論文相同的預熱和重複輪次。
那些是有意義的數字,但它們是有限的數字。它們屬於上述所描述的紙本版本、硬體、精度、序列設置、基準線和測量過程。
論文未確立的事項
這是我想要小心的地方。AVO 是一個強勁的研究信號,但它並不是對自主代理相關主張的空白支票。
通用代理改進、生產轉移與硬體可攜性
這篇論文並未證明所有編碼代理都會自我改進。它也未顯示 AVO 生成的核心在所有模型架構中都是生產安全的。它也未建立對每一代 GPU 或每一個 CUDA 工作負載的可移植性。它同樣沒有透露生產團隊可能想知道的所有資訊:總字元數限制、精確的前沿模型配置、完整的失敗軌跡,或與 arXiv 發布相關的公開 NVIDIA 實作庫。
硬體可攜性特別容易被誇大。這些核心是圍繞 Blackwell B200 的行為進行優化的。一個有助於某個寄存器或流水線模式的改變,可能在另一個目標上消失、倒退或需要重新工作。如果一個團隊想在生產中使用這個想法,真正的工作將是驗證:正確性測試、數值容差檢查、性能分析、可維護性審查、備援路徑,以及整合到版本工程中。
為什麼方法對代理進化很重要
AVO 之所以重要,是因為它提供了在代理循環中可重複使用經驗的具體範例。不僅僅是作為儲存的聊天記錄的記憶,也不僅是作為隱喻的進化。代理保留一個血統,使用執行反饋,並根據存活下來的經驗改變未來的提案。
反饋只有在改變下一個提案時才有用
這是我不斷回到的部分。一個失敗的核心本身沒有用處。分析器追蹤本身沒有用處。一個已提交的版本本身沒有用處。它們在下一個代理步驟可以讀取它們並做出不同選擇時才有用。
這才是編碼代理與進化搜索之間的真正橋樑。AVO 並不是說「讓代理寫代碼然後抱希望」。它構建了一個循環,其中提議、修復、批評、驗證、血統和執行反饋緊密相連,以便讓進展累積起來。
我對這個結論持保留態度,但它感覺像是重要的收穫:代理的進化不是關於 AI 宣布它已經學會了什麼,而是關於系統是否保存正確的證據並利用它來產生更好的下一次嘗試。
常見問題
目前的 NVIDIA AVO 實作今天是否公開可用?
我無法驗證 arXiv 2603.24517 v1 中描述的 AVO 系統是否有 NVIDIA 官方公開的倉庫、API 或封裝實現。網上有第三方的復現和討論,但這些不應被視為 NVIDIA 的正式發布。安全的說法是:論文是公開的;實現和生成的內核在撰寫本文時尚未被公開驗證為官方版本。
誰擁有通過 NVIDIA AVO 生成的內核的知識產權?
這篇文章並未決定核心所有權。如果 AVO 在 NVIDIA 內部運行,所有權可能取決於 NVIDIA 的僱傭關係、合約、源碼輸入、內部政策以及適用的法律。如果另一個團隊構建類似 AVO 的系統,所有權取決於該團隊的合約、模型條款、源碼授權及貢獻規則。這不是法律建議。對於 NVIDIA 托管的工具或資料,請在依賴生成的核心之前,先檢閱當前的 NVIDIA 開發者條款 與任何特定產品協議。
NVIDIA 是否已宣布對生產用 AVO 生成的內核提供商業支持?
我沒有找到任何 NVIDIA 公共公告,提供對論文中生成的 AVO 注意力核心的商業支持。該論文是研究證據,不應被寫成生產級 SLA、支持計劃或保證的部署路徑。
AVO 是否會保留被拒絕的變體以供日後審核?
論文指出,不成功的中間嘗試仍然是代理內部搜尋軌跡的一部分,但不會被加入已提交的血統中。每個已提交的版本都會作為帶有其分數的 git 提交被保存。論文支持在運行期間被拒絕的嘗試仍會保留在代理的內部軌跡中,但並未證實它們會作為後續的審計存檔被保存。
AVO 核心可以進入標準 CUDA 建置流程嗎?
原則上,如果生成的內核是有效的源代碼、具有適當的許可、可維護、經過測試並與周圍項目集成,它可以進入 CUDA 編譯流程。但 AVO 並不消除正常的工程負擔。生產團隊仍然需要進行代碼審查、可重現的基準測試、正確性檢查、硬件特定測試、回退行為、安全審查以及明確的責任分配。這是一個檢查點,而不是結束。
先前的文章:
- 要了解AVO如何融入通過驗證經驗改進的代理的更廣泛概念,請閱讀EvoSkills 和自我進化技能,它探討了成功的代理行為如何可以成為可重用的能力,而非一次性輸出。
- 對於位於進化代理循環後方的記憶層,代理工作流程記憶 解釋了先前的運行、任務模式以及驗證證據如何塑造未來代理的行為。
- 如果你想將 NVIDIA AVO 放置在更大的代理基礎設施堆疊中,OpenHarness 和 GEP 代理堆疊層 展示了運行時執行、控制和可重用經驗層的不同之處。




