私はレナです。最初はNVIDIA AVOをほとんど見逃すところでした。
NVIDIA AVOを1分で
NVIDIA AVOは簡単に読み飛ばされやすい。それは新しいデスクトップ向けコーディング製品ではなく、すべてのエージェントが魔法のように自己改善できることの証明でもない。より明確に読むと、より狭く、より興味深い解釈ができる:AVOは、Agentic Variation Operatorsの略で、コーディングエージェントを進化的探索ループの中の変異オペレーターとして扱う。
私はここで立ち止まりました。この変化は言葉では小さいですが、システム設計では大きいものです。従来のLLM支援進化探索では、モデルは候補を生成することが多く、その周囲のフレームワークがサンプリング、スコアリング、個体群のルールを決定していました。AVOペーパーでは、エージェントはコードを生成する以上のことを行います。先行バージョンを読み、ドメイン知識を参照し、実装を編集し、テストを実行し、フィードバックを検討し、失敗を修復し、次に試すことを決定します。
2026年8月の確認時点で、arXivには、2026年3月25日にテリー・チェンとNVIDIA所属の22人の共著者によって提出された論文のバージョン1が掲載されています。現在の公開されている証拠は、サポートされた製品リリースとしてではなく、研究結果として読むべきです。
AVOが取り組む研究課題
GPUカーネルの最適化はエージェントをテストするには扱いにくい場所ですが、まさにそのために役立ちます。探索空間は非常に広大ですが、ほとんどのコード変更は無効であるか、遅くなるか、特定のハードウェアパスに強く依存しています。言語モデルはアイデアを提案できますが、カーネルの性能が実際のものになるのは、コンパイル、正確性のチェック、プロファイリング、ベンチマークの後です。
有効なカーネルの変更の大きな空間を探索する
論文の対象は、NVIDIA Blackwell B200 ハードウェア上でのアテンションカーネルの最適化です。これは重要です、なぜならアテンションはすでに大幅に最適化されているからです。ベースラインは弱い例ではありません。論文では、cuDNN 9.19.1 と FlashAttention-4 と比較しており、特定のコミットの公式 FA4 実装を使用しています。
核心的な難しさは「一度でより高速なカーネルを書くこと」ではありません。それは:有効な実装の変更を見つけ、数値的正確性を維持し、スループットを改善し、同じ失敗を繰り返さないように以前の試みを十分に記憶することです。それを普通のコード生成と呼ぶなら、何かが少しおかしいです。それはむしろ長期的な視野に立ったエンジニアリングの探索に近いです。
エージェンティック変異オペレーターの仕組み
最も単純なメンタルモデルはこれです:AVOは突然変異をエージェントの実行に変えます。固定された突然変異オペレーターがランダムまたはテンプレートに基づく編集を行う代わりに、エージェントは現在の系列を見て、どのような変化が有用かを判断します。
系統およびドメインのコンテキストを読む
系統はここで非常に重要な言葉の一つです。AVOの論文でのカーネル最適化の具体例は、単一系統の実行を使用します:各コミットされたカーネルバージョンは次の変化ステップが検査できる履歴の一部となります。エージェントは以前のバージョンを比較し、プロファイリングの挙動を確認し、そのコンテキストを利用して新しい方向性を選ぶことができます。
ドメインコンテキストも明示されています。論文によると、ナレッジベースにはCUDAプログラミングガイド、PTX ISAドキュメント、Blackwellアーキテクチャ情報、およびFlashAttention-4のソースコードを含む既存のカーネル実装が含まれています。それは単にチャットボットのカジュアルな意味での「メモリ」ではありません。それは技術的な検索のための作動コンテキストです。
変種を提案、修理、批評、検証する
1つのAVOバリエーションステップの中で、エージェントは以前のカーネルを検査し、編集を提案し、それをコンパイルし、正確性テストを実行し、プロファイリング結果を調べ、実装が失敗した場合には修正することができます。候補が正しくない場合、スループットに関係なくゼロ点を受け取ります。このルールは、検索が高速だが誤ったカーネルを報いることを防ぐために重要です。
論文のカーネル最適化の具体例では、正確性を通過し、最良のコミット済みベンチマークスコアと一致するか改善される場合にのみ、新しいバージョンをコミットします。失敗した試みも内部の探索軌跡に影響を与える可能性はありますが、それらはコミット済みの系統には追加されません。これにより、公開された系統にはきれいな進捗のストーリーが与えられますが、無視すべきでない監査のギャップも残されます。
実行フィードバックを使用して次の探索ステップを導く
これは、AVOをカーネルのチューニングを超えて関連性のあるものにする部分です。フィードバックは次の提案に変化をもたらす場合にのみ重要です。AVOはそのループ(行動、測定、解釈、修正)を中心に設計されています。
この論文の例は非常に具体的です。あるバリアントはアキュムレータのリスケーリングで分岐を除去します。別のバリアントは修正作業を行列積の活動と重ねます。さらに別のバリアントはワープグループ間でレジスタを再バランスします。これらは表面的なリファクタリングではありません。それらは同期、スケジューリング、レジスタ圧力、メモリ挙動に依存しています。
ここで、この手法がよりランダムでなく感じられ始めると思います。エージェントは単にコードの文字列をサンプリングしているわけではありません。実行のフィードバックを使って探索戦略を再構築しているのです。
評価が実際に測定するもの
この評価は、特定のB200アテンション設定下でのカーネルのスループットと正確性を測定します。一般的な知能、広範なソフトウェアの品質、または本番環境での適性は測定しません。
NVIDIA B200 ハードウェアでの注意カーネル実験
この論文では、CUDA 13.1 と PyTorch 2.10.0 を用いた NVIDIA B200 GPU 上での実験について報告しています。マルチヘッドアテンションに関しては、BF16 精度、ヘッド次元 128、16 ヘッド、シーケンス長 4,096 から 32,768、総トークン数固定 32k でのフォワードプリフィリングスループットを評価しています。著者らは平均性能と標準偏差を報告するために、実験を 10 回実施しています。
MHA に関しては、AVO は評価された構成全体で cuDNN より最大 3.5%、FlashAttention-4 より最大 10.5% 高い性能を報告しています。GQA に関しては、約 30 分の追加自律適応後に、cuDNN より最大 7.0%、FA4 より 9.3% 高い性能を報告しています。FA との比較も重要です。なぜなら、論文では FlashAttention ベンチマークスクリプト の同じタイミングスクリプトと FA4 論文と同じウォームアップおよび繰り返し回数を使用したと述べているからです。
それらは意味のある数字ですが、限られた数字です。それらは、先に述べた紙のバージョン、ハードウェア、精度、シーケンス設定、基準線、測定プロセスに属します。
論文が確立していないこと
ここで私が慎重になりたい点です。AVOは強力な研究信号ですが、自律エージェントに関する主張に対する白紙小切手ではありません。
ジェネラルエージェントの改善、製造移転、ハードウェアの移植性
この論文は、すべてのコーディングエージェントが自己改善することを証明しているわけではありません。また、AVOによって生成されたカーネルがすべてのモデルアーキテクチャで本番環境に安全であることを示しているわけでもありません。すべてのGPU世代やすべてのCUDAワークロードへの移植性を確立しているわけでもありません。さらに、本番チームが知りたいすべての情報─総トークン予算、正確なフロンティアモデルの構成、失敗した軌跡の全体、あるいはarXivリリースに紐づいたNVIDIAの公開実装リポジトリ─を明かしているわけでもありません。
ハードウェアの移植性は、特に過大評価されやすいです。これらのカーネルは、Blackwell B200 の挙動に合わせて最適化されています。あるレジスタやパイプラインのパターンに有効な変更は、別のターゲットでは消えたり、逆行したり、再作業が必要になることがあります。もしチームがこのアイデアを本番環境で使用したい場合、実際の作業は検証となります:正確性テスト、数値許容差のチェック、プロファイリング、保守性レビュー、フォールバック経路、そしてリリースエンジニアリングへの統合です。
エージェント進化において手法が重要である理由
AVOが重要なのは、それがエージェントループにおける再利用可能な経験の具体例を示すからです。単なる保存されたチャット履歴としての記憶や、比喩としての進化ではありません。エージェントは系統を保持し、実行フィードバックを利用し、生き残ったものに基づいて将来の提案を変更します。
フィードバックは、次の提案を変えるときにのみ役立ちます
ここが私が何度も立ち戻る部分です。失敗したカーネルだけでは役に立ちません。プロファイラのトレースだけでも役に立ちません。確定されたバージョンだけでも役に立ちません。次のエージェントのステップがそれを読み取り、異なる選択をできるときに、それらは役に立ちます。
それが、コーディングエージェントと進化的探索の間の本当の橋です。AVOは「エージェントにコードを書かせて、あとは運任せにする」とは言いません。提案、修正、批評、検証、系統、実行フィードバックが十分に密接に結びついたループを構築し、進展が蓄積されるようにします。
私はこの結論をあまり固くは持っていませんが、重要なポイントのように感じます:エージェントの進化とは、AIが学んだことを発表することではありません。それは、システムが正しい証拠を保持し、それを使って次の試みをより良くするかどうかに関わることです。
よくある質問
現在のNVIDIA AVOの実装は今日、一般に公開されていますか?
私は、arXiv 2603.24517 v1 で説明されている AVO システムに関して、公式の公開された NVIDIA リポジトリ、API、またはパッケージ化された実装を確認することができませんでした。サードパーティによる再現やオンラインでの議論はありますが、それらは NVIDIA の公式リリースとして扱うべきではありません。安全な表現は次の通りです:論文は公開されています;実装および生成されたカーネルは、執筆時点では公式リリースとして公開裏付けされていません。
NVIDIA AVOを通じて生成されたカーネルの知的財産権は誰が所有していますか?
この論文はカーネルの所有権を確定するものではありません。AVO が NVIDIA 内で実行される場合、所有権はおそらく NVIDIA での雇用契約、契約書、ソース入力、社内方針、および適用法に依存します。別のチームが AVO に似たシステムを構築する場合、所有権はそのチームの契約、モデル利用規約、ソースコードライセンス、および貢献ルールに依存します。これは法的助言ではありません。NVIDIA 提供のツールや資料については、生成されたカーネルに依存する前に、現在の NVIDIA開発者規約 および特定の製品契約を確認してください。
NVIDIAは商用向けのAVO生成カーネルのサポートを発表しましたか?
私は、論文から生成された商用AVO注意カーネルに対して商業的サポートを提供する公的なNVIDIAの発表を見つけませんでした。この論文は研究の証拠です。それは、製品用SLA、サポートプログラム、または保証されたデプロイメントパスとして記述すべきではありません。
AVOは却下されたバリアントを後で監査するために保存しますか?
論文によると、失敗した中間の試みはエージェントの内部探索の軌跡の一部として残るが、確定された系譜には追加されない。各確定バージョンは、そのスコアとともに git コミットとして保持される。論文は、実行中に拒否された試みがエージェントの内部軌跡に残ることを支持しているが、それらが後の監査アーカイブとして保存されることを確認しているわけではない。
AVOカーネルは標準のCUDAビルドパイプラインに入ることができますか?
原則として、生成されたカーネルは、有効なソースコードであり、適切にライセンスされ、保守可能で、テストされており、周囲のプロジェクトと統合されている場合に、CUDAのビルドパイプラインに入れることができます。しかし、AVOは通常のエンジニアリングの負荷を取り除くものではありません。プロダクションチームは依然として、コードレビュー、再現可能なベンチマーク、正確性ゲート、ハードウェア固有のテスト、フォールバック動作、セキュリティレビュー、および明確な所有権が必要です。これはチェックポイントであり、終了ではありません。
以前の投稿:
- AVOが検証された経験を通じてエージェントが改善するというより広い考え方にどう位置づけられるかを理解するには、成功したエージェントの行動が単発の成果ではなく再利用可能な能力になる方法を考察したエヴォスキルと自己進化スキルを読んでください。
- 進化エージェントループの背後にあるメモリ層について、エージェントワークフローメモリは、過去の実行、タスクパターン、および検証証拠が将来のエージェントの行動をどのように形作るかを説明している。
- もしNVIDIA AVOをより大きなエージェントインフラストラクチャスタックの中に配置したい場合、OpenHarness と GEP エージェントのスタックレイヤーはランタイム実行、ハーネス、および再利用可能なエクスペリエンス層がどのように異なるかを示しています。




