NVIDIA Nemotron 3.5 Super VL 在 Amazon EKS 与 SageMaker HyperPod EKS 上的部署指南
NVIDIA Nemotron 3.5 Super VL 已加入 AWS 上现有的 Nemotron 3 Nano、Nano Omni、Super、Ultra 和 Nemotron 3.5 Lightning 模型阵容。这是一个 120B 参数的多专家（MoE）模型，每个 token 激活 12B 参数，把推理与工具使用同文本、图像、文档和视频理解结合起来，一个模型即可承担文本与视觉任务。
模型规格与架构
Nemotron 3.5 Super VL 是从 Nemotron 3 Ultra 蒸馏而来的开放多模态模型。NVIDIA 公开权重、训练数据集和后训练配方，用户可以针对领域负载做定制，并在自己控制的基础设施上运行。
关键参数包括：120B 总参数、每 token 激活 12B；混合 Mamba-2、MoE 与注意力层，搭配 RADIO 视觉编码器；上下文长度最高 1M tokens；输入支持文本、图像、文档和视频，输出为文本；提供 BF16 和 NVFP4 检查点。NVIDIA 报告其在 Hermes Bench 上得分 63.44%，LangChain agent 评测 87.05%，CharXiv 图表推理基准 80.8%。
架构上，模型交错排列 Mamba-2、注意力和专家层，稀疏路由使每 token 的计算量接近更小的模型，但 GPU 显存仍需容纳全部权重。Mamba-2 层在生成时维持恒定大小的状态，内存不随序列长度增长，从而让长上下文更可负担。递归共享的多 token 预测（MTP）头支持原生投机解码。
适用场景
该模型面向将推理与视觉理解结合的智能体工作流，包括：代码测试与错误分析、修复建议；网络研究中的来源交叉核对；读取表格、图表和页面布局的文档智能；漏洞识别与威胁分诊；视频搜索、内容审核与事件分析。它通过 NVIDIA 参考实现、cookbook 和 NVIDIA Agent Toolkit 与主流开放智能体框架和编排系统集成。
部署方式
参考实现可运行在标准 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上。使用 EKS Auto Mode 时，AWS 代为管理集群的扩缩容、GPU 和 EFA 支持。各编排选项的 Kubernetes 清单相同。集群控制面承载 Kubernetes API，数据面由 CPU 与 GPU 节点组成：CPU 节点运行系统与测试 pod，GPU 节点运行模型。容器镜像存放在 Amazon ECR，共享的 Amazon FSx for Lustre 卷存放模型权重，EFA 连接 GPU 节点。NVIDIA Dynamo 支持单节点聚合服务，也支持把 prefill 与 decode 分置不同节点的分离式部署；对视觉语言模型，图像/视频编码阶段还可单独放在一个节点上运行。
最低 GPU 配置方面，vLLM 下 BF16 与 NVFP4 分别需要：B200/GB200 为 8 卡与 2 卡，B300/GB300 为 4 卡与 1 卡，H200 为 8 卡与 4 卡，H100 为 16 卡与 8 卡。
验证与性能
该架构已在 p6-b200.48xlarge（8 块 NVIDIA B200 GPU）和 p5en.48xlarge（8 块 NVIDIA H200 GPU）实例上验证。可用 NCCL all-reduce 微基准检查集群与网络，观察所有 GPU 的利用率和所有 EFA 适配器的流量。部署后的模型性能可用 NVIDIA aiperf 工具测量，输出包括首 token 时延（TTFT）、token 间时延（ITL）和每秒 token 吞吐（TPS）等指标；在不同并发水平下测量，可研究时延与吞吐随并发请求数的变化，用于容量规划和部署拓扑选择。aws-do-eks 容器提供单命令自动化，用于可视化 GPU 与 EFA 利用率、运行 aiperf 和并发扫描。
并发扫描对比显示，在两节点上，Nemotron 3.5 Super VL 的聚合式与分离式部署相比，分离式部署的 TTFT 更低，ITL 大致相同。这类图表可用于部署决策：画出时延预算的水平线，例如 TTFT 低于 600 ms、每 token ITL 低于 100 ms，两条线以下最右侧的点即该拓扑单副本可服务的吞吐上限。
编辑部观察
这篇文章本质是 AWS 与 NVIDIA 的部署参考，而非新模型发布：Nemotron 3.5 Super VL 被描述为已可用，文章重点在架构说明与在 EKS 系产品上的落地路径。对读者的实际价值在于两点：一是 1M 上下文与多模态输入组合，适合文档、视频类智能体负载；二是 BF16 与 NVFP4 的显存需求差异明显，NVFP4 可把 B300/GB300 的最低卡数压到 1 卡，选型时应先确认精度与吞吐的取舍。文中性能数字均为 NVIDIA 报告值，实际部署前建议按文中方法用 NCCL 与 aiperf 在自有集群复测，并结合并发扫描确定副本数与拓扑。
