NVIDIA et AWS proposent Nemotron 3.5 Super VL sur SageMaker JumpStart avec une fenêtre de 1 million de tokens
Le nouveau modèle vision-langage de NVIDIA arrive dans le catalogue géré d'AWS avec une architecture hybride d'experts et des variantes quantifiées pour les agents qui doivent voir et lire des documents
NVIDIA et Amazon Web Services ont annoncé la disponibilité de Nemotron 3.5 Super VL dans Amazon SageMaker JumpStart, le catalogue géré de modèles du cloud d'Amazon. L'annonce a été faite sur le blog officiel de machine learning d'AWS.
Le modèle peut être déployé en quelques étapes dans SageMaker Studio ou avec quelques lignes du SDK Python de SageMaker. Il s'agit du modèle vision-langage (VLM) de la famille Nemotron 3.5, qui accepte des images, des vidéos et du texte en entrée et génère du texte en sortie.
Architecture hybride d'experts
Super VL combine un backbone linguistique hybride Mixture-of-Experts (MoE) de 120 milliards de paramètres, avec 12 milliards de paramètres actifs par token, à un encodeur visuel C-RADIO dédié. La configuration permet des fenêtres de contexte allant jusqu'à 1 million de tokens.
Le modèle inclut également une tête Multi-Token Prediction (MTP) intégrée, qui permet le décodage spéculatif—une technique qui accélère la génération en prédisant plusieurs tokens à l'avance. Le raisonnement peut être configuré individuellement par requête.
Axé sur les agents qui voient et lisent
Selon NVIDIA, Super VL a été conçu pour quatre domaines principaux : l'intelligence documentaire, la compréhension des interfaces graphiques (GUI) pour les agents d'utilisation d'ordinateur, la réponse aux questions sur les vidéos et les applications multimodales agentiques.
Le modèle cible les charges de travail qui exigent que les agents vision-langage combinent raisonnement, codage, utilisation d'outils, compréhension de documents et compréhension vidéo dans un seul système.
Deux variantes et performances mesurées
JumpStart propose deux variantes du modèle. NVFP4, la valeur par défaut du catalogue, est quantifiée à partir de BF16 avec une distillation consciente de la quantification pour une inférence optimisée. BF16 fournit les poids de référence en pleine précision.
Dans les benchmarks multimodaux publiés par NVIDIA, la variante NVFP4 égale BF16 sur MMLongBench-Doc et reste à environ un point sur les autres tests, avec des performances légèrement supérieures sur OCRBench v2 et OSWorld-Verified.
AWS a mesuré les performances d'inférence avec le conteneur de lancement de JumpStart, en utilisant le profil de génération avec 250 tokens d'entrée, 1 500 tokens de sortie et cinq requêtes simultanées en streaming. La variante BF16, exécutée sur des instances ml.p5en.48xlarge, a atteint 140,85 tokens de sortie par seconde par requête.
Le temps jusqu'au premier token était d'environ une demi-seconde dans les trois configurations testées. Avec des prompts plus longs, le tableau change : dans le profil de summarisation avec 10 000 tokens d'entrée, le temps jusqu'au premier token sur l'instance ml.g7.24xlarge atteint 12,62 secondes.
Déploiement validé
La variante NVFP4 s'exécute sur des instances G7 avec des GPU NVIDIA RTX PRO 4500 Blackwell, offrant une empreinte GPU réduite. AWS souligne que, comme les variantes s'exécutent sur des systèmes et configurations GPU différents, les mesures ne constituent pas une comparaison isolée de précision entre BF16 et NVFP4.
Le lancement élargit l'accès à la famille Nemotron 3.5 au sein de l'écosystème AWS, permettant aux développeurs de déployer le modèle vision-langage sans gérer leur propre infrastructure. Le rapport technique complet, avec la comparaison contre d'autres modèles publics et les ajustements d'évaluation, a été publié par NVIDIA Research.