NVIDIA und AWS bringen Nemotron 3.5 Super VL mit 1-Million-Token-Fenster zu SageMaker JumpStart
NVIDIAs neues Vision-Language-Modell kommt in den verwalteten Katalog von AWS – mit hybrider Mixture-of-Experts-Architektur und quantisierten Varianten für Agenten, die Dokumente sehen und lesen müssen
NVIDIA und Amazon Web Services haben die Verfügbarkeit von Nemotron 3.5 Super VL in Amazon SageMaker JumpStart angekündigt, dem verwalteten Modellkatalog der Amazon-Cloud. Die Ankündigung erfolgte im offiziellen Machine-Learning-Blog von AWS.
Das Modell kann in wenigen Schritten in SageMaker Studio oder mit einigen Zeilen des SageMaker Python SDK bereitgestellt werden. Es handelt sich um das Vision-Language-Modell (VLM) der Nemotron-3.5-Familie, das Bilder, Videos und Text als Eingabe akzeptiert und Text als Ausgabe generiert.
Hybride Mixture-of-Experts-Architektur
Super VL kombiniert ein hybrides Mixture-of-Experts (MoE)-Sprachbackbone mit 120 Milliarden Parametern, davon 12 Milliarden aktive Parameter pro Token, mit einem dedizierten C-RADIO-Vision-Encoder. Die Konfiguration ermöglicht Kontextfenster von bis zu 1 Million Tokens.
Das Modell enthält außerdem einen integrierten Multi-Token Prediction (MTP)-Head, der spekulative Dekodierung ermöglicht – eine Technik, die die Generierung beschleunigt, indem mehrere Tokens vorausgesagt werden. Das Reasoning kann pro Anfrage individuell konfiguriert werden.
Fokus auf Agenten, die sehen und lesen
Laut NVIDIA wurde Super VL für vier Hauptbereiche entwickelt: Dokumentenintelligenz, Verständnis grafischer Benutzeroberflächen (GUI) für Computer-Use-Agenten, Beantwortung von Fragen zu Videos und agentische multimodale Anwendungen.
Das Modell zielt auf Workloads, die von Vision-Language-Agenten verlangen, Reasoning, Coding, Tool-Nutzung, Dokumentenverständnis und Videoverständnis in einem einzigen System zu kombinieren.
Zwei Varianten und gemessene Leistung
JumpStart bietet zwei Varianten des Modells. NVFP4, der Katalogstandard, ist aus BF16 mit quantisierungsbewusster Destillation für optimierte Inferenz quantisiert. BF16 liefert die Referenzgewichte in voller Präzision.
In den von NVIDIA veröffentlichten multimodalen Benchmarks erreicht die NVFP4-Variante Parität mit BF16 auf MMLongBench-Doc und liegt bei den übrigen Tests innerhalb von etwa einem Punkt, mit etwas höherer Leistung auf OCRBench v2 und OSWorld-Verified.
AWS hat die Inferenzleistung mit dem JumpStart-Launch-Container gemessen, unter Verwendung des Generierungsprofils mit 250 Eingabe-Tokens, 1.500 Ausgabe-Tokens und fünf gleichzeitigen Streaming-Anfragen. Die BF16-Variante erreichte auf ml.p5en.48xlarge-Instanzen 140,85 Ausgabe-Tokens pro Sekunde pro Anfrage.
Die Zeit bis zum ersten Token lag in den drei getesteten Konfigurationen bei etwa einer halben Sekunde. Bei längeren Prompts ändert sich das Bild: Im Summarization-Profil mit 10.000 Eingabe-Tokens erreicht die Zeit bis zum ersten Token auf der ml.g7.24xlarge-Instanz 12,62 Sekunden.
Validierte Bereitstellung
Die NVFP4-Variante läuft auf G7-Instanzen mit NVIDIA RTX PRO 4500 Blackwell GPUs und bietet einen geringeren GPU-Footprint. AWS betont, dass die Messungen, da die Varianten auf unterschiedlichen GPU-Systemen und -Konfigurationen laufen, keinen isolierten Genauigkeitsvergleich zwischen BF16 und NVFP4 darstellen.
Der Launch erweitert den Zugang zur Nemotron-3.5-Familie innerhalb des AWS-Ökosystems und ermöglicht Entwicklern, das Vision-Language-Modell bereitzustellen, ohne eigene Infrastruktur verwalten zu müssen. Der vollständige technische Bericht mit dem Vergleich gegen andere öffentliche Modelle und den Evaluationsanpassungen wurde von NVIDIA Research veröffentlicht.