NVIDIA y AWS llevan Nemotron 3.5 Super VL a SageMaker JumpStart con ventana de 1 millón de tokens
El nuevo modelo de visión-lenguaje de NVIDIA llega al catálogo gestionado de AWS con arquitectura híbrida de expertos y variantes cuantizadas para agentes que necesitan ver y leer documentos
NVIDIA y Amazon Web Services anunciaron la disponibilidad de Nemotron 3.5 Super VL en Amazon SageMaker JumpStart, el catálogo gestionado de modelos de la nube de Amazon. El anuncio se hizo en el blog oficial de machine learning de AWS.
El modelo se puede desplegar en pocos pasos en SageMaker Studio o con unas pocas líneas del SDK de Python de SageMaker. Se trata del modelo de visión-lenguaje (VLM) de la familia Nemotron 3.5, que acepta imágenes, video y texto como entrada y genera texto como salida.
Arquitectura híbrida de expertos
Super VL combina un backbone de lenguaje híbrido Mixture-of-Experts (MoE) de 120 mil millones de parámetros, con 12 mil millones de parámetros activos por token, con un codificador visual C-RADIO dedicado. La configuración permite ventanas de contexto de hasta 1 millón de tokens.
El modelo también incluye una cabeza integrada de Multi-Token Prediction (MTP), que habilita decodificación especulativa—una técnica que acelera la generación al predecir múltiples tokens por delante. El razonamiento se puede configurar individualmente por solicitud.
Enfoque en agentes que ven y leen
Según NVIDIA, Super VL fue construido para cuatro frentes principales: inteligencia de documentos, comprensión de interfaces gráficas (GUI) para agentes de uso de computadora, respuesta a preguntas sobre videos y aplicaciones multimodales agénticas.
El modelo apunta a cargas de trabajo que exigen que los agentes de visión-lenguaje combinen razonamiento, codificación, uso de herramientas, comprensión de documentos y entendimiento de video en un solo sistema.
Dos variantes y rendimiento medido
JumpStart ofrece dos variantes del modelo. NVFP4, la predeterminada del catálogo, está cuantizada desde BF16 con destilación consciente de cuantización para inferencia optimizada. BF16 trae los pesos de referencia en precisión total.
En los benchmarks multimodales divulgados por NVIDIA, la variante NVFP4 iguala a BF16 en MMLongBench-Doc y queda dentro de aproximadamente un punto en los demás tests, con rendimiento ligeramente superior en OCRBench v2 y OSWorld-Verified.
AWS midió el rendimiento de inferencia con el contenedor de lanzamiento de JumpStart, usando el perfil de generación con 250 tokens de entrada, 1.500 tokens de salida y cinco solicitudes concurrentes en streaming. La variante BF16, ejecutándose en instancias ml.p5en.48xlarge, alcanzó 140,85 tokens de salida por segundo por solicitud.
El tiempo hasta el primer token fue de aproximadamente medio segundo en las tres configuraciones probadas. Con prompts más largos, el panorama cambia: en el perfil de sumarización con 10.000 tokens de entrada, el tiempo hasta el primer token en la instancia ml.g7.24xlarge llega a 12,62 segundos.
Despliegue validado
La variante NVFP4 se ejecuta en instancias G7 con GPUs NVIDIA RTX PRO 4500 Blackwell, ofreciendo una menor huella de GPU. AWS señala que, como las variantes se ejecutan en sistemas y configuraciones de GPU diferentes, las mediciones no constituyen una comparación aislada de precisión entre BF16 y NVFP4.
El lanzamiento amplía el acceso a la familia Nemotron 3.5 dentro del ecosistema AWS, permitiendo a los desarrolladores desplegar el modelo de visión-lenguaje sin gestionar infraestructura propia. El informe técnico completo, con la comparación contra otros modelos públicos y los ajustes de evaluación, fue publicado por NVIDIA Research.