NVIDIA e AWS disponibilizam Nemotron 3.5 Super VL no SageMaker JumpStart com janela de 1 milhão de tokens
Novo modelo de visão-linguagem da NVIDIA chega ao catálogo gerenciado da AWS com arquitetura híbrida de especialistas e variantes quantizadas para agentes que precisam enxergar e ler documentos
Ficha Técnica
- Arquitetura: 120 bilhões de parâmetros totais com 12 bilhões ativos por token, backbone híbrido Mixture-of-Experts (MoE) e codificador visual C-RADIO
- Contexto: janela de até 1 milhão de tokens, com cabeça Multi-Token Prediction (MTP) para decodificação especulativa e raciocínio configurável por requisição
- Variantes no JumpStart: NVFP4 (padrão, quantizado a partir de BF16 com destilação ciente de quantização) e BF16 de precisão total; NVFP4 roda em instâncias G7 com GPU RTX PRO 4500 Blackwell
A NVIDIA e a Amazon Web Services anunciaram a disponibilização do Nemotron 3.5 Super VL no Amazon SageMaker JumpStart, o catálogo gerenciado de modelos da nuvem da Amazon. O anúncio foi feito no blog oficial de machine learning da AWS.
O modelo pode ser implantado em poucos passos no SageMaker Studio ou com algumas linhas do SDK Python do SageMaker. Trata-se do modelo de visão-linguagem (VLM) da família Nemotron 3.5, que aceita imagens, vídeo e texto como entrada e gera texto como saída.
Arquitetura híbrida de especialistas
O Super VL combina um backbone de linguagem híbrido Mixture-of-Experts (MoE) de 120 bilhões de parâmetros, com 12 bilhões de parâmetros ativos por token, a um codificador visual C-RADIO dedicado. A configuração permite janelas de contexto de até 1 milhão de tokens.
O modelo também inclui uma cabeça Multi-Token Prediction (MTP) integrada, que viabiliza decodificação especulativa — técnica que acelera a geração ao prever múltiplos tokens adiante. O raciocínio pode ser configurado individualmente por requisição.
Foco em agentes que enxergam e leem
Segundo a NVIDIA, o Super VL foi construído para quatro frentes principais: inteligência de documentos, compreensão de interfaces gráficas (GUI) para agentes de uso de computador, resposta a perguntas sobre vídeos e aplicações multimodais agênticas.
O modelo mira cargas de trabalho que exigem que agentes de visão-linguagem combinem raciocínio, codificação, uso de ferramentas, entendimento de documentos e compreensão de vídeo em um único sistema.
Duas variantes e desempenho medido
O JumpStart oferece duas variantes do modelo. A NVFP4, padrão do catálogo, é quantizada a partir de BF16 com destilação ciente de quantização para inferência otimizada. A BF16 traz os pesos de referência em precisão total.
Nos benchmarks multimodais divulgados pela NVIDIA, a variante NVFP4 iguala a BF16 no MMLongBench-Doc e fica dentro de cerca de um ponto nos demais testes, com desempenho ligeiramente superior no OCRBench v2 e no OSWorld-Verified.
A AWS mediu o desempenho de inferência com o contêiner de lançamento do JumpStart, usando o perfil de geração com 250 tokens de entrada, 1.500 tokens de saída e cinco requisições concorrentes em streaming. A variante BF16, rodando em instâncias ml.p5en.48xlarge, alcançou 140,85 tokens de saída por segundo por requisição.
O tempo até o primeiro token ficou em cerca de meio segundo nas três configurações testadas. Com prompts mais longos, o quadro muda: no perfil de sumarização com 10.000 tokens de entrada, o tempo até o primeiro token na instância ml.g7.24xlarge chega a 12,62 segundos.
Implantação validada
A variante NVFP4 roda em instâncias G7 com GPUs NVIDIA RTX PRO 4500 Blackwell, oferecendo menor footprint de GPU. A AWS ressalta que, como as variantes rodam em sistemas e configurações de GPU diferentes, as medições não constituem uma comparação isolada de precisão entre BF16 e NVFP4.
O lançamento amplia o acesso à família Nemotron 3.5 dentro do ecossistema AWS, permitindo que desenvolvedores implantem o modelo de visão-linguagem sem gerenciar infraestrutura própria. O relatório técnico completo, com a comparação contra outros modelos públicos e os ajustes de avaliação, foi publicado pela NVIDIA Research.