Nemotron 3.5 Bolt 74B-A9B: testamos no PC

Uma versão encolhida do Nemotron 3.5 Super, de 120 bi, que a própria NVIDIA já entrega comprimida em 2 bits para caber em cerca de 22 GB. Feito para agentes no PC, entende imagens e, aqui, roda com um "rascunho" (DFlash) que adianta as próximas palavras: até 61 tokens por segundo nas nossas duas placas.

Leia a análise: NVIDIA Nemotron 3.5 Bolt: o modelo aberto de 24 GB para rodar agente de IA no PC

Fabricante

NVIDIA

Arquitetura

MoE híbrido (Mamba-2 + atenção) · 74 bi de parâmetros, cerca de 9 bi ativos

Licença

OpenMDW 1.1

Recursos

visão, raciocínio

Quantização testada

IQ2 24GB (QAD)

Tamanho do arquivo

22,0 GB

Placas

2 placas (RX 9070 XT + Arc B580, 28 GB)

Contexto

128k

Hugging Face

Página oficial no Hugging Face

Velocidade medida

Maior velocidade: 40,4 tokens por segundo. Mediana: 34,2 tokens por segundo.

Medido no nosso PC (i5-14600KF, 64 GB de RAM), sem nuvem.

Resultado em cada teste

Jogos que este modelo criou

• VOO LIVRE — jogo do passarinho que desvia de colunas · Jogar
• HEXÁGONO — bolas quicando dentro de um hexágono que gira · Jogar
• BOMBA LAB — clone de Bomberman em 2 fases (v6) · Jogar
• CORREDOR 3D — tiro em primeira pessoa com raycasting · Jogar
• VOO LIVRE — jogo do passarinho que desvia de colunas · nota 8/10 · Ver e jogar
• HEXÁGONO — bolas quicando dentro de um hexágono que gira · nota 8/10 · Ver e jogar
• BOMBA LAB — clone de Bomberman em 2 fases (v6) · nota 8/10 · Ver e jogar
• CORREDOR 3D — tiro em primeira pessoa com raycasting · nota 8/10 · Ver e jogar