DeepSeek-V4-Flash-Vision-Exp-NVFP4

Она предназначена для анализа изображений и текста, визуального контроля качества, распознавания объектов и текста на изображениях, а также текстовой генерации и многошагового рассуждения в сценариях, требующих большого контекста.

Модель имеет архитектуру MoE с 305 млрд параметров, 256 маршрутизируемыми экспертами и примерно 13 млрд активируемых параметров на токен; заявлено 43 слоя. Контекстное окно составляет 1 048 576 токенов, используется native YaRN. Зрительная часть включает 32-слойный Vision Transformer и работает в формате BF16. Эксперты квантизированы в SafeTensors NVFP4: W4A4, group size 16, с block-scale calibration. Ключевая особенность — bit-exact транскодирование MXFP4 в NVFP4 без заявленной потери точности. Модель оптимизирована для NVIDIA Blackwell, включая B200, GB200, DGX Spark и RTX 5090, а также для vLLM и TensorRT-LLM.

Согласно README, к сильным сторонам относятся сохранение качества базовой модели на GSM8K, тестах извлечения данных из длинного контекста и мультимодальном visual question answering; для vision QA заявлены точное совпадение ответов и время до первого токена менее 50 мс. Ограничения связаны с экспериментальным статусом, специализированной поддержкой оборудования NVIDIA Blackwell и зависимостью от совместимых inference-движков. Модель распространяется по лицензии MIT; упаковка и сопровождение выполнены Solstice-AI, а квантизационный pipeline создан с использованием NVIDIA TensorRT ModelOpt.