Модель предназначена для генерации текста и запуска через mlx-lm на устройствах Apple с unified memory.

Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): общий объём составляет 36 млрд параметров, при обработке каждого токена активно около 4 млрд. Исходная модель поддерживает нативный контекст до 524 288 токенов (512K), однако фактически доступная длина контекста зависит от объёма unified memory и настроек KV-кэша. Вариант является текстовым и не требует vision projector; в метаданных указан английский язык.

Веса в основном квантизованы методом affine 4-bit с размером группы 64, а веса маршрутизаторов MoE и MoVA сохранены в 8-битном формате. Размер модели составляет 21,07 ГБ. К сильным сторонам относятся большой контекст, сниженная по сравнению с полной точностью потребность в памяти и разреженная обработка с небольшим числом активных параметров на токен. Ограничениями являются необходимость актуальной версии mlx-lm, зависимость практической длины контекста от доступной памяти и отсутствие мультимодальных возможностей.

Модель распространяется по лицензии Apache-2.0.