Whittle-Next-27B-A3B-GGUF

Модель основана на архитектуре mixture-of-experts и предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В метаданных заявлена поддержка английского, китайского и других языков, а также сценариев с длинным контекстом.

Модель содержит около 27 млрд параметров в общей конфигурации и обозначает архитектуру с примерно 3 млрд активных параметров, однако точные сведения о механизме активации, размере контекста и мультимодальных возможностях не указаны. Среди заявленных архитектурных особенностей — hyper-connections, n-gram memory, per-layer embeddings, knowledge distillation и online distillation. Доступны варианты GGUF с разными уровнями квантизации от Q2_K до Q8_0 и IQ4_XS; версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с наилучшим качеством среди представленных.

К сильным сторонам относятся поддержка локального запуска через совместимые инструменты, включая llama.cpp, широкий выбор компромиссов между размером, скоростью и качеством, а также ориентация на рассуждения, код и математику. К ограничениям относятся неизбежная потеря качества в более агрессивно квантизированных вариантах, отсутствие опубликованных в README бенчмарков и точных характеристик контекстного окна, а также отсутствие сведений о поддержке изображений или других модальностей. Модель распространяется по лицензии Apache-2.0.