Квантизацию выполнил afrideva. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется компактная языковая модель, пригодная для работы на ограниченных ресурсах.

Модель имеет размер 3 миллиарда параметров, поддерживает контекст до 8 тысяч токенов согласно идентификатору базовой модели и относится к текстовым моделям без заявленной поддержки дополнительных модальностей. Доступны варианты квантизации q2_k, q3_k_m, q4_k_m, q5_k_m, q6_k и q8_0 размером от 1,54 до 3,86 ГБ. Более компактные варианты требуют меньше памяти, но могут сильнее терять в качестве относительно менее агрессивной квантизации.

Карточка не содержит сведений о поддерживаемых языках, точной архитектуре, результатах тестирования, рекомендуемом программном обеспечении для запуска или лицензии. Поэтому языковые возможности, производительность и условия распространения следует уточнять в карточке исходной модели и сопроводительных материалах.