Квантование выполнено featherless-ai-quants и распространяется в формате GGUF для задач генерации текста и диалогового взаимодействия. Модель предназначена для локального или совместимого с GGUF запуска при ограниченных требованиях к памяти и вычислительным ресурсам.

Размер базовой модели составляет 1,8 млрд параметров. В репозитории доступны варианты квантования IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0; их размер варьируется примерно от 807 МБ до 1,87 ГБ. Более компактные варианты обычно требуют меньше памяти, но могут сильнее терять в качестве по сравнению с вариантами с большей точностью. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, обучающих данных, результатах оценки и конкретной лицензии, поэтому эти характеристики нельзя достоверно указать.