Квантизацию выполнила команда featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в сценариях, где требуется локальный запуск или выбор подходящего соотношения качества, размера и требований к ресурсам.

Модель относится к семейству Llama 3 и имеет размер 8B параметров; заявлена поддержка контекста до 262 тысяч токенов, однако подробности архитектуры, языков, качества и модальностей в README не приведены. Доступны варианты Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0 размером примерно от 3 до 8,1 ГБ. Более компактные варианты требуют меньше памяти, а варианты с более высокой точностью обычно лучше сохраняют качество, но занимают больше места.

Сильная сторона набора — широкий выбор квантизаций в распространённом формате GGUF, что упрощает подбор файла под доступные аппаратные ресурсы. Ограничения включают отсутствие в предоставленных данных результатов тестирования, подробных требований к запуску и сведений о поддерживаемых языках. Лицензия в README не указана, поэтому условия использования необходимо уточнять по исходной модели и репозиторию.