Квантизацию выполнила организация featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в сценариях, где требуется запуск инструкционной языковой модели в формате GGUF.

В основе лежит Meta-Llama-3-8B-Instruct-Dolfin-v0.1; заявленный размер исходной модели — 8 миллиардов параметров. README не содержит сведений о точной архитектуре, поддерживаемых языках, размере контекста, обучающих данных и результатах тестирования. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8,1 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества.

Сильной стороной набора является широкий выбор квантизаций для локального или иного совместимого запуска GGUF-моделей. Ограничения, связанные с конкретной потерей качества, производительностью и совместимостью вариантов, в README не описаны. Лицензия и условия использования также не указаны; их следует уточнить по базовой модели и репозиторию.