Квантизацию выполнила команда featherless-ai-quants. Модель предназначена для генерации текста с акцентом на решение математических задач и может использоваться в приложениях, где важны компактный размер и локальный или ресурсоограниченный запуск.

В репозитории представлены варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 645 МБ до 1,57 ГБ. Базовый размер модели — 1,5 млрд параметров. Формат GGUF обеспечивает совместимость с соответствующим программным обеспечением для запуска квантизованных языковых моделей. Более сильная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с менее квантизованными вариантами; конкретные языки, размер контекста, архитектура и мультимодальные возможности в README не указаны.

Лицензия и условия использования модели в предоставленных данных не указаны. README также содержит сведения об инфраструктурном сервисе Featherless AI, однако они не являются характеристиками самой модели.