В карточке указано, что модель предназначена для генерации текста и поставляется в формате GGUF, совместимом с соответствующими инструментами локального запуска.

Доступны варианты квантования IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размер файлов составляет примерно от 3,0 до 8,1 ГБ, поэтому варианты позволяют выбирать между меньшими требованиями к памяти и потенциально более высоким качеством при использовании менее агрессивного квантования. Архитектура, число параметров, поддерживаемые языки, размер контекста, дополнительные модальности, результаты тестирования и конкретные сценарии применения в README не указаны.

Сильной стороной набора является широкий выбор уровней квантования и возможность использования модели в ресурсоограниченных средах. Ограничения связаны с отсутствием подробной информации о возможностях и качестве исходной модели, а также рекомендаций по выбору варианта. Лицензия модели и условия её использования в предоставленных данных не указаны.