Файлы подготовлены и опубликованы командой featherless-ai-quants на базе модели, разработанной AI-Sweden-Models. Модель предназначена для генерации текста и локального или ресурсоограниченного запуска совместимых Llama-моделей.

В репозитории доступны варианты квантования Q2_K, Q3_K, Q4_K, Q5_K, Q6_K, Q8_0 и IQ4_XS с размером файлов примерно от 3 до 8 ГБ. Более сильное квантование уменьшает требования к памяти, но может снижать точность по сравнению с менее сжатыми вариантами. Формат GGUF ориентирован на использование в совместимом локальном программном обеспечении; конкретные языки, размер контекста, архитектурные детали, результаты оценки и мультимодальные возможности в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять у исходной модели AI-Sweden-Models/Llama-3-8B и автора квантований.