Mistral-Evolved-11b-v0.1-GGUF

Модель предназначена для генерации текста и локального запуска через llama.cpp, включая сценарии, где важны автономная работа и снижение требований к оперативной памяти по сравнению с полноразмерной моделью.

В набор входят варианты квантования от Q2_K до Q8_0 размером примерно от 4,16 до 11,86 ГБ. Версия Q6_K обозначена как рекомендуемая и обеспечивает очень высокое качество, близкое к исходной модели; Q8_0 предлагает максимальное доступное качество, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. README не содержит сведений об архитектуре, длине контекста, поддерживаемых языках, точном числе параметров, дополнительных модальностях или результатах оценки, поэтому модель следует рассматривать как текстовую.

Преимуществами являются широкий выбор уровней квантования, совместимость с llama.cpp и возможность подобрать баланс между качеством и потреблением памяти. Ограничения связаны с потерей качества при низких уровнях квантования, а также с отсутствием подробной информации о возможностях и бенчмарках исходной модели. Репозиторий распространяется по лицензии Apache-2.0; квантование выполнено с использованием llama.cpp release b2440.