Nous-Hermes-2-Mistral-7B-DPO-GGUF
- Quantized version of Nous-Hermes-2-Mistral-7B-DPO
- Created using llama.cpp
Available Quants
- IQ3_S
- Q2_K
- Q3_K_L
- Q3_K_M
- Q3_K_S
- Q4_0
- Q4_K_M
- Q4_K_S
- Q5_0
- Q5_K_M
- Q5_K_S
- Q6_K
- Q8_0
QuantFactory/Nous-Hermes-2-Mistral-7B-DPO-GGUF — квантизированная версия модели Nous-Hermes-2-Mistral-7B-DPO, разработанной NousResearch.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска и диалогового применения. Она создана с использованием llama.cpp и распространяется в формате GGUF.
В основе лежит Mistral с 7 миллиардами параметров, дообученная с применением DPO; в описании также упоминаются RLHF и синтетические данные. Доступны варианты квантизации IQ3_S, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством генерации.
Сильной стороной модели является возможность запуска через llama.cpp с выбором подходящего уровня квантизации. README не содержит результатов тестирования, сведений о контекстном окне, поддерживаемых модальностях кроме текста, а также подробного описания ограничений качества, поэтому производительность в конкретных задачах требует самостоятельной проверки. Лицензия — Apache 2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.