duyntnet/Nous-Hermes-Llama2-13b-imatrix-GGUF — набор квантизированных версий текстовой генеративной модели Nous-Hermes-Llama2-13b, разработанной NousResearch.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и работы в локальных приложениях и интерфейсах, поддерживающих формат GGUF и совместимых с llama.cpp, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Для взаимодействия используется формат промпта Alpaca с полями Instruction, а при необходимости Input и Response.
Из известных характеристик: модель имеет размер 13B параметров, работает с текстом и заявлена для английского языка. Квантизация с использованием imatrix может снизить требования к памяти и упростить локальный запуск, однако конкретные варианты квантования и их компромиссы между качеством, скоростью и потреблением ресурсов в README не указаны. Ограничения по качеству, производительности, поддерживаемому контексту и аппаратным требованиям также не описаны. Лицензия обозначена как other, без дополнительных условий или подробностей.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Quantizations of https://huggingface.co/NousResearch/Nous-Hermes-Llama2-13b
The model follows the Alpaca prompt format:
### Instruction:
<prompt>
### Response:
<leave a newline blank for model to respond>
or
### Instruction:
<prompt>
### Input:
<additional context>
### Response:
<leave a newline blank for model to respond>
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.