/ Модель

Характеристики

Лицензия
Своя лицензия
Опубликована
11 июл 2024

zephyr-7b-sft-full-SPIN-iter3-imatrix-GGUF

Генерация текстаТекст → текст6 профессий

Это набор квантованных версий модели zephyr-7b-sft-full-SPIN-iter3 в формате GGUF с использованием imatrix.

1 764скачиваний за 30 дней1лайквеса обновлены11 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель разработана на основе UCLA-AGI/zephyr-7b-sft-full; исходная модель представляет собой GPT-подобную модель примерно с 7 млрд параметров, дообученную на синтетических наборах данных. Базой послужила alignment-handbook/zephyr-7b-sft-full, созданная на основе mistralai/Mistral-7B-v0.1.

Модель предназначена для генерации текста и преимущественно ориентирована на англоязычные NLP-сценарии. Формат GGUF позволяет запускать её с помощью llama.cpp и совместимых приложений, включая JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. README не содержит сведений о поддерживаемых модальностях помимо текста, размере контекста, конкретных вариантах квантования или требованиях к ресурсам.

Сильными сторонами являются относительно компактный размер класса 7B и возможность локального запуска через широкий набор совместимых инструментов. Ограничениями выступают преимущественная ориентация на английский язык, отсутствие заявленных мультимодальных возможностей и недостаток подробных данных о качестве, контексте и характеристиках отдельных квантованных вариантов. В метаданных текущего репозитория указана лицензия other, тогда как в описании исходной модели заявлена лицензия MIT; условия использования следует уточнять для конкретного варианта и исходной модели.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
8869f95

0 моделей