zephyr-7b-dpo-0k-15k-i1
This model is a fine-tuned version of DUAL-GPO/zephyr-7b-dpo-new-lora-v1-merged on the HuggingFaceH4/ultrafeedback_binarized dataset.
Характеристики
- Контекст
- 32 768 токенов
- Параметры
- 7,1 млрд
- Размер весов
- 29 ГБ
- Лицензия
- Apache 2.0
- Архитектура
- mistral · dense
- Базовая модель
- zephyr-7b-dpo-new-lora-v1-merged
- Библиотека
- peft
- Опубликована
- 19 сен 2024
Ссылки
zephyr-7b-dpo-0k-15k-i1-merged
Генерация текстаТекст → текст
Дообученная методом DPO 7,1-миллиардная модель на архитектуре Mistral для диалогов и ответов на текстовые запросы.
0скачиваний за 30 дней0лайковвеса обновлены20 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
DUAL-GPO/zephyr-7b-dpo-0k-15k-i1-merged — генеративная модель для диалогов и ответов на текстовые запросы, разработанная как дообученная версия DUAL-GPO/zephyr-7b-dpo-new-lora-v1-merged. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; контекст — до 32 768 токенов.
Модель дообучена методом DPO на датасете HuggingFaceH4/ultrafeedback_binarized. Она предназначена для генерации ответов в диалогах и выполнения текстовых запросов. Репозиторий распространяется в формате safetensors под лицензией Apache-2.0.
Сценарии применения
- ответы на вопросы в текстовом чате
- ведение диалога с пользователем
- генерация текста по запросу
- создание диалогового помощника
- подготовка развернутых ответов на текстовые инструкции
Ограничения
В предоставленных данных не описаны ограничения качества или области применения модели.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · peft
Репозиторий содержит только адаптер (LoRA/PEFT) без базовой модели.
- Класс архитектуры
- MistralForCausalLM
- Ревизия весов
- 1106fd7