Mistral-Nemo-Gutenberg-Doppel-12B
mistralai/Mistral-Nemo-Instruct-2407 finetuned on jondurbin/gutenberg-dpo-v0.1 and nbeerbower/gutenberg2-dpo.
Method
ORPO tuned with an RTX 3090 for 3 epochs.
Характеристики
- Контекст
- 1 024 000 токенов
- Параметры
- 12,1 млрд
- Размер весов
- 24,5 ГБ
- Лицензия
- Apache 2.0
- Архитектура
- mistral · dense
- Базовая модель
- Mistral-Nemo-Instruct-2407
- Библиотека
- transformers
- Опубликована
- 26 сен 2024
Ссылки
Mistral-Nemo-Gutenberg-Doppel-12B
Дообученная на текстовых наборах Гутенберга модель Mistral на 12,1 млрд параметров для диалогов и генерации текста.
47скачиваний за 30 дней7лайковвеса обновлены26 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки6
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат0,1216
Open LLM v2 · архивПубличная таблицаревизия совпадает
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат0,3579
Open LLM v2 · архивПубличная таблицаревизия совпадает
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Mistral-Nemo-Gutenberg-Doppel-12B — дообученная модель nbeerbower на базе mistralai/Mistral-Nemo-Instruct-2407. Она использует плотную архитектуру MistralForCausalLM с 12,1 млрд параметров и предназначена для генерации текста и диалогов; доступны интерфейс вызова инструментов и контекст до 1 024 000 токенов.
Модель дообучена методом ORPO в течение трёх эпох на наборах jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo, связанных с текстами Гутенберга. Она может подойти для диалоговых сценариев и генерации текстов в литературном стиле. Базовая модель многоязычная; конкретный перечень поддерживаемых языков для этой версии не приведён.
Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не содержит оценок качества или подробностей о поведении на разных языках и задачах; результаты следует проверять на целевых сценариях.
Сценарии применения
- генерация художественной прозы
- создание диалогов в литературном стиле
- продолжение текста по заданному фрагменту
- ответы на запросы в диалоговом интерфейсе
- вызов инструментов в поддерживаемом формате
Ограничения
Карточка не приводит оценок качества, поэтому пригодность для конкретных задач и языков нужно проверять отдельно. Данные обучения ориентированы на тексты Гутенберга, что может влиять на стиль и ответы модели.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейIV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…
- Класс архитектуры
- MistralForCausalLM
- Ревизия весов
- 0eaaac8