Mistral-Nemo-Gutenberg-Doppel-12B
axolotl-ai-co/romulus-mistral-nemo-12b-simpo finetuned on jondurbin/gutenberg-dpo-v0.1 and nbeerbower/gutenberg2-dpo.
Method
ORPO tuned with 2x A100 for 3 epochs.
Характеристики
- Контекст
- 1 024 000 токенов
- Параметры
- 12,1 млрд
- Размер весов
- 24,5 ГБ
- Лицензия
- Apache 2.0
- Архитектура
- mistral · dense
- Базовая модель
- romulus-mistral-nemo-12b-simpo
- Библиотека
- transformers
- Опубликована
- 4 окт 2024
Ссылки
Mistral-Nemo-Gutenberg-Doppel-12B-v2
Диалоговая 12,1-миллиардная модель Mistral для генерации текста, дообученная на наборах текстов в стиле Project Gutenberg.
58скачиваний за 30 дней8лайковвеса обновлены6 окт 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки6
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат0,1156
Open LLM v2 · архивПубличная таблицаревизия совпадает
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат0,3546
Open LLM v2 · архивПубличная таблицаревизия совпадает
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Mistral-Nemo-Gutenberg-Doppel-12B-v2 — диалоговая языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная дообучением axolotl-ai-co/romulus-mistral-nemo-12b-simpo на наборах jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo. Для настройки применялся ORPO: три эпохи на двух ускорителях A100.
Модель предназначена для генерации текста в диалоговом формате. Название и обучающие наборы указывают на ориентацию на тексты в стиле Project Gutenberg, однако карточка не описывает конкретные жанры или гарантируемые сценарии. Модель принимает текстовые запросы и генерирует текст; в метаданных указан контекст до 1 024 000 токенов.
Модель распространяется в формате Safetensors под лицензией Apache-2.0. Карточка не приводит оценок качества или подробных ограничений; фактическое качество и соответствие стилю могут зависеть от запроса и способа применения.
Сценарии применения
- генерация художественного текста в диалоговом формате
- продолжение литературного фрагмента по текстовой подсказке
- создание текстов с опорой на стилистику произведений Project Gutenberg
Ограничения
Карточка не содержит результатов оценивания, поэтому качество генерации и следование заданной стилистике не подтверждены. Языки обучения и поддерживаемые языки не указаны.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейIV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…
- Класс архитектуры
- MistralForCausalLM
- Ревизия весов
- adc1ccd