Характеристики

Контекст: 1 024 000 токенов
Параметры: 12,1 млрд
Размер весов: 24,5 ГБ
Лицензия: CC BY-NC 4.0
Архитектура: mistral · dense
Опубликована: 12 авг 2024

Ссылки

MN-12B-Lyra-v2a1

Генерация текстаТекст → текст5 профессий

Экспериментальная 12,1-миллиардная языковая модель на базе Mistral Nemo для генерации текста и диалогов в формате ChatML.

27скачиваний за 30 дней13лайковвеса обновлены13 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Sao10K/MN-12B-Lyra-v2a1 — экспериментальная текстовая модель Stage 1 семейства Lyra v2, разработанная Sao10K на базе Mistral Nemo 12B. Модель прошла supervised fine-tuning (SFT) и двухэтапное слияние моделей; она предназначена для генерации текста в формате ChatML. В карточке указаны 12,1 млрд параметров, архитектура MistralForCausalLM и контекст до 1 024 000 токенов.

Автор описывает модель как многословную и предупреждает о возможных проблемах. В частности, в генерации может появляться служебный токен [/INST]; для его остановки рекомендуется добавить этот токен в пользовательские стоп-строки. Stage 2 и RL на момент публикации ещё не завершены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Сценарии применения

генерация текста в диалоговом формате ChatML
составление развёрнутых ответов на текстовые запросы
эксперименты с дообучением и слиянием моделей Mistral

Ограничения

Автор отмечает сырой характер Stage 1, многословность и возможные проблемы; модель может выводить служебный токен [/INST], который рекомендуется добавить в стоп-строки. Stage 2 и RL ещё не завершены.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

I.7Речь, диалоги и встречи

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mistral Nemo 12B Lyra v2 - Stage 1

This is Stage 1 of Lyra v2. Only SFT and 2-Step Merge has been performed at this stage.

This is still raw, there may be issues.

Kinda wordy and verbose like Claude is, but that is fixable in stage 2, hopefully.

Stage 2 Plans - RL currently TBD

- [/INST] may leak, let's say that is an unintended side-effect. Just simply add it to your custom stopping strings. I tried adding it as an EOS in model config but that ruined the model somehow, so I didn't.

- min_p value of 0.1 is a sane value to use. Temp? 0.7-1.2, up to you.

- Prompt Format: ChatML

Have a day.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: 440fabb