/ Модель
Каталог

Характеристики

Контекст
1 024 000 токенов
Параметры
12,1 млрд
Размер весов
24,5 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Базовая модель
Mahou-1.5-mistral-nemo-12B-lorablated
Библиотека
transformers
Опубликована
19 ноя 2024

Ссылки

Hugging Face

Mistral-Nemo-Moderne-12B-FFT-experimental

nbeerbower
Генерация текстаТекст → текст3 профессии

Экспериментальная 12,1-миллиардная модель Mistral, дообученная для генерации текста и диалогов методом ORPO.

46скачиваний за 30 дней1лайквеса обновлены25 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,3352

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,281

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3455

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3715

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5234

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,077

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mistral-Nemo-Moderne-12B-FFT-experimental — экспериментальная текстовая модель, созданная nbeerbower полным дообучением Mahou-1.5-mistral-nemo-12B-lorablated. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 12,1 млрд параметров; она предназначена для генерации текста и диалогов. Дообучение методом ORPO проводилось в течение 1,5 эпох на датасетах gutenberg2-dpo и gutenberg-moderne-dpo с использованием 8 GPU A100.

Автор предупреждает о нестабильном поведении и низком качестве ответов, связывая проблемы с возможными конфликтами между форматами Mistral Instruct и ChatML. Модель опубликована как эксперимент, а не готовый к производственному использованию релиз. Лицензия — Apache-2.0.

Сценарии применения

  • эксперименты с генерацией текста на основе Mistral
  • проверка диалоговой модели в исследовательских прототипах
  • изучение влияния ORPO на генерацию текста

Ограничения

Автор сообщает о нестабильном поведении и низком качестве модели; возможные причины — конфликты между форматами Mistral Instruct и ChatML. Модель экспериментальная и не позиционируется как готовая к производству.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

🧪 Just Another Model Experiment

This is one of many experimental iterations I'm sharing publicly while I mess around with training parameters and ideas. It's not a "real" release - just me being transparent about my learning process. Feel free to look under the hood, but don't expect anything production-ready!

Mistral-Nemo-Moderne-12B-FFT-experimental

Mahou-1.5-mistral-nemo-12B-lorablated finetuned on gutenberg2-dpo and gutenberg-moderne-dpo.

This model has erratic behavior and poor performance

Method

ORPO tuned with 8x A100 for 1.5 epochs.

This was a full finetune. I think the issues with the model can be chalked up to conflicts with Mistral Instruct and ChatML.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
e52f7b7

0 моделей

    Создать бенчмарк