/ Модель
Каталог

Характеристики

Контекст
1 024 000 токенов
Параметры
12,1 млрд
Размер весов
24,5 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Базовая модель
Mahou-1.5-mistral-nemo-12B-lorablated
Библиотека
transformers
Опубликована
25 ноя 2024

Ссылки

Hugging Face

SmolNemo-12B-FFT-experimental

nbeerbower
Генерация текстаТекст → текст3 профессии

Экспериментальная модель Mistral на 12,1 млрд параметров для генерации текста и диалогов, дообученная на smoltalk.

51скачиваний за 30 дней0лайковвеса обновлены27 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,1217

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2601

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,3348

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3847

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,3336

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0128

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SmolNemo-12B-FFT-experimental — экспериментальная плотная языковая модель семейства Mistral, опубликованная nbeerbower. Модель содержит 12,1 млрд параметров и дообучена методом SFT на датасете HuggingFaceTB/smoltalk на базе nbeerbower/Mahou-1.5-mistral-nemo-12B-lorablated. Метаданные указывают контекстное окно до 1 024 000 токенов и поддержку диалогового режима.

Модель предназначена для генерации текста и диалоговых экспериментов. Автор сообщает о нестабильном поведении и низком качестве; обучение длилось 0,1 эпохи и проводилось на восьми A100. В README также упомянуты возможные конфликты между Mistral Instruct и ChatML. Это ранний эксперимент, а не готовый к применению релиз. Лицензия — Apache-2.0.

Сценарии применения

  • эксперименты с генерацией текста
  • проверка диалогового поведения языковой модели
  • изучение влияния SFT на модель Mistral
  • сравнение экспериментальных настроек обучения

Ограничения

Автор сообщает о нестабильном поведении и низком качестве. Короткое обучение и возможные конфликты между Mistral Instruct и ChatML могут ухудшать результаты.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

🧪 Just Another Model Experiment

This is one of many experimental iterations I'm sharing publicly while I mess around with training parameters and ideas. It's not a "real" release - just me being transparent about my learning process. Feel free to look under the hood, but don't expect anything production-ready!

SmolNemo-12B-FFT-experimental

Mahou-1.5-mistral-nemo-12B-lorablated finetuned on HuggingFaceTB/smoltalk.

This model has erratic behavior and poor performance

Method

SFT with 8x A100 for 0.1 epochs.

This was a full finetune. I think the issues with the model can be chalked up to conflicts with Mistral Instruct and ChatML.

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.8.32
IFEval (0-Shot)33.48
BBH (3-Shot)6.54
MATH Lvl 5 (4-Shot)0.23
GPQA (0-shot)1.34
MuSR (0-shot)5.92
MMLU-PRO (5-shot)2.41

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
fec3911

0 моделей

    Создать бенчмарк