/ Модель
Каталог

Характеристики

Контекст
1 024 000 токенов
Параметры
12,1 млрд
Размер весов
24,5 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Базовая модель
Mistral-Nemo-Base-2407-bnb-4bit
Опубликована
15 авг 2024

Ссылки

Hugging Face

nemo-carpmuscle-v0.1

TheTsar1209
Генерация текстаТекст → текст4 профессии

Дообученная на ChatML модель Mistral с 12,1 млрд параметров для диалоговой генерации текста.

35скачиваний за 30 дней1лайквеса обновлены19 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,2276

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,4135

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0476

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3406

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,297

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5084

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TheTsar1209/nemo-carpmuscle-v0.1 — плотная языковая модель семейства Mistral, дообученная TheTsar1209 методом SFT на формате диалога ChatML. Она основана на unsloth/Mistral-Nemo-Base-2407-bnb-4bit и предназначена для генерации текста в диалоговом формате. В README указано обучение с контекстом 8 тыс. токенов; метаданные сообщают о 12,1 млрд параметров и нативном контексте до 1 024 000 токенов.

Модель принимает текст и генерирует текст. Карточка называет её «A Fishy Model», но не описывает специальную предметную область или конкретные сценарии сверх генерации текста. Для использования опубликована под лицензией Apache-2.0. Оценки из таблицы README относятся к Open LLM Leaderboard; приведены средний балл 16,63, IFEval 22,76 и BBH 30,03.

Сценарии применения

  • генерация ответов в диалоговом формате ChatML
  • создание связного текста по текстовому запросу
  • эксперименты с дообучением языковых моделей Mistral

Ограничения

README сообщает об обучении с контекстом 8 тыс. токенов, тогда как метаданные указывают нативный контекст до 1 024 000 токенов; практический предел для этой версии неясен. Карточка не приводит подробного описания возможностей и оценок качества, кроме нескольких результатов Open LLM Leaderboard.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

A Fishy Model

This model was trained on with SFT on the ChatML format with 8k context.

Uploaded model

  • Developed by: TheTsar1209
  • License: apache-2.0
  • Finetuned from model : unsloth/Mistral-Nemo-Base-2407-bnb-4bit

This mistral model was trained 2x faster with Unsloth and Huggingface's TRL library.

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.16.63
IFEval (0-Shot)22.76
BBH (3-Shot)30.03
MATH Lvl 5 (4-Shot)3.78
GPQA (0-shot)6.26
MuSR (0-shot)10.22
MMLU-PRO (5-shot)26.73

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
2799eb7

0 моделей

    Создать бенчмарк