Характеристики

Контекст: 8 192 токена
Параметры: 11,9 млрд
Размер весов: 24,9 ГБ
Лицензия: Своя лицензия
Архитектура: mistral · dense
Базовая модель: Mistral-NeMo-Minitron-8B-Base
Библиотека: transformers
Опубликована: 29 сен 2024

Ссылки

Hugging Face

Mistral-NeMo-Minitron-Upscale-v2

nlpguy

Генерация текстаТекст → текст7 профессий

Слитая модель семейства Mistral на 11,9 млрд параметров для генерации текста и ответов на текстовые запросы.

36скачиваний за 30 дней1лайквеса обновлены11 окт 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,1927
Open LLM v2 · архив
Публичная таблицадругая ревизия
IFEval
IFEval Raw · выше — лучше
Результат
0,1573
Open LLM v2 · архив
Публичная таблицадругая ревизия
BBH
BBH Raw · выше — лучше
Результат
0,395
Open LLM v2 · архив
Публичная таблицадругая ревизия
GPQA
GPQA Raw · выше — лучше
Результат
0,2735
Open LLM v2 · архив
Публичная таблицадругая ревизия
MUSR
MUSR Raw · выше — лучше
Результат
0,3791
Open LLM v2 · архив
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,0128
Open LLM v2 · архив
Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

nlpguy/Mistral-NeMo-Minitron-Upscale-v2 — текстовая авторегрессионная модель семейства Mistral, созданная слиянием весов через mergekit из nvidia/Mistral-NeMo-Minitron-8B-Base методом passthrough. Репозиторий содержит 11,9 млрд параметров в формате safetensors; модель использует библиотеку Transformers и поддерживает контекст до 8192 токенов.

Модель предназначена для генерации текста и может служить основой для приложений, которым нужны продолжение текста и ответы на текстовые запросы. В README автор советует использовать версию v1, поэтому к версии v2 следует относиться осторожно. Лицензия обозначена как other; конкретные условия использования в предоставленных данных не раскрыты.

Сценарии применения

генерация продолжения текста
создание черновиков и текстовых фрагментов
ответы на текстовые запросы
прототипирование приложений на базе языковой модели

Ограничения

В README автор рекомендует использовать v1 вместо этой версии v2. Указана лицензия other, но её конкретные условия не приведены; качество и поддерживаемые языки в предоставленных данных не описаны.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merged

Use v1!

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the passthrough merge method.

Models Merged

The following models were included in the merge:

nvidia/Mistral-NeMo-Minitron-8B-Base

Configuration

The following YAML configuration was used to produce this model:

dtype: bfloat16
merge_method: passthrough
slices:
- sources:
  - layer_range: [0, 8]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base
- sources:
  - layer_range: [8, 16]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base
    parameters:
      scale:
      - filter: o_proj
        value: 0.5
      - filter: down_proj
        value: 0.5
      - filter: q_proj
        value: 0.85355339059
      - filter: k_proj
        value: 0.85355339059
      - value: 1.0
- sources:
  - layer_range: [8, 16]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base
    parameters:
      scale:
      - filter: q_proj
        value: 0.85355339059
      - filter: k_proj
        value: 0.85355339059
      - value: 1.0
- sources:
  - layer_range: [16, 17]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base
- sources:
  - layer_range: [17, 24]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base
    parameters:
      scale:
      - filter: o_proj
        value: 0.5
      - filter: down_proj
        value: 0.5
      - filter: q_proj
        value: 0.85355339059
      - filter: k_proj
        value: 0.85355339059
      - value: 1.0
- sources:
  - layer_range: [17, 24]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base
    parameters:
      scale:
      - filter: q_proj
        value: 0.85355339059
      - filter: k_proj
        value: 0.85355339059
      - value: 1.0
- sources:
  - layer_range: [24, 25]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base
- sources:
  - layer_range: [25, 32]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base
    parameters:
      scale:
      - filter: o_proj
        value: 0.5
      - filter: down_proj
        value: 0.5
      - filter: q_proj
        value: 0.85355339059
      - filter: k_proj
        value: 0.85355339059
      - value: 1.0
- sources:
  - layer_range: [25, 32]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base
    parameters:
      scale:
      - filter: q_proj
        value: 0.85355339059
      - filter: k_proj
        value: 0.85355339059
      - value: 1.0
- sources:
  - layer_range: [32, 40]
    model: nvidia/Mistral-NeMo-Minitron-8B-Base

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: MistralForCausalLM
Ревизия весов: ad13855