/ Модель
Каталог

Характеристики

Контекст
131 072 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Архитектура
llama · dense
Базовая модель
Llama-3.1-MedIT-SUN-8B
Библиотека
transformers
Опубликована
22 ноя 2024

Ссылки

Hugging FacearXiv 2203.05482

Tulu-3.1-8B-SuperNova

bunnycore
Генерация текстаТекст → текст15 профессий

Объединённая модель семейства Llama на 7,5 млрд параметров для диалогов, следования инструкциям и генерации текста.

45скачиваний за 30 дней4лайкавеса обновлены26 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3814

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,302

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,2462

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,5254

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,8194

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3935

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

bunnycore/Tulu-3.1-8B-SuperNova — объединённая языковая модель, созданная с помощью mergekit методом линейного слияния. В неё вошли allenai/Llama-3.1-Tulu-3-8B, arcee-ai/Llama-3.1-SuperNova-Lite и meditsolutions/Llama-3.1-MedIT-SUN-8B. Модель основана на архитектуре Llama и содержит 7,5 млрд параметров; работает через библиотеку Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов.

Модель предназначена для генерации текста и диалогов, следования инструкциям и решения разнообразных текстовых задач; также заявлен интерфейс для вызова инструментов. Среди опубликованных оценок — 81,94 на IFEval и 32,50 на BBH. Метаданные не устанавливают основной язык, поэтому язык в описании не уточняется. Лицензия в предоставленных данных не указана.

Сценарии применения

  • ответы на вопросы в диалоге
  • выполнение текстовых инструкций
  • генерация и продолжение текста
  • решение разнообразных текстовых задач
  • вызов инструментов в диалоговом приложении

Ограничения

В предоставленных материалах не описаны конкретные ограничения модели и не указана лицензия.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельIV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модельIV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the linear merge method.

Models Merged

The following models were included in the merge:

Configuration

The following YAML configuration was used to produce this model:

models:
  - model: arcee-ai/Llama-3.1-SuperNova-Lite
    parameters:
      weight: 1.0
  - model: allenai/Llama-3.1-Tulu-3-8B
    parameters:
      weight: 1.0
  - model: meditsolutions/Llama-3.1-MedIT-SUN-8B
    parameters:
      weight: 1.0
merge_method: linear
normalize: false
int8_mask: true
dtype: bfloat16

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.30.94
IFEval (0-Shot)81.94
BBH (3-Shot)32.50
MATH Lvl 5 (4-Shot)24.32
GPQA (0-shot)6.94
MuSR (0-shot)8.69
MMLU-PRO (5-shot)31.27

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
ecdf8ab

0 моделей

    Создать бенчмарк