/ Модель

Характеристики

Контекст
131 072 токена
Параметры
7,5 млрд
Размер весов
32,1 ГБ
Лицензия
Llama 3
Архитектура
llama · dense
Базовая модель
MFANNv0.20.12
Библиотека
transformers
Опубликована
31 авг 2024

MFANNv0.21

Генерация текстаТекст → текст6 профессий

Диалоговая модель Llama на 7,5 млрд параметров для генерации текста и ответов на запросы, дообученная на MFANNv0.20.12.

32скачиваний за 30 дней1лайквеса обновлены12 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,2785

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,0574

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,3031

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,4576

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,3993

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,3233

    Open LLM v2 · архив

    Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MFANNv0.21 — диалоговая языковая модель семейства Llama, опубликованная netcat420. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; она дообучена на основе netcat420/MFANNv0.20.12. Модель предназначена для генерации текста в диалоге и ответов на запросы. В карточке приведены результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH.

Модель работает с текстом, поддерживает английский язык и использует библиотеку Transformers; заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате Safetensors. Лицензия — Llama 3. Показатели оценивания в README ограничены указанными метриками и не дают полной картины качества; результатов для других языков и задач карточка не приводит.

Сценарии применения

  • ответы на вопросы в текстовом диалоге
  • генерация продолжений текста
  • создание черновиков и кратких пояснений
  • проверка способности языковой модели следовать инструкциям
  • оценка рассуждений на тестах BBH

Ограничения

В README приведены результаты лишь по нескольким метрикам Open LLM Leaderboard, поэтому они не характеризуют качество во всех задачах. Карточка не приводит оценок для языков, кроме английского.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

System prompt:

<|begin_of_text|><|start_header_id|>system<|end_header_id|> You are a helpful, respectful and honest assistant. Always answer as helpfully as possible. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information. <|eot_id|>

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.15.81
IFEval (0-Shot)32.33
BBH (3-Shot)22.06
MATH Lvl 5 (4-Shot)5.29
GPQA (0-shot)3.80
MuSR (0-shot)8.82
MMLU-PRO (5-shot)22.57

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
12bac6f

0 моделей