Характеристики

Контекст: 32 768 токенов
Параметры: 71,5 млрд
Размер весов: 145 ГБ
Лицензия: Своя лицензия
Архитектура: qwen2 · dense
Базовая модель: Qwen2-72B-Instruct
Библиотека: transformers
Опубликована: 25 июн 2024

Ссылки

MG-FinalMix-72B

Генерация текстаТекст → текст3 профессии

Экспериментальная 72-миллиардная модель Qwen2, объединяющая Magnum и Qwen2-72B-Instruct для генерации текста и ролевых диалогов.

45скачиваний за 30 дней6лайковвеса обновлены16 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

GPQA
GPQA Raw · выше — лучше
Результат
0,3851
Open LLM v2 · архив
Публичная таблицадругая ревизия
IFEval
IFEval Raw · выше — лучше
Результат
0,8014
Open LLM v2 · архив
Публичная таблицадругая ревизия
BBH
BBH Raw · выше — лучше
Результат
0,6973
Open LLM v2 · архив
Публичная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат
0,3973
Open LLM v2 · архив
Публичная таблицадругая ревизия
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат
0,5427
Open LLM v2 · архив
Публичная таблицадругая ревизия
MUSR
MUSR Raw · выше — лучше
Результат
0,4823
Open LLM v2 · архив
Публичная таблицадругая ревизия

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MG-FinalMix-72B — экспериментальная разговорная языковая модель, созданная Undi95 слиянием alpindale/magnum-72b-v1 и Qwen/Qwen2-72B-Instruct. Автор описывает её как доработанную версию Magnum с исправлениями для личного использования и добавлением данных для ролевых диалогов. Модель построена на архитектуре Qwen2, содержит 71,5 млрд параметров и использует шаблон диалога ChatML.

Модель предназначена для генерации текста и ролевых бесед на английском языке. Контекстное окно составляет 32 768 токенов; репозиторий содержит веса Safetensors. Автор упоминает файл imatrix.dat для самостоятельной подготовки квантованных файлов. Лицензия указана как other, поэтому условия использования следует проверять в репозитории.

Сценарии применения

ведение ролевых диалогов на английском языке
генерация художественных продолжений и сцен
создание диалоговых ответов в формате ChatML

Ограничения

Автор отмечает нерешённые проблемы и описывает модель как работу в процессе доработки для личного использования. Указана лицензия other; точные условия использования нужно проверять в репозитории.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

WIP of retouched alpindale/magnum-72b-v1 but I will not use "Magnum" in the name. Call it FinalMix!

Found some issues, trying to fix them for my own usage and adding more RP data with merging.

You can do your own quantized files with the imatrix.dat file done with "wiki.train.raw".

Credits to Alpin and the gang for magnum-72b-v1, and Ikari for his datasets.

Prompt template ChatML

<|im_start|>system
{system_prompt}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
{output}<|im_end|>

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen2ForCausalLM
Ревизия весов: f8db7bf