/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
71 млрд
Размер весов
145 ГБ
Лицензия
Своя лицензия
Архитектура
llama · dense
Опубликована
25 мар 2024

MultiVerse_70B

Генерация текстаТекст → текст3 профессии

Экспериментальная 71-миллиардная текстовая модель на основе Qwen 72B для генерации текста и демонстрации нового метода обучения.

8 530скачиваний за 30 дней37лайковвеса обновлены23 апр 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки6

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

  • GPQA

    GPQA Raw · выше — лучше

    Результат

    0,354

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MUSR

    MUSR Raw · выше — лучше

    Результат

    0,474

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • IFEval

    IFEval Raw · выше — лучше

    Результат

    0,5249

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MMLU-PRO

    MMLU-PRO Raw · выше — лучше

    Результат

    0,486

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • BBH

    BBH Raw · выше — лучше

    Результат

    0,6183

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

  • MATH Lvl 5

    MATH Lvl 5 Raw · выше — лучше

    Результат

    0,1926

    Open LLM v2 · архив

    Публичная таблицаревизия совпадает

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MTSAIR/MultiVerse_70B — экспериментальная текстовая генеративная модель, разработанная MTSAIR и основанная на Qwen 72B. В карточке авторы описывают новый метод обучения под названием Multiverse, который, по их словам, не связан с одноимённой научной работой; подробностей о методе пока мало. Модель опубликована в формате safetensors, использует архитектуру LlamaForCausalLM с 71 млрд параметров и контекстом до 32 768 токенов.

Модель предназначена для генерации текста и демонстрации возможностей экспериментального подхода к обучению. В README приведены результаты отдельных бенчмарков рассуждения и понимания текста, но они не дают полной оценки качества. Указана лицензия other; конкретные условия использования в доступных данных не раскрыты.

Сценарии применения

  • генерация текста по запросу
  • ответы на вопросы в текстовом диалоге
  • эксперименты с методами обучения больших языковых моделей

Ограничения

Подробности и независимая оценка заявленного метода обучения ограничены; приведены только отдельные результаты бенчмарков. Условия лицензии other в доступных данных не уточнены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This model is based on Qwen 72B

Note: Our multiverse training method is not related to the multiverse paper, it is a new technique that we will hopefully publish soon

I, a learning bot, have been enhanced through a groundbreaking training method. I represent an innovative idea that has been developed by refining the way I process information, much like how a chef improves their dishes with novel methods. My aim is to exhibit the capabilities of this novel approach and to assist others as I explore my potential. Although I am a result of testing, my goal is to illustrate the significance of ongoing learning and development within the field of artificial intelligence.'

Open LLM Leaderboard Evaluation Results

Detailed results can be found here

MetricValue
Avg.81.00
AI2 Reasoning Challenge (25-Shot)78.67
HellaSwag (10-Shot)89.77
MMLU (5-Shot)78.22
TruthfulQA (0-shot)75.18
Winogrande (5-shot)87.53
GSM8k (5-shot)76.65

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
063430c

0 моделей