/ Модель

Характеристики

Контекст
512 токенов
Параметры
385 млн
Размер весов
45,6 ГБ
Лицензия
MIT
Архитектура
t5 · dense
Опубликована
5 окт 2023

MUFFIN-T5-11B

Языковая модель7 профессий

Дообученная на наборе MUFFIN модель T5 для выполнения разнообразных текстовых инструкций на английском языке.

20скачиваний за 30 дней2лайкавеса обновлены6 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MUFFIN-T5-11B — модель семейства T5, разработанная авторами проекта MUFFIN и дообученная на наборе инструкций MUFFIN. Карточка описывает её как веса версии на базе T5-11B, предназначенной для выполнения разнообразных инструкций. При этом метаданные репозитория указывают архитектуру T5ForConditionalGeneration и 385,2 млн параметров, поэтому заявленный в README размер 11 млрд параметров расходится с метаданными.

Модель принимает текстовые запросы и формирует текстовые ответы в формате text-to-text. В метаданных указан контекст 512 токенов и английский язык; репозиторий содержит веса PyTorch и распространяется по лицензии MIT. README отсылает к карточке MUFFIN-T5-3B за подробной документацией, поэтому конкретные возможности и результаты здесь описаны ограниченно.

Сценарии применения

  • выполнение текстовых инструкций на английском языке
  • генерация ответов на текстовые запросы
  • преобразование текста по заданной инструкции

Ограничения

README перенаправляет за подробностями к карточке MUFFIN-T5-3B, поэтому полный перечень возможностей и оценки качества не приведены. Заявленные в README 11 млрд параметров расходятся с метаданными, где указано 385,2 млн.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is the model weight of MUFFIN-T5-11B (Multi-Faceted Instructions).

We fine-tune the T5-11B model on our MUFFIN dataset.

We released both 3B and 11B models:

ModelNumber of parameters
MUFFIN-T5-3B3 billion
MUFFIN-T5-11B11 billion

Please refer to MUFFIN-T5-3B for detailed documentation.

🥳 Citation

Please kindly cite our paper if you use any resources in this repository:

@inproceedings{Lou2023MUFFIN,
   title={{MUFFIN}: Curating Multi-Faceted Instructions for Improving Instruction Following},
   author={Renze Lou and Kai Zhang and Jian Xie and Yuxuan Sun and Janice Ahn and Hanzi Xu and Yu su and Wenpeng Yin},
   booktitle={The Twelfth International Conference on Learning Representations},
   year={2024},
   url={https://openreview.net/forum?id=1vrS1zwekw}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
1d183f4

0 моделей