/ Модель

Характеристики

Контекст
512 токенов
Параметры
38,5 млн
Лицензия
Apache 2.0
Архитектура
t5 · dense
Опубликована
20 ноя 2023

T5-Flan-Small

Генерация текстаТекст → текст3 профессии

Компактная англоязычная модель T5, дистиллированная из T5-Flan-Base для генерации текста по текстовым инструкциям.

100скачиваний за 30 дней1лайквеса обновлены5 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Sayan01/T5-Flan-Small — компактная модель семейства T5, разработанная путём дистилляции T5-Flan-Base на наборе данных OpenOrca/FLAN с использованием схемы seq2seq. Она предназначена для генерации текста по текстовому запросу и может служить базовой моделью для экспериментов с дистилляцией декодеров T5. В карточке указано 60 млн параметров, тогда как метаданные репозитория содержат оценку 38,5 млн; модель использует архитектуру T5ForConditionalGeneration и формат safetensors, а длина контекста составляет 512 токенов.

Модель ориентирована на английский язык. Она распространяется по лицензии Apache 2.0. Указание на базовый экспериментальный ориентир не подтверждает качество для конкретных прикладных задач; небольшой контекст ограничивает обработку длинных входов.

Сценарии применения

  • генерация текста по коротким инструкциям на английском языке
  • эксперименты с дистилляцией seq2seq-моделей T5
  • создание компактного прототипа генеративного текстового сервиса

Ограничения

Контекст ограничен 512 токенами. README указывает 60 млн параметров, а метаданные — 38,5 млн, поэтому размер модели в источниках расходится.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

T5-small distilled from T5-flan-base using OpenOrca'a FLAN dataset using Seq2seq methodology. The baseline for Seq2seq distillation on T5 decoder models. It is free under Apache License.

The distilled model is a T5-small model with 60M parameters, not a T5-flan-small model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
c6feb19

0 моделей