/ Модель

Характеристики

Контекст
512 токенов
Параметры
45,8 млн
Лицензия
Apache 2.0
Архитектура
t5 · dense
Базовая модель
flan-t5-small
Библиотека
transformers
Опубликована
8 дек 2024

flan-t5-small-gigatrue

Языковая модель8 профессий

Компактная дообученная модель FLAN-T5 для генерации текста и выполнения NLP-задач в формате text-to-text.

11скачиваний за 30 дней1лайквеса обновлены27 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Plasmoxy/flan-t5-small-gigatrue — дообученная версия google/flan-t5-small на неуказанном наборе данных. Это компактная модель семейства T5 с архитектурой encoder-decoder и 45,8 млн параметров, предназначенная для генерации текста по текстовому запросу и выполнения задач NLP в формате text-to-text. Длина контекста составляет 512 токенов; модель использует библиотеку Transformers и формат весов safetensors.

Карточка сообщает значение loss 2,1229 на оценочном наборе, но не описывает сам набор, задачу оценки или предполагаемые сценарии применения. Базовая FLAN-T5-small — многоязычная модель, дообученная следованию инструкциям; конкретные языковые возможности этой версии отдельно не подтверждены. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

  • генерация текста по текстовой инструкции
  • перефразирование текста
  • суммаризация текста
  • ответы на вопросы по тексту
  • выполнение задач NLP в формате text-to-text

Ограничения

Датасет дообучения и целевое назначение версии не описаны; приведено только значение loss без подробностей оценки. Контекст ограничен 512 токенами.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

flan-t5-small-gigatrue

This model is a fine-tuned version of google/flan-t5-small on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 2.1229

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0003
  • train_batch_size: 256
  • eval_batch_size: 256
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 3

Training results

Training LossEpochStepValidation Loss
2.56590.203030002.1724
2.48020.405960002.1500
2.45810.608990002.1390
2.44930.8119120002.1325
2.44361.0148150002.1282
2.43981.2178180002.1255
2.4371.4207210002.1246
2.4341.6237240002.1246
2.43371.8267270002.1226
2.43372.0296300002.1228
2.43142.2326330002.1234
2.43322.4356360002.1232
2.43272.6385390002.1230
2.43292.8415420002.1229

Framework versions

  • Transformers 4.45.2
  • Pytorch 2.5.1
  • Datasets 3.2.0
  • Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
be98ce6

0 моделей