Характеристики

Контекст: 512 токенов
Параметры: 124 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: flan-t5-base
Библиотека: transformers
Опубликована: 3 сен 2024

Ссылки

Hugging Face

flan-t5-base-minhcrafters

minhcrafters

Языковая модель

Дообученная версия Flan-T5-base для генерации текста и выполнения разнообразных NLP-задач по инструкциям.

9скачиваний за 30 дней0лайковвеса обновлены4 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

minhcrafters/flan-t5-base-minhcrafters — дообученная на основе google/flan-t5-base модель семейства T5 для генерации текста и задач обработки естественного языка. Она содержит 123,8 млн параметров, использует архитектуру T5ForConditionalGeneration и доступна в формате safetensors. Базовая модель поддерживает несколько языков и умеет выполнять разнообразные задачи по инструкциям; для этой версии указан контекст длиной 512 токенов.

В README приведены результаты оценки: Loss 1,4349, ROUGE-1 36,349, ROUGE-2 8,7762, ROUGE-L 36,3017 и средняя длина генерации 11,0354. Назначение дообучения, обучающий набор данных и специальные ограничения версии не описаны. Лицензия — Apache 2.0.

Сценарии применения

генерация коротких ответов по инструкции
суммаризация текстов
перефразирование текста
выполнение типовых задач обработки естественного языка

Ограничения

Назначение дообучения и обучающий набор данных не описаны; контекст ограничен 512 токенами. Приведённые метрики оценки не сопровождаются описанием набора и протокола тестирования.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

flan-t5-base-minhcrafters

This model is a fine-tuned version of google/flan-t5-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.4349
Rouge1: 36.349
Rouge2: 8.7762
Rougel: 36.3017
Rougelsum: 36.3259
Gen Len: 11.0354

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
1.5599	1.0	7225	1.4698	34.012	7.0902	33.9643	33.982	11.3958
1.4595	2.0	14450	1.4370	35.8141	7.8463	35.7691	35.7952	10.9503
1.3271	3.0	21675	1.4321	36.6633	8.272	36.6412	36.6552	10.8102
1.3405	4.0	28900	1.4289	35.6986	8.4622	35.6544	35.6839	11.2143
1.1667	5.0	36125	1.4349	36.349	8.7762	36.3017	36.3259	11.0354

Framework versions

Transformers 4.44.2
Pytorch 2.4.0
Datasets 2.21.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 393880c