Характеристики

Контекст: 1 024 токена
Параметры: 124 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Базовая модель: flan-t5-base
Опубликована: 15 дек 2023

Ссылки

Hugging Face

run1

Shijia

Языковая модель3 профессии

Дообученная на данных SemEval 2024 Task 2 модель T5 для генерации текста в рамках соответствующей задачи.

11скачиваний за 30 дней0лайковвеса обновлены4 янв 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Shijia/run1 — модель генерации текста на архитектуре T5, дообученная на google/flan-t5-base с использованием набора данных sem_eval_2024_task_2. Она содержит 123,8 млн параметров, принимает текст и генерирует текст; максимальный контекст составляет 1024 токена. Модель предназначена для задачи SemEval 2024 Task 2, однако README не раскрывает конкретный сценарий этой задачи.

В карточке приведены результаты оценки: Loss 0,3506, ROUGE-1 59,0, ROUGE-2 0,0, ROUGE-L 59,0 и ROUGE-Lsum 58,75; средняя длина генерации — 2 токена. Эти показатели относятся к указанной оценочной выборке и не позволяют судить о качестве на других задачах. Модель распространяется под лицензией Apache-2.0.

Сценарии применения

Решение задачи SemEval 2024 Task 2
Генерация коротких текстовых ответов в сценарии, соответствующем обучающим данным
Эксперименты с дообучением FLAN-T5 на задаче SemEval

Ограничения

README не описывает конкретное назначение задачи, обучающие данные и известные ограничения; указанные метрики относятся только к оценочной выборке. Значение ROUGE-2 равно 0,0, а длина генерации — 2 токена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

run1

This model is a fine-tuned version of google/flan-t5-base on the sem_eval_2024_task_2 dataset. It achieves the following results on the evaluation set:

Loss: 0.3506
Rouge1: 59.0
Rouge2: 0.0
Rougel: 59.0
Rougelsum: 58.75
Gen Len: 2.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 4
eval_batch_size: 16
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 8
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rougel	Rougelsum	Gen Len
No log	1.0	212	0.3327	58.0	58.0	58.0	2.0
0.3828	2.0	425	0.3269	59.0	59.0	59.0	2.0
0.3828	3.0	637	0.3392	59.0	59.0	59.0	2.0
0.3608	4.0	850	0.3264	60.5	60.5	60.5	2.0
0.3608	5.0	1062	0.3293	59.0	59.0	59.0	2.0
0.3494	6.0	1275	0.3324	60.5	60.5	60.5	2.0
0.3494	7.0	1487	0.3448	61.0	61.0	61.0	2.0
0.3328	8.0	1700	0.3462	59.5	59.5	59.5	2.0
0.3328	9.0	1912	0.3491	59.5	59.5	59.5	2.0
0.3328	9.98	2120	0.3506	59.0	59.0	58.75	2.0

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu121
Datasets 2.16.1
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: b178060