Характеристики

Контекст: 512 токенов
Параметры: 124 млн
Лицензия: Apache 2.0
Архитектура: t5 · dense
Опубликована: 16 окт 2023

Ссылки

Hugging Face

Question_Generation_ComQ_4

Gayathri142214002

Языковая модель3 профессии

Дообученная модель T5 для генерации вопросов по текстовому контексту.

9скачиваний за 30 дней0лайковвеса обновлены24 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

QuestionGenerationComQ4 — дообученная модель семейства T5 для генерации вопросов. Она создана на основе Gayathri142214002/Question_Generation_ComQ_3; в карточке указана оценка loss 0,4193 на наборе для оценки. Модель содержит 123,8 млн параметров, использует архитектуру T5ForConditionalGeneration и принимает текстовый контекст длиной до 512 токенов.

Модель предназначена для генерации вопросов по тексту. Данные обучения, подробные сценарии применения и результаты оценки по другим метрикам в карточке не описаны. Распространяется по лицензии Apache-2.0.

Сценарии применения

генерация вопросов по абзацу текста
подготовка вопросов для учебных материалов
создание вопросов для проверки понимания текста

Ограничения

Данные обучения и подробные результаты оценки не описаны; приведено только значение loss 0,4193. Максимальная длина контекста — 512 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей III.5Корпоративные функцииУправление персоналом и организациейAI помогает поддерживать найм, развитие, организационное планирование и HR-сервисы.24 задачи4 462модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Question_Generation_ComQ_4

This model is a fine-tuned version of Gayathri142214002/Question_Generation_ComQ_3 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.4193

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 1
eval_batch_size: 1
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 4
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 7

Training results

Training Loss	Epoch	Step	Validation Loss
0.3616	0.16	50	0.3498
0.3949	0.32	100	0.3389
0.3926	0.48	150	0.3321
0.3946	0.64	200	0.3386
0.414	0.8	250	0.3315
0.3789	0.96	300	0.3299
0.2962	1.12	350	0.3469
0.3104	1.28	400	0.3606
0.2821	1.44	450	0.3593
0.3011	1.59	500	0.3552
0.3273	1.75	550	0.3500
0.3247	1.91	600	0.3456
0.2903	2.07	650	0.3635
0.2373	2.23	700	0.3813
0.2472	2.39	750	0.3901
0.25	2.55	800	0.3773
0.2808	2.71	850	0.3766
0.2564	2.87	900	0.3698
0.268	3.03	950	0.3717
0.2194	3.19	1000	0.3876
0.2091	3.35	1050	0.3980
0.235	3.51	1100	0.3975
0.2292	3.67	1150	0.4061
0.2486	3.83	1200	0.3973
0.2601	3.99	1250	0.3901
0.1845	4.15	1300	0.3959
0.2079	4.31	1350	0.3996
0.1817	4.47	1400	0.4128
0.2083	4.63	1450	0.4175
0.2511	4.78	1500	0.4100
0.2151	4.94	1550	0.4054
0.2039	5.1	1600	0.4078
0.1864	5.26	1650	0.4082
0.1894	5.42	1700	0.4147
0.1988	5.58	1750	0.4154
0.1921	5.74	1800	0.4151
0.1948	5.9	1850	0.4124
0.1813	6.06	1900	0.4108
0.1695	6.22	1950	0.4153
0.1691	6.38	2000	0.4179
0.1628	6.54	2050	0.4188
0.1724	6.7	2100	0.4188
0.1708	6.86	2150	0.4193

Framework versions

Transformers 4.29.2
Pytorch 2.0.1+cu117
Datasets 2.12.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: T5ForConditionalGeneration
Ревизия весов: 3b87c95