Характеристики

Контекст: 1 024 токена
Лицензия: MIT
Архитектура: gpt2 · dense
Базовая модель: gpt2
Опубликована: 26 авг 2023

Ссылки

Hugging Face

GPT-2_para3M

Toflamus

Генерация текстаТекст → текст3 профессии

Компактная модель GPT-2, дообученная на TinyStories для генерации коротких историй по текстовой подсказке.

16скачиваний за 30 дней3лайкавеса обновлены1 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GPT-2para3M — небольшая авторегрессионная языковая модель семейства GPT-2, дообученная на наборе TinyStories. Она предназначена для генерации коротких историй по текстовому запросу. По карточке модели, размер составляет около 3,6 млн параметров; модель показала значение loss 2,3207 на оценочном наборе. Контекст — до 1024 токенов.

Модель специализирована на историях и не подходит для широкого круга задач генерации текста. Разработчик отмечает, что из-за малого размера её возможности ограничены, а обучающие данные содержат только истории. Репозиторий распространяется по лицензии MIT.

Сценарии применения

генерация коротких детских историй
продолжение сказки или рассказа
эксперименты с компактной языковой моделью

Ограничения

Модель содержит около 3,6 млн параметров и ограничена генерацией историй; качество и разнообразие текста могут быть невысокими. Язык генерации в источниках не указан.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GPT-2_para3M

This model is a pretrained version of gpt2 on an Tinystory dataset. It achieves the following results on the evaluation set:

Loss: 2.3207

Model description

More information needed

Intended uses & limitations

The limitation of this model are mainly 2 aspects.

The number of parameter of the model is only around 3.6 million which is not large. As a result the model cannot generate text in all perspectives.
The dataset is only composed of stories, this greatly hinder the performance of the model. Only stories can be generated.

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0005
train_batch_size: 32
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 8
total_train_batch_size: 256
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 100
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
9.6976	0.01	100	7.7754
6.488	0.02	200	5.7795
5.3705	0.03	300	4.8609
4.5632	0.04	400	4.2544
4.141	0.05	500	3.9425
3.902	0.06	600	3.7189
3.7074	0.07	700	3.5514
3.5716	0.08	800	3.4291
3.4695	0.08	900	3.3253
3.3847	0.09	1000	3.2311
3.2974	0.1	1100	3.1595
3.2318	0.11	1200	3.0909
3.1698	0.12	1300	3.0329
3.1258	0.13	1400	2.9879
3.0802	0.14	1500	2.9396
3.046	0.15	1600	2.9017
3.0047	0.16	1700	2.8652
2.9701	0.17	1800	2.8320
2.9425	0.18	1900	2.8048
2.9141	0.19	2000	2.7757
2.8896	0.2	2100	2.7515
2.8667	0.21	2200	2.7263
2.8443	0.22	2300	2.7066
2.8288	0.23	2400	2.6815
2.8044	0.24	2500	2.6620
2.7886	0.25	2600	2.6471
2.7732	0.25	2700	2.6283
2.7576	0.26	2800	2.6101
2.7479	0.27	2900	2.5978
2.7256	0.28	3000	2.5819
2.7179	0.29	3100	2.5688
2.707	0.3	3200	2.5595
2.6921	0.31	3300	2.5471
2.6809	0.32	3400	2.5329
2.6779	0.33	3500	2.5232
2.663	0.34	3600	2.5154
2.6554	0.35	3700	2.5030
2.6437	0.36	3800	2.4967
2.6346	0.37	3900	2.4859
2.6293	0.38	4000	2.4768
2.6221	0.39	4100	2.4709
2.6178	0.4	4200	2.4623
2.6076	0.41	4300	2.4586
2.6025	0.41	4400	2.4492
2.5907	0.42	4500	2.4409
2.5896	0.43	4600	2.4369
2.5816	0.44	4700	2.4316
2.5783	0.45	4800	2.4256
2.577	0.46	4900	2.4204
2.5685	0.47	5000	2.4150
2.567	0.48	5100	2.4093
2.5564	0.49	5200	2.4059
2.5556	0.5	5300	2.4012
2.5496	0.51	5400	2.3997
2.545	0.52	5500	2.3956
2.5473	0.53	5600	2.3905
2.5389	0.54	5700	2.3856
2.5373	0.55	5800	2.3818
2.5318	0.56	5900	2.3787
2.5313	0.57	6000	2.3751
2.5285	0.58	6100	2.3722
2.5318	0.58	6200	2.3687
2.5229	0.59	6300	2.3666
2.5194	0.6	6400	2.3632
2.5174	0.61	6500	2.3598
2.5169	0.62	6600	2.3567
2.511	0.63	6700	2.3552
2.5093	0.64	6800	2.3546
2.5114	0.65	6900	2.3528
2.5064	0.66	7000	2.3492
2.507	0.67	7100	2.3483
2.502	0.68	7200	2.3445
2.4964	0.69	7300	2.3448
2.4999	0.7	7400	2.3423
2.4961	0.71	7500	2.3407
2.489	0.72	7600	2.3386
2.4926	0.73	7700	2.3384
2.4919	0.74	7800	2.3365
2.491	0.74	7900	2.3349
2.4893	0.75	8000	2.3333
2.4909	0.76	8100	2.3318
2.4862	0.77	8200	2.3305
2.4884	0.78	8300	2.3299
2.49	0.79	8400	2.3280
2.4788	0.8	8500	2.3286
2.4865	0.81	8600	2.3272
2.4823	0.82	8700	2.3263
2.4844	0.83	8800	2.3255
2.4826	0.84	8900	2.3251
2.4844	0.85	9000	2.3243
2.4798	0.86	9100	2.3231
2.4864	0.87	9200	2.3231
2.4755	0.88	9300	2.3228
2.4735	0.89	9400	2.3228
2.4786	0.9	9500	2.3224
2.4791	0.91	9600	2.3222
2.4809	0.91	9700	2.3214
2.4778	0.92	9800	2.3213
2.4777	0.93	9900	2.3211
2.4798	0.94	10000	2.3209
2.4768	0.95	10100	2.3212
2.4808	0.96	10200	2.3209
2.4762	0.97	10300	2.3208
2.4778	0.98	10400	2.3208
2.4816	0.99	10500	2.3207
2.4728	1.0	10600	2.3207

Framework versions

Transformers 4.32.0
Pytorch 2.0.1+cu117
Datasets 2.14.4
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: GPT2LMHeadModel
Ревизия весов: 7e39477

Характеристики

Ссылки

GPT-2_para3M

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит3

Карточка модели

GPT-2_para3M

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить