Характеристики

Контекст: 2 048 токенов
Параметры: 152 млн
Лицензия: Apache 2.0
Архитектура: gpt_neox · dense
Базовая модель: pythia-160m
Библиотека: transformers
Опубликована: 28 сен 2026

Ссылки

ppt-pythia-160m-uniform250-baseline_warmup2000-seed1024-stage2

Генерация текстаТекст → текст3 профессии

Дообученная англоязычная GPT-NeoX-модель на 151,9 млн параметров для генерации продолжения текста и экспериментов с языковыми моделями.

239скачиваний за 30 дней0лайковвеса обновлены28 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

qing-yao выпустил дообученную модель EleutherAI/pythia-160m на архитектуре GPT-NeoX с 151,9 млн параметров. Она предназначена для генерации продолжения текста и экспериментального изучения поведения языковых моделей; в README приведено значение loss 3,7405 на наборе оценки. Модель принимает текст и генерирует текст, поддерживает контекст до 2048 токенов. Базовая Pythia-160m ориентирована на английский язык. Лицензия — Apache-2.0. Данные обучения не описаны, поэтому назначение дообучения и качество на конкретных задачах оценить нельзя.

Сценарии применения

генерация продолжения английского текста
эксперименты с небольшими языковыми моделями
оценка генерации текста на исследовательских наборах

Ограничения

Обучающие данные не описаны, а единственная приведённая метрика — loss 3,7405 на наборе оценки; она не подтверждает качество для конкретных прикладных задач. Контекст ограничен 2048 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ppt-pythia-160m-uniform250-baseline_warmup2000-seed1024-stage2

This model is a fine-tuned version of EleutherAI/pythia-160m on the None dataset. It achieves the following results on the evaluation set:

Loss: 3.7405

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.001
train_batch_size: 16
eval_batch_size: 16
seed: 1024
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine_with_min_lr
lr_scheduler_warmup_steps: 2000
training_steps: 10000

Training results

Training Loss	Epoch	Step	Validation Loss
10.4751	0.005	50	9.6193
9.0059	0.01	100	8.4015
7.8167	0.015	150	7.4293
7.2133	0.02	200	7.0827
6.8946	0.025	250	6.7992
6.6677	0.03	300	6.6306
6.4910	0.035	350	6.4568
6.3232	0.04	400	6.2923
6.2155	0.045	450	6.1761
6.1287	0.05	500	6.0714
6.0935	0.055	550	6.0757
5.9059	0.06	600	5.8761
5.8037	0.065	650	5.8002
5.7213	0.07	700	5.6917
5.6335	0.075	750	5.6116
5.5618	0.08	800	5.5318
5.4897	0.085	850	5.4656
5.4686	0.09	900	5.5164
5.4310	0.095	950	5.3677
5.3907	0.1	1000	5.3161
5.3209	0.105	1050	5.2778
5.2116	0.11	1100	5.2094
5.1832	0.115	1150	5.1694
5.1349	0.12	1200	5.0965
5.0617	0.125	1250	5.0865
5.0153	0.13	1300	4.9602
4.9727	0.135	1350	4.9205
4.8802	0.14	1400	4.8485
4.8406	0.145	1450	4.8103
4.7990	0.15	1500	4.7490
4.7587	0.155	1550	4.7101
4.6901	0.16	1600	4.6825
4.6925	0.165	1650	4.6522
4.6596	0.17	1700	4.6165
4.6329	0.175	1750	4.6500
4.6382	0.18	1800	4.6055
4.5799	0.185	1850	4.6016
4.5631	0.19	1900	4.5337
4.5338	0.195	1950	4.4890
4.4962	0.2	2000	4.4733
4.4780	0.205	2050	4.4425
4.4583	0.21	2100	4.4057
4.4306	0.215	2150	4.4004
4.4173	0.22	2200	4.3943
4.3993	0.225	2250	4.3707
4.3856	0.23	2300	4.3395
4.3699	0.235	2350	4.3214
4.3741	0.24	2400	4.3248
4.3300	0.245	2450	4.3072
4.4085	0.25	2500	4.3456
4.3505	0.255	2550	4.2916
4.2855	0.26	2600	4.2682
4.2868	0.265	2650	4.2537
4.2718	0.27	2700	4.2391
4.2567	0.275	2750	4.2310
4.2525	0.28	2800	4.2324
4.2321	0.285	2850	4.2253
4.2294	0.29	2900	4.2038
4.1898	0.295	2950	4.2000
4.2347	0.3	3000	4.1795
4.1996	0.305	3050	4.2251
4.2366	0.31	3100	4.2232
4.2283	0.315	3150	4.1672
4.1829	0.32	3200	4.1344
4.1664	0.325	3250	4.1674
4.1901	0.33	3300	4.1236
4.1479	0.335	3350	4.1167
4.1633	0.34	3400	4.0937
4.1380	0.345	3450	4.0806
4.1200	0.35	3500	4.0698
4.1060	0.355	3550	4.0831
4.1051	0.36	3600	4.0877
4.1448	0.365	3650	4.1054
4.1112	0.37	3700	4.0662
4.1687	0.375	3750	4.0922
4.1822	0.38	3800	4.1081
4.1176	0.385	3850	4.1077
4.1036	0.39	3900	4.0643
4.1329	0.395	3950	4.0702
4.0644	0.4	4000	4.0400
4.0643	0.405	4050	4.0316
4.0640	0.41	4100	4.0117
4.0221	0.415	4150	4.0045
4.0253	0.42	4200	4.0089
4.0532	0.425	4250	4.0139
4.0300	0.43	4300	4.0035
4.0207	0.435	4350	3.9911
4.0225	0.44	4400	4.0251
4.0297	0.445	4450	3.9905
4.0224	0.45	4500	3.9803
3.9758	0.455	4550	3.9825
3.9831	0.46	4600	3.9698
4.0026	0.465	4650	3.9653
3.9998	0.47	4700	3.9606
3.9808	0.475	4750	3.9507
3.9710	0.48	4800	3.9401
3.9732	0.485	4850	3.9382
3.9709	0.49	4900	3.9311
3.9524	0.495	4950	3.9245
3.9440	0.5	5000	3.9462
3.9873	0.505	5050	3.9228
3.9692	0.51	5100	3.9144
3.9489	0.515	5150	3.9221
3.9467	0.52	5200	3.9087
3.9350	0.525	5250	3.9012
3.9184	0.53	5300	3.8954
3.9170	0.535	5350	3.8930
3.9121	0.54	5400	3.8909
3.9102	0.545	5450	3.8869
3.9206	0.55	5500	3.8835
3.9118	0.555	5550	3.8786
3.9215	0.56	5600	3.8829
3.9217	0.565	5650	3.8756
3.9000	0.57	5700	3.8665
3.8704	0.575	5750	3.8679
3.9051	0.58	5800	3.8616
3.8809	0.585	5850	3.8580
3.9013	0.59	5900	3.8604
3.8925	0.595	5950	3.8567
3.8788	0.6	6000	3.8447
3.8979	0.605	6050	3.8457
3.8959	0.61	6100	3.8530
3.8764	0.615	6150	3.8487
3.8715	0.62	6200	3.8569
3.8722	0.625	6250	3.8445
3.8892	0.63	6300	3.8405
3.8625	0.635	6350	3.8317
3.8479	0.64	6400	3.8313
3.8615	0.645	6450	3.8224
3.8371	0.65	6500	3.8173
3.8458	0.655	6550	3.8136
3.8355	0.66	6600	3.8117
3.8256	0.665	6650	3.8153
3.8254	0.67	6700	3.8090
3.8429	0.675	6750	3.8159
3.8370	0.68	6800	3.8086
3.8198	0.685	6850	3.8030
3.8225	0.69	6900	3.7992
3.8222	0.695	6950	3.7983
3.8205	0.7	7000	3.8041
3.8184	0.705	7050	3.7954
3.8670	0.71	7100	3.7900
3.8293	0.715	7150	3.7892
3.8453	0.72	7200	3.7849
3.8380	0.725	7250	3.7844
3.8369	0.73	7300	3.7809
3.8530	0.735	7350	3.7783
3.8064	0.74	7400	3.7776
3.8100	0.745	7450	3.7740
3.8123	0.75	7500	3.7726
3.8011	0.755	7550	3.7707
3.7919	0.76	7600	3.7703
3.7977	0.765	7650	3.7675
3.8053	0.77	7700	3.7662
3.8084	0.775	7750	3.7659
3.8310	0.78	7800	3.7686
3.7832	0.785	7850	3.7650
3.8150	0.79	7900	3.7622
3.8129	0.795	7950	3.7608
3.7769	0.8	8000	3.7628
3.7869	0.805	8050	3.7587
3.7792	0.81	8100	3.7570
3.7753	0.815	8150	3.7559
3.7757	0.82	8200	3.7554
3.7873	0.825	8250	3.7546
3.7931	0.83	8300	3.7530
3.7816	0.835	8350	3.7526
3.7768	0.84	8400	3.7527
3.7758	0.845	8450	3.7514
3.7848	0.85	8500	3.7504
3.8030	0.855	8550	3.7496
3.7746	0.86	8600	3.7491
3.7841	0.865	8650	3.7485
3.7681	0.87	8700	3.7496
3.7954	0.875	8750	3.7476
3.7465	0.88	8800	3.7497
3.7862	0.885	8850	3.7476
3.7907	0.89	8900	3.7467
3.7994	0.895	8950	3.7458
3.7925	0.9	9000	3.7453
3.7668	0.905	9050	3.7461
3.7661	0.91	9100	3.7451
3.7759	0.915	9150	3.7446
3.7772	0.92	9200	3.7442
3.7673	0.925	9250	3.7437
3.7832	0.93	9300	3.7435
3.7878	0.935	9350	3.7430
3.7823	0.94	9400	3.7427
3.7733	0.945	9450	3.7424
3.7770	0.95	9500	3.7422
3.7685	0.955	9550	3.7420
3.8024	0.96	9600	3.7416
3.7741	0.965	9650	3.7415
3.7715	0.97	9700	3.7413
3.7506	0.975	9750	3.7412
3.7717	0.98	9800	3.7411
3.7672	0.985	9850	3.7408
3.8131	0.99	9900	3.7407
3.7428	0.995	9950	3.7411
3.7854	1.0	10000	3.7405

Framework versions

Transformers 5.4.0
Pytorch 2.8.0+cu128
Datasets 3.2.0
Tokenizers 0.22.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: GPTNeoXForCausalLM
Ревизия весов: d6de2f1

Характеристики

Ссылки

ppt-pythia-160m-uniform250-baseline_warmup2000-seed1024-stage2

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит3

Карточка модели

ppt-pythia-160m-uniform250-baseline_warmup2000-seed1024-stage2

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить