Характеристики

Контекст: 256 токенов
Архитектура: gpt2 · dense
Библиотека: transformers
Опубликована: 25 фев 2025

Ссылки

Hugging Face

childes-segmentation-18M-gpt2_lm-model

phonemetransformers

Генерация текстаТекст → текст3 профессии

Дообученная GPT-2 модель для генерации английского текста и экспериментальной сегментации детской речи.

124скачиваний за 30 дней0лайковвеса обновлены26 фев 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

phonemetransformers/childes-segmentation-18M-gpt2_lm-model — дообученная языковая модель на архитектуре GPT-2, предназначенная для генерации текста и экспериментов с сегментацией детской речи. Карточка приводит метрики сегментации типов и границ, включая F-score для нескольких методов предсказания, а также perplexity 4,7580 и BPC 2,2503. Данные об обучающем наборе и базовой модели в README не раскрыты.

Модель работает с текстом на английском языке и имеет контекст длиной 256 токенов. Файлы весов представлены в формате safetensors. Условия лицензии в доступных данных не приведены.

Сценарии применения

эксперименты с сегментацией детской речи
генерация текста на английском языке
оценка границ и типов сегментов в исследовательских экспериментах

Ограничения

Контекст ограничен 256 токенами. README не сообщает обучающий датасет, базовую модель или лицензию; приведённые метрики относятся к конкретному оценочному набору.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.13Универсальные способностиСимуляция, моделирование и открытие новогоAI помогает исследовать сложные системы, проверять сценарии и искать новые конструкции, закономерности или гипотезы.18 задач1 577моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

childes-segmentation-18M-gpt2_lm-model

This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.5598
Model Preparation Time: 0.0013
Perplexity: 4.7580
Bpc: 2.2503
Spike Seg Type Fscore Entropy: 0.5424
Spike Seg Boundary Fscore Entropy: 0.7652
Absolute Seg Type Fscore Entropy: 0.4188
Absolute Seg Boundary Fscore Entropy: 0.6411
Spike Seg Type Fscore Increase in entropy: 0.5339
Spike Seg Boundary Fscore Increase in entropy: 0.7796
Absolute Seg Type Fscore Increase in entropy: 0.5744
Absolute Seg Boundary Fscore Increase in entropy: 0.7708
Spike Seg Type Fscore Loss: 0.4461
Spike Seg Boundary Fscore Loss: 0.6948
Absolute Seg Type Fscore Loss: 0.3397
Absolute Seg Boundary Fscore Loss: 0.6138
Spike Seg Type Fscore Increase in loss: 0.5024
Spike Seg Boundary Fscore Increase in loss: 0.7430
Absolute Seg Type Fscore Increase in loss: 0.5046
Absolute Seg Boundary Fscore Increase in loss: 0.7437
Spike Seg Type Fscore Rank: 0.4778
Spike Seg Boundary Fscore Rank: 0.6585
Absolute Seg Type Fscore Rank: 0.3314
Absolute Seg Boundary Fscore Rank: 0.5551
Spike Seg Type Fscore Increase in rank: 0.4977
Spike Seg Boundary Fscore Increase in rank: 0.6963
Absolute Seg Type Fscore Increase in rank: 0.4902
Absolute Seg Boundary Fscore Increase in rank: 0.7065
Spike Seg Type Fscore Boundary prediction: 0.5365
Spike Seg Boundary Fscore Boundary prediction: 0.8041
Absolute Seg Type Fscore Boundary prediction: 0.3187
Absolute Seg Boundary Fscore Boundary prediction: 0.7456
Spike Seg Type Fscore Increase in boundary prediction: 0.5171
Spike Seg Boundary Fscore Increase in boundary prediction: 0.7895
Absolute Seg Type Fscore Increase in boundary prediction: 0.2577
Absolute Seg Boundary Fscore Increase in boundary prediction: 0.5526
Spike Seg Type Fscore Majority vote cutoff: 0.6165
Spike Seg Type Fscore Majority vote spike: 0.4770
Absolute Seg Type Fscore Majority vote cutoff: 0.5211
Absolute Seg Type Fscore Majority vote spike: 0.6022
Spike Seg Boundary Fscore Majority vote cutoff: 0.8101
Spike Seg Boundary Fscore Majority vote spike: 0.7717
Absolute Seg Boundary Fscore Majority vote cutoff: 0.7609
Absolute Seg Boundary Fscore Majority vote spike: 0.8128

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.001
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 60000
training_steps: 200000

Training results

Training Loss	Epoch	Step	Validation Loss	Model Preparation Time	Perplexity	Bpc	Spike Seg Type Fscore Entropy	Spike Seg Boundary Fscore Entropy	Absolute Seg Type Fscore Entropy	Absolute Seg Boundary Fscore Entropy	Spike Seg Type Fscore Increase in entropy	Spike Seg Boundary Fscore Increase in entropy	Absolute Seg Type Fscore Increase in entropy	Absolute Seg Boundary Fscore Increase in entropy	Spike Seg Type Fscore Loss	Spike Seg Boundary Fscore Loss	Absolute Seg Type Fscore Loss	Absolute Seg Boundary Fscore Loss	Spike Seg Type Fscore Increase in loss	Spike Seg Boundary Fscore Increase in loss	Absolute Seg Type Fscore Increase in loss	Absolute Seg Boundary Fscore Increase in loss	Spike Seg Type Fscore Rank	Spike Seg Boundary Fscore Rank	Absolute Seg Type Fscore Rank	Absolute Seg Boundary Fscore Rank	Spike Seg Type Fscore Increase in rank	Spike Seg Boundary Fscore Increase in rank	Absolute Seg Type Fscore Increase in rank	Absolute Seg Boundary Fscore Increase in rank	Spike Seg Type Fscore Boundary prediction	Spike Seg Boundary Fscore Boundary prediction	Absolute Seg Type Fscore Boundary prediction	Absolute Seg Boundary Fscore Boundary prediction	Spike Seg Type Fscore Increase in boundary prediction	Spike Seg Boundary Fscore Increase in boundary prediction	Absolute Seg Type Fscore Increase in boundary prediction	Absolute Seg Boundary Fscore Increase in boundary prediction	Spike Seg Type Fscore Majority vote cutoff	Spike Seg Type Fscore Majority vote spike	Absolute Seg Type Fscore Majority vote cutoff	Absolute Seg Type Fscore Majority vote spike	Spike Seg Boundary Fscore Majority vote cutoff	Spike Seg Boundary Fscore Majority vote spike	Absolute Seg Boundary Fscore Majority vote cutoff	Absolute Seg Boundary Fscore Majority vote spike
1.418	4.5290	20000	1.5456	0.0013	4.6908	2.2298	0.5202	0.7537	0.3779	0.6326	0.4886	0.7542	0.5462	0.7705	0.4673	0.7125	0.1852	0.6119	0.5	0.7439	0.5140	0.7503	0.4580	0.6515	0.3252	0.5828	0.4965	0.6950	0.5032	0.6947	0.5137	0.7850	0.3688	0.5036	0.4720	0.7564	0.2699	0.7468	0.6117	0.4695	0.4865	0.5951	0.8190	0.7707	0.7754	0.8128
1.3419	9.0580	40000	1.5062	0.0013	4.5097	2.1730	0.5334	0.7731	0.4017	0.6446	0.4934	0.7641	0.5823	0.7738	0.4661	0.7199	0.3633	0.6170	0.5182	0.7655	0.5230	0.7541	0.4670	0.6554	0.3283	0.5868	0.5086	0.7047	0.5374	0.7079	0.5384	0.8	0.2665	0.7782	0.4865	0.7603	0.2625	0.7599	0.6162	0.4752	0.5467	0.6404	0.8207	0.7733	0.8083	0.8297
1.2911	13.5870	60000	1.4740	0.0013	4.3665	2.1265	0.5431	0.7827	0.4017	0.6226	0.5042	0.7663	0.5776	0.7816	0.4832	0.7214	0.2106	0.6109	0.5060	0.7533	0.5344	0.7594	0.4732	0.6519	0.3198	0.5685	0.4923	0.6900	0.4931	0.6954	0.5379	0.8083	0.3506	0.4930	0.5008	0.7768	0.2621	0.7390	0.6045	0.4492	0.4242	0.6183	0.8186	0.7659	0.7554	0.8234
1.2397	18.1159	80000	1.4710	0.0013	4.3537	2.1222	0.5355	0.7742	0.4044	0.6203	0.5169	0.7687	0.5692	0.7722	0.4724	0.7140	0.3523	0.6225	0.5088	0.7554	0.5271	0.7526	0.4918	0.6667	0.3442	0.5695	0.4949	0.6899	0.5318	0.7059	0.5409	0.8024	0.2643	0.785	0.5060	0.7725	0.2590	0.7676	0.6034	0.4954	0.5495	0.6285	0.8290	0.7749	0.8150	0.8230
1.1906	22.6449	100000	1.4768	0.0013	4.3788	2.1305	0.5342	0.7807	0.4052	0.6284	0.5238	0.7770	0.5770	0.7649	0.4817	0.7269	0.3506	0.6181	0.5196	0.7627	0.5321	0.7583	0.4850	0.6691	0.3317	0.5690	0.5012	0.6983	0.4975	0.7142	0.5420	0.8090	0.2637	0.7085	0.5230	0.7840	0.2821	0.4171	0.6129	0.4882	0.5175	0.6171	0.8043	0.7814	0.7775	0.8289
1.1539	27.1739	120000	1.4986	0.0013	4.4756	2.1621	0.5355	0.7782	0.4135	0.6490	0.5242	0.7819	0.5790	0.7795	0.4570	0.7061	0.3286	0.6123	0.4988	0.7528	0.5187	0.7281	0.4779	0.6674	0.3452	0.5604	0.4854	0.6910	0.5449	0.7106	0.5502	0.8088	0.2884	0.8028	0.5251	0.7881	0.3504	0.7872	0.6119	0.4789	0.5543	0.6131	0.8316	0.7727	0.7959	0.8165
1.1198	31.7029	140000	1.4979	0.0013	4.4723	2.1610	0.5628	0.7849	0.4080	0.5883	0.5267	0.7764	0.5820	0.7557	0.4490	0.6987	0.3389	0.6187	0.4901	0.7447	0.5149	0.7496	0.4686	0.6553	0.3383	0.5647	0.5059	0.6940	0.5319	0.7036	0.5503	0.8056	0.2686	0.7966	0.5293	0.7900	0.2607	0.7840	0.6003	0.4854	0.5448	0.6101	0.8329	0.7729	0.8068	0.8146
1.0878	36.2319	160000	1.5223	0.0013	4.5827	2.1962	0.5553	0.7755	0.4237	0.6483	0.5196	0.7746	0.5848	0.7763	0.4497	0.6927	0.3273	0.6138	0.4858	0.7384	0.5113	0.7470	0.4716	0.6550	0.3289	0.5669	0.5098	0.69	0.5040	0.6965	0.5400	0.8044	0.3216	0.7546	0.5179	0.7898	0.5233	0.7859	0.6214	0.4608	0.5760	0.6141	0.8290	0.7650	0.8015	0.8115
1.0617	40.7609	180000	1.5411	0.0013	4.6699	2.2234	0.5562	0.7730	0.4066	0.6411	0.5280	0.7766	0.5836	0.7781	0.4479	0.6957	0.3336	0.6154	0.4893	0.7420	0.4984	0.7377	0.4808	0.6601	0.3386	0.5917	0.4836	0.6912	0.4857	0.7079	0.5423	0.8068	0.3296	0.7652	0.5232	0.7876	0.5623	0.4156	0.6383	0.4685	0.5665	0.6055	0.8162	0.7709	0.7762	0.8144
1.0394	45.2899	200000	1.5598	0.0013	4.7580	2.2503	0.5424	0.7652	0.4188	0.6411	0.5339	0.7796	0.5744	0.7708	0.4461	0.6948	0.3397	0.6138	0.5024	0.7430	0.5046	0.7437	0.4778	0.6585	0.3314	0.5551	0.4977	0.6963	0.4902	0.7065	0.5365	0.8041	0.3187	0.7456	0.5171	0.7895	0.2577	0.5526	0.6165	0.4770	0.5211	0.6022	0.8101	0.7717	0.7609	0.8128

Framework versions

Transformers 4.44.2
Pytorch 2.4.0+cu118
Datasets 2.18.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: GPT2LMHeadModel
Ревизия весов: 8b0f947

Характеристики

Ссылки

childes-segmentation-18M-gpt2_lm-model

Бенчмарки

Тесты пользователейпока нет

Добавьте модель в бенчмарк

Опишите свои задачи

Запустите и опубликуйте

Публичные оценки

Что умеет модель

Сценарии применения

Ограничения

Для каких профессий подходит3

Карточка модели

childes-segmentation-18M-gpt2_lm-model

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Как запустить