Характеристики

Контекст: 256 токенов
Параметры: 1,6 млн
Лицензия: MIT
Архитектура: roberta · dense
Базовая модель: roberta-base
Библиотека: transformers
Опубликована: 16 янв 2025

Ссылки

Hugging Face

BERiT_2000_custom_architecture_150_epochs_2_heb_sentences_unvocalized

martijn75

Заполнение пропусковТекст → текст3 профессии

Дообученная модель RoBERTa для предсказания пропущенных токенов, ориентированная по названию на неогласованный иврит.

8скачиваний за 30 дней0лайковвеса обновлены16 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

BERiT_2000_custom_architecture_150_epochs_2_heb_sentences_unvocalized — модель на архитектуре RoBERTa, дообученная на базе roberta-base для заполнения пропусков в тексте. Карточка сообщает о результате loss 6,0126 на оценочном наборе, но не описывает этот набор или обучающие данные.

Модель предназначена для предсказания замаскированных токенов. Название указывает на ивритские предложения без огласовок, однако карточка не подтверждает языковую специализацию или подробности настройки. В метаданных указаны 1,6 млн параметров, контекст 256 токенов, библиотека Transformers и формат safetensors.

Лицензия — MIT. Из-за отсутствия описания датасета и подробностей обучения оценочный результат трудно интерпретировать; пригодность для конкретных текстов следует проверять отдельно.

Сценарии применения

восстановление замаскированных слов в тексте
подстановка пропущенных токенов в предложениях на иврите
эксперименты с языковым моделированием неогласованного иврита

Ограничения

Обучающий датасет описан как неизвестный, а оценочный набор и условия измерения loss не приведены. Языковая специализация на иврите следует из названия модели, но не подтверждена описанием карточки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

BERiT_2000_custom_architecture_150_epochs_2_heb_sentences_unvocalized

This model is a fine-tuned version of roberta-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 6.0126

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0005
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 30

Training results

Training Loss	Epoch	Step	Validation Loss
7.1029	0.0706	500	6.8884
6.8294	0.1412	1000	nan
6.7164	0.2119	1500	6.6371
6.6739	0.2825	2000	6.5790
6.6008	0.3531	2500	6.5304
6.5414	0.4237	3000	6.4560
6.5448	0.4944	3500	6.4939
6.4607	0.5650	4000	nan
6.5022	0.6356	4500	6.4371
6.446	0.7062	5000	nan
6.4194	0.7768	5500	6.4059
6.3992	0.8475	6000	nan
6.4376	0.9181	6500	nan
6.4444	0.9887	7000	6.3992
6.3749	1.0593	7500	nan
6.3867	1.1299	8000	6.3379
6.4086	1.2006	8500	nan
6.2898	1.2712	9000	nan
6.3435	1.3418	9500	6.3256
6.345	1.4124	10000	nan
6.3844	1.4831	10500	6.2796
6.2789	1.5537	11000	6.3303
6.3743	1.6243	11500	6.2644
6.3935	1.6949	12000	6.3009
6.3237	1.7655	12500	nan
6.341	1.8362	13000	nan
6.3506	1.9068	13500	nan
6.35	1.9774	14000	nan
6.3671	2.0480	14500	nan
6.3083	2.1186	15000	nan
6.4258	2.1893	15500	6.2656
6.3307	2.2599	16000	6.2405
6.3455	2.3305	16500	nan
6.3117	2.4011	17000	6.2726
6.3321	2.4718	17500	6.1937
6.2914	2.5424	18000	nan
6.3145	2.6130	18500	nan
6.3538	2.6836	19000	nan
6.3082	2.7542	19500	nan
6.3148	2.8249	20000	6.2158
6.3051	2.8955	20500	6.2505
6.3388	2.9661	21000	nan
6.322	3.0367	21500	6.2130
6.2954	3.1073	22000	nan
6.2739	3.1780	22500	nan
6.4026	3.2486	23000	6.2002
6.2916	3.3192	23500	nan
6.3054	3.3898	24000	nan
6.2989	3.4605	24500	6.2263
6.295	3.5311	25000	nan
6.2319	3.6017	25500	6.1653
6.2609	3.6723	26000	6.2501
6.2457	3.7429	26500	nan
6.2721	3.8136	27000	6.2205
6.2396	3.8842	27500	nan
6.2361	3.9548	28000	6.2326
6.3872	4.0254	28500	nan
6.2497	4.0960	29000	6.2268
6.2765	4.1667	29500	nan
6.2148	4.2373	30000	nan
6.2941	4.3079	30500	6.2032
6.3123	4.3785	31000	nan
6.2495	4.4492	31500	6.2263
6.308	4.5198	32000	nan
6.261	4.5904	32500	6.2560
6.2686	4.6610	33000	nan
6.2678	4.7316	33500	nan
6.2495	4.8023	34000	6.2098
6.2266	4.8729	34500	6.1850
6.2989	4.9435	35000	6.1694
6.2602	5.0141	35500	nan
6.2388	5.0847	36000	nan
6.242	5.1554	36500	6.1804
6.2439	5.2260	37000	nan
6.2646	5.2966	37500	nan
6.262	5.3672	38000	6.1902
6.2188	5.4379	38500	6.1818
6.209	5.5085	39000	nan
6.2503	5.5791	39500	6.1906
6.2712	5.6497	40000	6.1736
6.2043	5.7203	40500	6.1975
6.2248	5.7910	41000	nan
6.3455	5.8616	41500	nan
6.2148	5.9322	42000	6.1939
6.1439	6.0028	42500	nan
6.1853	6.0734	43000	6.1840
6.2241	6.1441	43500	6.1239
6.1506	6.2147	44000	nan
6.1732	6.2853	44500	6.1313
6.185	6.3559	45000	6.2085
6.1877	6.4266	45500	nan
6.2158	6.4972	46000	6.1178
6.1958	6.5678	46500	nan
6.1323	6.6384	47000	nan
6.1444	6.7090	47500	6.1754
6.2154	6.7797	48000	nan
6.1692	6.8503	48500	6.1440
6.2355	6.9209	49000	6.2020
6.2298	6.9915	49500	nan
6.1737	7.0621	50000	6.1707
6.2029	7.1328	50500	6.1939
6.1926	7.2034	51000	6.1649
6.2382	7.2740	51500	nan
6.1298	7.3446	52000	6.1352
6.1495	7.4153	52500	6.1850
6.2272	7.4859	53000	nan
6.1048	7.5565	53500	6.1142
6.1696	7.6271	54000	nan
6.1736	7.6977	54500	nan
6.2028	7.7684	55000	6.1465
6.0828	7.8390	55500	6.1531
6.1915	7.9096	56000	nan
6.1964	7.9802	56500	nan
6.1646	8.0508	57000	6.1572
6.1533	8.1215	57500	nan
6.1874	8.1921	58000	6.1064
6.1235	8.2627	58500	nan
6.1056	8.3333	59000	6.1144
6.2217	8.4040	59500	nan
6.071	8.4746	60000	6.1050
6.1383	8.5452	60500	nan
6.1331	8.6158	61000	nan
6.1168	8.6864	61500	nan
6.1588	8.7571	62000	nan
6.1549	8.8277	62500	6.1519
6.1293	8.8983	63000	6.1578
6.1521	8.9689	63500	nan
6.0848	9.0395	64000	6.1748
6.1571	9.1102	64500	nan
6.0922	9.1808	65000	6.1670
6.1788	9.2514	65500	6.1235
6.109	9.3220	66000	nan
6.1017	9.3927	66500	6.1323
6.0672	9.4633	67000	6.1283
6.1489	9.5339	67500	nan
6.0659	9.6045	68000	nan
6.0496	9.6751	68500	nan
6.1164	9.7458	69000	6.1383
6.1243	9.8164	69500	6.0801
6.0916	9.8870	70000	6.0923
6.0995	9.9576	70500	nan
6.1396	10.0282	71000	nan
6.1723	10.0989	71500	nan
6.0133	10.1695	72000	6.1311
6.1455	10.2401	72500	nan
6.0744	10.3107	73000	nan
6.1285	10.3814	73500	6.0616
6.0929	10.4520	74000	6.0311
6.2586	10.5226	74500	6.1529
6.1351	10.5932	75000	6.1050
6.1504	10.6638	75500	6.1680
6.1235	10.7345	76000	6.0966
6.0992	10.8051	76500	6.2040
6.059	10.8757	77000	nan
6.0739	10.9463	77500	6.1145
6.1272	11.0169	78000	6.1572
6.1592	11.0876	78500	6.0978
6.1464	11.1582	79000	nan
6.1326	11.2288	79500	6.1988
6.1359	11.2994	80000	6.1089
6.031	11.3701	80500	nan
6.0484	11.4407	81000	nan
6.1217	11.5113	81500	nan
6.1032	11.5819	82000	6.1215
6.1481	11.6525	82500	6.0676
6.1867	11.7232	83000	nan
6.0981	11.7938	83500	6.1013
6.03	11.8644	84000	6.1857
6.0902	11.9350	84500	nan
6.0894	12.0056	85000	nan
6.18	12.0763	85500	6.1900
6.0965	12.1469	86000	6.0760
6.1048	12.2175	86500	nan
5.9934	12.2881	87000	nan
6.1036	12.3588	87500	6.1390
6.1649	12.4294	88000	6.0900
6.0798	12.5	88500	nan
6.1191	12.5706	89000	nan
6.0809	12.6412	89500	6.0530
6.0706	12.7119	90000	nan
6.0342	12.7825	90500	nan
6.0958	12.8531	91000	6.1347
6.0016	12.9237	91500	nan
6.0264	12.9944	92000	nan
6.0377	13.0650	92500	nan
6.0421	13.1356	93000	nan
6.0284	13.2062	93500	nan
6.0375	13.2768	94000	6.1137
6.0337	13.3475	94500	nan
6.0114	13.4181	95000	6.1194
6.1292	13.4887	95500	6.1449
6.1287	13.5593	96000	nan
6.113	13.6299	96500	6.1170
5.9993	13.7006	97000	6.0983
6.0419	13.7712	97500	nan
6.0563	13.8418	98000	nan
6.0886	13.9124	98500	6.0018
6.0636	13.9831	99000	nan
6.067	14.0537	99500	6.0388
6.0632	14.1243	100000	nan
6.119	14.1949	100500	nan
6.0188	14.2655	101000	6.1205
6.0297	14.3362	101500	6.1253
6.0593	14.4068	102000	6.1035
6.0629	14.4774	102500	6.0983
6.1059	14.5480	103000	6.0334
6.1221	14.6186	103500	6.0551
6.0579	14.6893	104000	nan
6.0338	14.7599	104500	nan
6.0468	14.8305	105000	6.0990
6.0964	14.9011	105500	6.0751
6.0967	14.9718	106000	6.1548
6.0734	15.0424	106500	6.0235
5.9732	15.1130	107000	nan
6.0531	15.1836	107500	nan
6.0603	15.2542	108000	nan
5.974	15.3249	108500	nan
6.0552	15.3955	109000	nan
6.101	15.4661	109500	6.0156
6.0708	15.5367	110000	6.0840
6.0859	15.6073	110500	6.0723
6.062	15.6780	111000	nan
6.0073	15.7486	111500	6.1137
6.0929	15.8192	112000	6.0780
6.0031	15.8898	112500	nan
6.0173	15.9605	113000	6.0638
6.0721	16.0311	113500	6.1357
6.0563	16.1017	114000	nan
6.0256	16.1723	114500	6.0727
6.098	16.2429	115000	nan
6.0402	16.3136	115500	nan
5.9993	16.3842	116000	nan
6.0688	16.4548	116500	nan
6.021	16.5254	117000	nan
6.0174	16.5960	117500	6.0595
5.9969	16.6667	118000	6.0894
6.0702	16.7373	118500	nan
6.0221	16.8079	119000	nan
6.0606	16.8785	119500	nan
6.0127	16.9492	120000	nan
6.0435	17.0198	120500	6.0959
6.0302	17.0904	121000	6.0863
6.0335	17.1610	121500	nan
6.0096	17.2316	122000	6.0451
5.9966	17.3023	122500	nan
6.0181	17.3729	123000	6.0442
5.9939	17.4435	123500	6.0830
6.0848	17.5141	124000	6.0225
6.1117	17.5847	124500	6.0770
6.077	17.6554	125000	nan
6.0588	17.7260	125500	6.0895
5.9812	17.7966	126000	6.1394
6.1444	17.8672	126500	6.0138
6.0979	17.9379	127000	6.0448
6.0365	18.0085	127500	6.1132
6.0717	18.0791	128000	6.1134
6.0051	18.1497	128500	nan
5.9528	18.2203	129000	nan
6.0199	18.2910	129500	6.0976
6.063	18.3616	130000	6.0715
6.0711	18.4322	130500	6.0578
5.9654	18.5028	131000	nan
5.8916	18.5734	131500	nan
6.0775	18.6441	132000	6.0465
6.0757	18.7147	132500	nan
6.0111	18.7853	133000	nan
5.9791	18.8559	133500	nan
6.0331	18.9266	134000	6.0419
5.9723	18.9972	134500	nan
5.9897	19.0678	135000	nan
6.0377	19.1384	135500	nan
6.0432	19.2090	136000	nan
6.0736	19.2797	136500	6.1134
6.0523	19.3503	137000	nan
6.0774	19.4209	137500	6.0954
6.0458	19.4915	138000	nan
5.9926	19.5621	138500	6.0526
6.0437	19.6328	139000	6.0729
6.0036	19.7034	139500	6.0630
5.9795	19.7740	140000	nan
6.0369	19.8446	140500	6.0868
6.0267	19.9153	141000	5.9899
6.0673	19.9859	141500	nan
5.9944	20.0565	142000	nan
6.043	20.1271	142500	6.0533
6.0288	20.1977	143000	nan
6.0334	20.2684	143500	nan
6.0371	20.3390	144000	6.1105
5.9942	20.4096	144500	nan
6.0003	20.4802	145000	nan
5.9802	20.5508	145500	6.0586
5.9992	20.6215	146000	6.0895
5.9803	20.6921	146500	nan
5.9348	20.7627	147000	nan
6.0244	20.8333	147500	6.0808
6.0842	20.9040	148000	nan
6.03	20.9746	148500	6.0910
6.0006	21.0452	149000	nan
5.9551	21.1158	149500	nan
5.9976	21.1864	150000	6.1016
5.9662	21.2571	150500	6.1073
5.9201	21.3277	151000	nan
6.0516	21.3983	151500	6.0280
6.0402	21.4689	152000	nan
5.9869	21.5395	152500	nan
6.0088	21.6102	153000	6.1066
6.0169	21.6808	153500	nan
6.0037	21.7514	154000	nan
5.9707	21.8220	154500	6.0141
6.0209	21.8927	155000	nan
6.0351	21.9633	155500	6.1268
6.0306	22.0339	156000	6.0568
6.0246	22.1045	156500	6.0601
5.9771	22.1751	157000	6.0895
5.9555	22.2458	157500	nan
6.0206	22.3164	158000	nan
5.9553	22.3870	158500	6.0662
6.055	22.4576	159000	6.0105
6.0649	22.5282	159500	6.0310
6.0288	22.5989	160000	6.0540
5.9963	22.6695	160500	6.1198
6.0229	22.7401	161000	nan
5.9629	22.8107	161500	6.0533
6.0418	22.8814	162000	nan
5.9758	22.9520	162500	nan
5.9453	23.0226	163000	nan
6.057	23.0932	163500	nan
5.9995	23.1638	164000	6.1148
5.9878	23.2345	164500	6.0519
5.9797	23.3051	165000	6.0883
5.9891	23.3757	165500	6.1209
5.9536	23.4463	166000	6.0606
6.0733	23.5169	166500	6.0747
5.9413	23.5876	167000	6.0731
6.0503	23.6582	167500	nan
6.0375	23.7288	168000	6.0301
5.9714	23.7994	168500	6.0809
6.0661	23.8701	169000	6.0921
6.0002	23.9407	169500	nan
6.0356	24.0113	170000	6.0838
6.0175	24.0819	170500	6.0329
6.0097	24.1525	171000	6.1645
5.9653	24.2232	171500	nan
5.9845	24.2938	172000	nan
5.9885	24.3644	172500	6.0507
5.9841	24.4350	173000	nan
5.9572	24.5056	173500	6.1067
5.9391	24.5763	174000	6.0579
5.984	24.6469	174500	6.0272
6.0545	24.7175	175000	nan
5.9807	24.7881	175500	6.0092
5.8974	24.8588	176000	6.0482
6.0534	24.9294	176500	6.0482
6.0376	25.0	177000	6.0402
5.9246	25.0706	177500	6.0236
6.0243	25.1412	178000	6.0713
6.0541	25.2119	178500	6.0503
5.9868	25.2825	179000	6.0138
5.9886	25.3531	179500	6.0154
5.9926	25.4237	180000	6.0850
5.9487	25.4944	180500	6.0454
6.0272	25.5650	181000	nan
6.0663	25.6356	181500	nan
5.9864	25.7062	182000	nan
6.0277	25.7768	182500	nan
5.999	25.8475	183000	6.0322
6.0114	25.9181	183500	6.0639
5.9877	25.9887	184000	nan
5.9953	26.0593	184500	6.0122
6.0245	26.1299	185000	nan
5.9672	26.2006	185500	nan
6.0169	26.2712	186000	nan
6.0021	26.3418	186500	5.9997
5.9499	26.4124	187000	6.0331
6.0098	26.4831	187500	nan
6.0136	26.5537	188000	6.0775
6.0037	26.6243	188500	6.0555
6.0445	26.6949	189000	nan
6.0189	26.7655	189500	6.0952
5.9381	26.8362	190000	nan
5.9882	26.9068	190500	nan
6.0254	26.9774	191000	6.1021
6.0013	27.0480	191500	nan
5.9611	27.1186	192000	nan
5.9992	27.1893	192500	nan
5.9651	27.2599	193000	nan
6.0079	27.3305	193500	nan
6.0113	27.4011	194000	6.0173
6.0021	27.4718	194500	6.0847
5.9794	27.5424	195000	6.0476
5.9359	27.6130	195500	nan
5.9685	27.6836	196000	6.0505
6.0023	27.7542	196500	5.9914
5.9674	27.8249	197000	nan
6.0061	27.8955	197500	6.0401
5.9854	27.9661	198000	nan
5.9778	28.0367	198500	6.0549
6.0588	28.1073	199000	6.0380
6.0043	28.1780	199500	6.0653
5.9742	28.2486	200000	nan
5.986	28.3192	200500	6.0445
5.9907	28.3898	201000	nan
5.9782	28.4605	201500	6.0890
6.0342	28.5311	202000	6.0157
6.0041	28.6017	202500	6.0612
5.9586	28.6723	203000	6.0011
5.9532	28.7429	203500	nan
5.9478	28.8136	204000	nan
5.9821	28.8842	204500	nan
6.0396	28.9548	205000	nan
5.9996	29.0254	205500	nan
5.889	29.0960	206000	nan
5.9682	29.1667	206500	6.1301
6.0364	29.2373	207000	6.0085
5.9968	29.3079	207500	5.9981
5.9751	29.3785	208000	6.0840
5.9528	29.4492	208500	nan
5.9916	29.5198	209000	6.0662
6.0092	29.5904	209500	nan
5.9607	29.6610	210000	6.0939
5.9675	29.7316	210500	6.0106
5.9391	29.8023	211000	6.0648
5.9717	29.8729	211500	nan
5.9573	29.9435	212000	6.0126

Framework versions

Transformers 4.47.1
Pytorch 2.5.1+cu118
Datasets 3.2.0
Tokenizers 0.21.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 280ca26