Характеристики

Контекст: 8 192 токена
Параметры: 307 млн
Лицензия: MIT
Архитектура: modernbert · dense
Базовая модель: mmBERT-base
Библиотека: transformers
Опубликована: 14 июл 2026

Ссылки

Hugging Face

2026-07-14-crf-classweights-clean-modernbert

c-ho

Разметка токеновТекст → label3 профессии

Дообученный многоязычный ModernBERT с CRF для разметки лингвистических понятий в тексте.

14скачиваний за 30 дней0лайковвеса обновлены14 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная модель c-ho/2026-07-14-crf-classweights-clean-modernbert для классификации токенов. Она основана на jhu-clsp/mmBERT-base и использует архитектуру ModernBERT с CRF-слоем; в метаданных указано 306,9 млн параметров, контекст до 8192 токенов и формат safetensors. Модель предназначена для разметки текстовых фрагментов по категориям лингвистических понятий, включая морфологические, синтаксические, фонологические и лексические явления, а также сведения о языковых ресурсах и терминах.

Сценарии применения

извлечение лингвистических терминов из текста
классификация морфологических и синтаксических явлений
разметка фонологических и лексических понятий
поиск сведений о языковых ресурсах в документах

Ограничения

Данные обучения не описаны. В оценке F1 заметно различается по категориям: например, для графемических явлений он составляет 0,3333, а для фонологических — 0,8905.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

2026-07-14-crf-classweights-clean

This model is a fine-tuned version of jhu-clsp/mmBERT-base on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 6.2511
Precision: 0.8409
Recall: 0.7867
F1: 0.8129
Accuracy: 0.9783
Academicdiscipline F1: 0.7692
Ambiguouslydefinedconcept F1: 0.8657
Discoursephenomenon F1: 0.6575
Graphemicphenomenon F1: 0.3333
Languagerelatedterm F1: 0.8585
Languageresourceinformation F1: 0.7790
Lexicalphenomenon F1: 0.8214
Morphologicalphenomenon F1: 0.8577
Morphosyntacticphenomenon F1: 0.8653
New Tag F1: 0.8329
Otherlinguisticterm F1: 0.7828
Phonologicalphenomenon F1: 0.8905
Semanticphenomenon F1: 0.7410
Syntacticphenomenon F1: 0.7627
Topnode Dummy F1: 0.6966
Unclassifiedlinguisticconcept F1: 0.7826

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 4
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 16
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 15
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy	Academicdiscipline F1	Ambiguouslydefinedconcept F1	Discoursephenomenon F1	Graphemicphenomenon F1	Languagerelatedterm F1	Languageresourceinformation F1	Lexicalphenomenon F1	Morphologicalphenomenon F1	Morphosyntacticphenomenon F1	New Tag F1	Otherlinguisticterm F1	Phonologicalphenomenon F1	Semanticphenomenon F1	Syntacticphenomenon F1	Topnode Dummy F1	Unclassifiedlinguisticconcept F1
154.2066	1.0	950	4.7964	0.7411	0.4345	0.5478	0.9571	0.0	0.4742	0.2826	0.0	0.6186	0.4208	0.4900	0.6951	0.7134	0.4680	0.3303	0.7409	0.4689	0.5193	0.2402	0.5909
15.6468	2.0	1900	3.2432	0.7480	0.6904	0.7181	0.9685	0.4615	0.7045	0.5679	0.0	0.7653	0.7037	0.7048	0.7611	0.8067	0.7319	0.6433	0.8467	0.6555	0.6880	0.5009	0.7414
7.7215	3.0	2850	2.8585	0.8064	0.7123	0.7564	0.9730	0.72	0.7874	0.5373	0.0	0.8084	0.7146	0.8047	0.8036	0.8318	0.7605	0.6534	0.8793	0.7372	0.6694	0.6221	0.7692
4.5474	4.0	3800	3.2020	0.7642	0.7979	0.7807	0.9738	0.7407	0.8382	0.6316	0.0	0.8447	0.7506	0.7390	0.8051	0.8334	0.7852	0.7424	0.8733	0.7207	0.7390	0.6788	0.7833
2.5276	5.0	4750	3.5201	0.8295	0.7421	0.7833	0.9758	0.7407	0.8507	0.6333	0.0	0.8488	0.7241	0.7758	0.8546	0.8228	0.8159	0.7595	0.8842	0.7	0.7231	0.6515	0.7965
1.5515	6.0	5700	4.6262	0.8448	0.7346	0.7859	0.9761	0.64	0.8489	0.6316	0.3333	0.8633	0.7895	0.7862	0.8437	0.8424	0.8215	0.7296	0.8608	0.6508	0.7159	0.6518	0.7965
1.1181	7.0	6650	4.9084	0.8056	0.7965	0.8010	0.9764	0.6667	0.8652	0.5833	0.0	0.8431	0.7857	0.8084	0.8432	0.8473	0.8303	0.7488	0.8922	0.7088	0.7718	0.6849	0.8205
0.7848	8.0	7600	5.2752	0.8068	0.8074	0.8071	0.9771	0.6923	0.8636	0.6076	0.0	0.8385	0.7837	0.7688	0.8448	0.8689	0.8077	0.7673	0.8980	0.7852	0.7602	0.7017	0.8430
0.5062	9.0	8550	5.7397	0.8059	0.8028	0.8044	0.9770	0.72	0.8684	0.6667	0.0	0.8433	0.7483	0.7865	0.8466	0.8612	0.8205	0.7662	0.9012	0.7550	0.7549	0.6856	0.8376
0.2785	10.0	9500	6.2578	0.8445	0.7653	0.8030	0.9773	0.7692	0.8676	0.6667	0.0	0.8294	0.7762	0.7768	0.8624	0.8543	0.8285	0.7654	0.9019	0.7681	0.7433	0.6791	0.8142
0.2292	11.0	10450	6.0476	0.8321	0.7922	0.8117	0.9781	0.7692	0.7917	0.6154	0.3333	0.8544	0.7991	0.8144	0.8618	0.8679	0.8274	0.7721	0.8969	0.6939	0.7630	0.7067	0.8276
0.1621	12.0	11400	6.2511	0.8409	0.7867	0.8129	0.9783	0.7692	0.8657	0.6575	0.3333	0.8585	0.7790	0.8214	0.8577	0.8653	0.8329	0.7828	0.8905	0.7410	0.7627	0.6966	0.7826
0.0634	13.0	12350	6.1515	0.8012	0.8204	0.8107	0.9776	0.7407	0.8613	0.6053	0.3333	0.8609	0.7909	0.8215	0.8430	0.8673	0.8269	0.7655	0.8946	0.7877	0.7595	0.6992	0.7895
0.0088	14.0	13300	6.2072	0.8138	0.8091	0.8114	0.9778	0.7407	0.8696	0.6234	0.3333	0.8583	0.7778	0.8357	0.8545	0.8647	0.8214	0.7679	0.8965	0.7698	0.7601	0.7014	0.7788
0.0123	15.0	14250	6.3479	0.8279	0.7983	0.8128	0.9781	0.7407	0.8696	0.6316	0.3333	0.8557	0.7885	0.8235	0.8566	0.8661	0.8403	0.7636	0.8968	0.7410	0.7616	0.6984	0.7788

Framework versions

Transformers 4.57.6
Pytorch 2.6.0+cu124
Datasets 3.2.0
Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertCRFForTokenClassification
Ревизия весов: 3c14e9e