Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Базовая модель: distilbert-base-uncased
Библиотека: transformers
Опубликована: 11 июн 2026

Ссылки

Hugging Face

LLM_course_MLM_model_TokenClassification

Valencio

Разметка токеновТекст → label

Дообученная на DistilBERT модель для присвоения меток отдельным токенам текста.

2скачиваний за 30 дней0лайковвеса обновлены11 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Valencio/LLM_course_MLM_model_TokenClassification — дообученная модель DistilBERT для классификации токенов. Она построена на distilbert/distilbert-base-uncased и предназначена для присвоения меток отдельным токенам во входном тексте. Модель принимает текст, использует архитектуру DistilBERT и поддерживает контекст до 512 токенов.

В README приведены результаты на оценочном наборе: loss 0,2885, precision 0,4614, recall 0,2382, F1 0,3142 и accuracy 0,9381. Датасет и схема меток не описаны, поэтому эти метрики не позволяют определить конкретное прикладное назначение или переносимость результата. Лицензия — Apache-2.0.

Сценарии применения

классификация токенов в англоязычном тексте
разметка последовательностей токенов для задач NLP
эксперименты с классификацией токенов на базе DistilBERT

Ограничения

Датасет и набор меток не описаны; приведённые значения precision, recall и F1 указывают на ограниченное качество по этим метрикам. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

LLM_course_MLM_model_TokenClassification

This model is a fine-tuned version of distilbert/distilbert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.2885
Precision: 0.4614
Recall: 0.2382
F1: 0.3142
Accuracy: 0.9381

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
No log	1.0	213	0.3040	0.4125	0.1594	0.2299	0.9348
No log	2.0	426	0.2885	0.4614	0.2382	0.3142	0.9381

Framework versions

Transformers 5.10.1
Pytorch 2.11.0+cu128
Datasets 4.0.0
Tokenizers 0.22.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForTokenClassification
Ревизия весов: 30c87d9