Характеристики

Контекст: 512 токенов
Параметры: 205 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-multilingual-cased
Библиотека: transformers
Опубликована: 27 сен 2026

Ссылки

Hugging Face

demo-tjbert

ania3000

Заполнение пропусковТекст → текст3 профессии

Дообученная многоязычная BERT-модель для предсказания пропущенных слов в тексте.

23скачиваний за 30 дней0лайковвеса обновлены27 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ania3000/demo-tjbert — дообученная модель BERT для восстановления замаскированных слов в тексте. Она основана на многоязычной google-bert/bert-base-multilingual-cased, содержит 205,1 млн параметров и использует архитектуру BertForMaskedLM. Модель принимает текст с маской и предсказывает подходящее слово; максимальная длина контекста — 512 токенов.

В карточке приведён результат оценки Loss 1,5950, но назначение дообучения, данные и подробные ограничения не описаны. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

Сценарии применения

подстановка пропущенного слова в предложении
восстановление замаскированных слов в многоязычном тексте
оценка вариантов заполнения текстовой маски

Ограничения

README не описывает обучающие данные и целевое назначение дообучения; приведён только результат Loss 1,5950 без контекста оценки. Максимальная длина контекста составляет 512 токенов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

demo-tjbert-morph

This model is a fine-tuned version of google-bert/bert-base-multilingual-cased on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.5950

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
No log	0.3339	200	2.2239
No log	0.6678	400	2.0909
No log	1.0017	600	1.9933
No log	1.3356	800	1.9482
No log	1.6694	1000	1.8904
No log	2.0033	1200	1.8300
No log	2.3372	1400	1.7884
No log	2.6711	1600	1.7494
No log	3.0050	1800	1.7091
No log	3.3389	2000	1.6628
No log	3.6728	2200	1.6603
No log	4.0067	2400	1.6243
No log	4.3406	2600	1.6028
No log	4.6745	2800	1.5906
No log	5.0	2995	1.5950

Framework versions

Transformers 5.17.0
Pytorch 2.11.0+cu128
Datasets 5.0.1
Tokenizers 0.23.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 876728f