Характеристики

Контекст: 512 токенов
Параметры: 205 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-multilingual-cased
Библиотека: transformers
Опубликована: 23 сен 2026

Ссылки

Hugging Face

tgbert-from_multilingual

ania3000

Заполнение пропусковТекст → текст

Дообученная многоязычная BERT-модель для предсказания замаскированных слов в тексте.

0скачиваний за 30 дней0лайковвеса обновлены23 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ania3000/tgbert-from_multilingual — модель BERT для восстановления замаскированных слов в тексте. Это дообученная версия google-bert/bert-base-multilingual-cased, разработанная автором репозитория ania3000; в README указано значение loss 1,3832 на наборе оценки. Модель содержит 205,1 млн параметров, использует архитектуру BertForMaskedLM и принимает последовательности длиной до 512 токенов.

Модель подходит для подстановки пропущенных слов в многоязычном тексте и других сценариев, где нужно предсказать токен на месте маски. Она распространяется в формате Safetensors по лицензии Apache-2.0. README не описывает обучающие данные и дополнительные сценарии применения, поэтому качество для конкретных языков и доменов по имеющимся данным оценить нельзя.

Сценарии применения

восстановление пропущенного слова в предложении
предсказание токена на месте маски
проверка контекста для вариантов заполнения пропуска

Ограничения

В README не приведены сведения о языках и обучающих данных, а указан только результат loss 1,3832 на наборе оценки. Практическое качество по конкретным языкам и типам текста неизвестно.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

tgbert-from_multilingual

This model is a fine-tuned version of google-bert/bert-base-multilingual-cased on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.3832

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss
No log	0.4831	200	1.7506
No log	0.9662	400	1.6833
No log	1.4493	600	1.5797
No log	1.9324	800	1.5435
No log	2.4155	1000	1.5333
No log	2.8986	1200	1.4784
No log	3.3816	1400	1.4606
No log	3.8647	1600	1.3845
No log	4.3478	1800	1.3895
No log	4.8309	2000	1.3839
No log	5.0	2070	1.3832

Framework versions

Transformers 5.17.0
Pytorch 2.11.0+cu130
Datasets 5.0.1
Tokenizers 0.23.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Нельзя запустить

Репозиторий недоступен на Hugging Face.

Класс архитектуры: BertForMaskedLM
Ревизия весов: 9f580ec