Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Базовая модель: distilbert-base-uncased
Библиотека: transformers
Опубликована: 6 окт 2026

Ссылки

Hugging Face

distilbert-base-uncased-finetuned-imdb

evtefeev

Заполнение пропусковТекст → текст

Дообученная англоязычная модель DistilBERT, которая предсказывает пропущенные слова в тексте.

33скачиваний за 30 дней0лайковвеса обновлены6 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная модель DistilBERT для заполнения пропусков в тексте. Она основана на distilbert/distilbert-base-uncased и использует архитектуру DistilBertForMaskedLM; модель и веса доступны в формате safetensors. Контекст ограничен 512 токенами. Репозиторий указывает лицензию Apache-2.0.

Модель предназначена для подстановки вероятных слов вместо маскированных фрагментов в англоязычном тексте. README сообщает о дообучении на наборе данных, который не описан, и приводит значение loss 2,4385 на оценочном наборе. Подробности о подготовке данных и ограничениях качества не приведены.

Сценарии применения

подстановка пропущенного слова в английском предложении
предложение вариантов для маскированного фрагмента текста
проверка контекстуальных вариантов слова
демонстрация задачи masked language modeling

Ограничения

Данные обучения не описаны, а README не содержит подробных сведений о качестве и ограничениях; приведённый loss сам по себе не позволяет оценить практическую точность. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-base-uncased-finetuned-imdb

This model is a fine-tuned version of distilbert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.4385
Model Preparation Time: 0.0022

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 3.0
mixed_precision_training: Native AMP

Training results

Framework versions

Transformers 5.18.0
Pytorch 2.11.0+cu130
Datasets 4.8.5
Tokenizers 0.23.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForMaskedLM
Ревизия весов: d6d9cea