Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Базовая модель: distilbert-base-uncased
Библиотека: transformers
Опубликована: 21 ноя 2024

Ссылки

Hugging Face

distilbert-base-uncased-finetuned-imdb

sushanthreddy99

Заполнение пропусковТекст → текст

Дообученная англоязычная DistilBERT-модель для предсказания замаскированных токенов в тексте.

8скачиваний за 30 дней0лайковвеса обновлены22 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это дообученная модель DistilBERT для заполнения пропусков в англоязычном тексте. Она основана на distilbert/distilbert-base-uncased, использует архитектуру DistilBertForMaskedLM и библиотеку Transformers; максимальная длина контекста составляет 512 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Модель подходит для предсказания пропущенного токена в тексте с маской, например для языковых экспериментов и дополнения фраз. В карточке указаны результаты оценки на неизвестном наборе данных: loss 2,4894. Название указывает на настройку для IMDb, однако README не поясняет обучающие данные и назначение суффикса imdb, поэтому специализированные возможности для анализа отзывов подтвердить нельзя.

Сценарии применения

подстановка пропущенного слова в англоязычном предложении
подбор вероятного токена для маски в тексте
языковые эксперименты с моделью masked language modeling

Ограничения

Данные для обучения и назначение настройки с пометкой IMDb в README не раскрыты; приведённая оценка получена на неизвестном наборе данных и сама по себе не подтверждает качество для анализа отзывов.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-base-uncased-finetuned-imdb

This model is a fine-tuned version of distilbert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.4894
Model Preparation Time: 0.0045

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 3.0
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Model Preparation Time
2.6838	1.0	157	2.5094	0.0045
2.5878	2.0	314	2.4502	0.0045
2.5279	3.0	471	2.4819	0.0045

Framework versions

Transformers 4.46.2
Pytorch 2.5.1+cu121
Datasets 3.1.0
Tokenizers 0.20.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForMaskedLM
Ревизия весов: f21fb01