Характеристики

Контекст: 514 токенов
Параметры: 96,6 млн
Архитектура: roberta · dense
Опубликована: 24 сен 2023

Ссылки

Hugging Face

UrduBert

mahwizzzz

Заполнение пропусковТекст → текст

Дообученная модель RoBERTa для предсказания пропущенных токенов в тексте на урду.

100скачиваний за 30 дней1лайквеса обновлены27 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

UrduBert — модель семейства RoBERTa с 96,6 млн параметров, дообученная для заполнения пропусков в тексте. Она принимает текст с маскированными токенами и предсказывает, какие токены могут стоять на их месте; заявленная задача в метаданных — fill-mask. Контекст составляет до 514 токенов. Модель опубликована в форматах PyTorch и Safetensors.

Карточка сообщает, что модель дообучена, но не называет базовую модель, обучающие данные, разработчика или конкретные сценарии оценки. Лицензия в предоставленных данных не указана.

Сценарии применения

подстановка пропущенного слова в предложении на урду
подбор вероятного продолжения маскированного фрагмента на урду
анализ контекстных вариантов слова на урду

Ограничения

В README нет сведений об обучающих данных, оценке качества и рекомендуемых сценариях применения; базовая модель и лицензия не установлены по предоставленным данным.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

UrduBert

This model is a fine-tuned version of on an unknown dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 64
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1

Training results

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu118
Datasets 2.15.0
Tokenizers 0.15.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 8b48ae6