/ Модель

Характеристики

Контекст
512 токенов
Параметры
139 млн
Архитектура
camembert · dense
Опубликована
28 мая 2022

wangchanberta-base-att-spm-uncased-finetuned-imdb

Заполнение пропусковТекст → текст3 профессии

Дообученная WangchanBERTa для предсказания пропущенных токенов в тексте.

85скачиваний за 30 дней0лайковвеса обновлены9 июн 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

wangchanberta-base-att-spm-uncased-finetuned-imdb — дообученная модель семейства WangchanBERTa на базе airesearch/wangchanberta-base-att-spm-uncased. В метаданных она описана как плотная CamemBERT-совместимая модель для заполнения пропусков в тексте; содержит 139,1 млн параметров и обрабатывает последовательности длиной до 512 токенов.

Карточка сообщает о дообучении на датасете, обозначенном как None, и приводит значение Loss 0,0810 на оценочной выборке, но не объясняет назначение дообучения, данные и метод оценки. Поэтому модель можно использовать для предсказания пропущенных токенов, однако её пригодность для анализа тональности отзывов IMDB по доступному описанию подтвердить нельзя. Лицензия в предоставленных данных не указана.

Сценарии применения

  • восстановление пропущенных слов в тексте
  • подбор вероятного токена для замены маски
  • проверка языковых гипотез с помощью masked language modeling

Ограничения

Карточка не описывает назначение дообучения, обучающий датасет и условия оценки; указан только Loss 0,0810. Лицензия и пригодность для анализа тональности отзывов IMDB по предоставленным данным не подтверждены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

wangchanberta-base-att-spm-uncased-finetuned-imdb

This model is a fine-tuned version of airesearch/wangchanberta-base-att-spm-uncased on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0810

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 5
  • mixed_precision_training: Native AMP

Training results

Training LossEpochStepValidation Loss
0.18311.048260.1542
0.12.096520.1075
0.09463.0144780.0443
0.06184.0193040.0830
0.07835.0241300.0810

Framework versions

  • Transformers 4.15.0
  • Pytorch 1.11.0+cu113
  • Datasets 1.17.0
  • Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры
CamembertForMaskedLM
Ревизия весов
506ebc0

0 моделей