Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: xlm-roberta · dense
Опубликована: 20 окт 2022

Ссылки

Hugging Face

xlm-roberta-base-finetuned-lener_br

Luciano

Заполнение пропусковТекст → текст3 профессии

Дообученная XLM-RoBERTa для предсказания пропущенных токенов в тексте.

13скачиваний за 30 дней0лайковвеса обновлены10 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Luciano/xlm-roberta-base-finetuned-lener_br — модель XLM-RoBERTa с архитектурой XLMRobertaForMaskedLM, дообученная на наборе данных, обозначенном в карточке как None. Она предназначена для задачи fill-mask: предсказания пропущенного токена в тексте. Модель содержит 305,2 млн параметров, принимает текст и поддерживает контекст длиной до 514 токенов. Карточка указывает португальский язык; лицензия — MIT.

В карточке приведено значение loss 0,9094 на оценочном наборе, но описание обучающих данных, предполагаемого применения и ограничений отсутствует. Поэтому пригодность модели для конкретных сценариев, включая распознавание именованных сущностей, из имеющихся сведений установить нельзя.

Сценарии применения

восстановление пропущенного слова в португальском тексте
подстановка маскированного токена при анализе текста
предсказание вероятного продолжения фразы с пропуском

Ограничения

Карточка не описывает обучающие данные и предполагаемое применение; значение loss 0,9094 приведено без дополнительных сведений о методике оценки. Поддержка распознавания именованных сущностей по имеющимся данным не подтверждена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xlm-roberta-base-finetuned-lener_br

This model is a fine-tuned version of xlm-roberta-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.9094

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 15

Training results

Training Loss	Epoch	Step	Validation Loss
1.545	1.0	2079	1.4107
1.4708	2.0	4158	1.3126
1.322	3.0	6237	1.1943
1.1986	4.0	8316	1.1581
1.1316	5.0	10395	1.1156
1.0824	6.0	12474	1.0400
1.0435	7.0	14553	1.0276
0.9824	8.0	16632	1.0119
0.9289	9.0	18711	nan
0.9123	10.0	20790	0.9945
0.8591	11.0	22869	nan
0.8411	12.0	24948	0.9413
0.8376	13.0	27027	0.9411
0.7868	14.0	29106	0.9228
0.8012	15.0	31185	0.9449

Framework versions

Transformers 4.23.1
Pytorch 1.12.1+cu113
Datasets 2.6.1
Tokenizers 0.13.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: XLMRobertaForMaskedLM
Ревизия весов: e32c835