Характеристики

Контекст: 512 токенов
Параметры: 15,7 млн
Архитектура: bert · dense
Опубликована: 8 мар 2022

Ссылки

spanish-TinyBERT-betito-finetuned-xnli-es

Классификация текстаТекст → label3 профессии

Компактная испаноязычная модель на TinyBERT для классификации отношений между текстовыми посылкой и гипотезой в задаче XNLI.

33скачиваний за 30 дней0лайковвеса обновлены9 мар 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это испаноязычная модель классификации последовательностей, созданная дообучением mrm8488/spanish-TinyBERT-betito на датасете XNLI. Она использует архитектуру BERT и содержит 15,7 млн параметров; контекст ограничен 512 токенами. Модель предназначена для классификации текстовых пар в задаче естественно-языкового вывода: оценки отношения между посылкой и гипотезой.

В карточке приведены результаты на оценочной выборке: accuracy 0,7475 и loss 0,7104. Модель хранится в формате PyTorch. Сведения о лицензии и более подробных ограничениях в доступных источниках отсутствуют.

Сценарии применения

определение логического следования между испанскими предложениями
проверка, противоречит ли гипотеза текстовой посылке
классификация пар предложений для испаноязычного NLI
оценка семантической связи между посылкой и гипотезой

Ограничения

На оценочной выборке указана точность 0,7475; качество может быть недостаточным для решений, требующих высокой надёжности. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

spanish-TinyBERT-betito-finetuned-xnli-es

This model is a fine-tuned version of mrm8488/spanish-TinyBERT-betito on the xnli dataset. It achieves the following results on the evaluation set:

Loss: 0.7104
Accuracy: 0.7475

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2.50838112218154e-05
train_batch_size: 8
eval_batch_size: 64
seed: 13
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.7191	1.0	49399	0.6829	0.7112
0.6323	2.0	98798	0.6527	0.7305
0.5727	3.0	148197	0.6531	0.7465
0.4964	4.0	197596	0.7079	0.7427
0.4929	5.0	246995	0.7104	0.7475

Framework versions

Transformers 4.17.0
Pytorch 1.10.0+cu111
Datasets 1.18.4
Tokenizers 0.11.6

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 6613ab5