/ Модель

Характеристики

Контекст
514 токенов
Параметры
152 млн
Архитектура
roberta · dense

roberta-base-MRPC

Классификация текстаТекст → label9 профессий

Дообученная TextAttack модель RoBERTa-base определяет, являются ли два предложения перефразами друг друга.

316скачиваний за 30 дней2лайкавеса обновлены20 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

TextAttack дообучила RoBERTa-base для классификации пар предложений на датасете MRPC из набора GLUE. Модель содержит 151,8 млн параметров и принимает текстовые пары; максимальная длина контекста по метаданным — 514 токенов. При дообучении использовались 5 эпох, размер пакета 16, скорость обучения 3e-05 и максимальная длина последовательности 256 токенов.

Модель предназначена для определения, выражают ли два предложения одинаковый смысл. В карточке указана точность 0,912 на оценочной выборке, достигнутая после двух эпох обучения. Доступны веса PyTorch и Flax; лицензия в предоставленных данных не указана.

Сценарии применения

  • проверка, передают ли два предложения одинаковый смысл
  • поиск перефразированных предложений
  • сопоставление вариантов формулировки одного утверждения

Ограничения

Модель настроена на классификацию пар предложений в задаче MRPC, поэтому её точность для других типов текстов и задач не подтверждена. В README указана точность 0,912 на оценочной выборке MRPC.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

TextAttack Model Card

This roberta-base model was fine-tuned for sequence classification using TextAttack and the glue dataset loaded using the nlp library. The model was fine-tuned for 5 epochs with a batch size of 16, a learning rate of 3e-05, and a maximum sequence length of 256. Since this was a classification task, the model was trained with a cross-entropy loss function. The best score the model achieved on this task was 0.9117647058823529, as measured by the eval set accuracy, found after 2 epochs.

For more information, check out TextAttack on Github.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
c8e9496

0 моделей