/ Модель

Характеристики

Контекст
514 токенов
Параметры
454 млн
Архитектура
roberta · dense
Опубликована
2 мар 2022

roberta-large-cola-krishna2020

Классификация текстаТекст → label5 профессий

Классификатор RoBERTa-large оценивает грамматическую приемлемость и беглость английских предложений.

3 805скачиваний за 30 дней7лайковвеса обновлены13 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это классификатор RoBERTa-large на 454,1 млн параметров, обученный авторами исследования Krishna et al. (2020) на корпусе CoLA с оценками грамматической приемлемости предложений. Модель принимает текст на английском языке и определяет, насколько грамматически приемлемо отдельное предложение.

Её можно применять для оценки беглости предложений, созданных языковыми моделями, в том числе при оценке переноса стиля. Модель использует архитектуру RoBERTa для классификации последовательностей, поддерживает контекст длиной до 514 токенов и распространяется в форматах PyTorch и Safetensors.

Репозиторий содержит конверсию исходной модели из Fairseq в формат Transformers. Описание не приводит отдельные условия лицензии; модель основана на работе авторов Krishna et al., 2020.

Сценарии применения

  • оценка грамматической правильности английских предложений
  • проверка беглости текста, сгенерированного языковой моделью
  • оценка качества переноса стиля
  • отбор грамматически приемлемых вариантов перефразирования

Ограничения

Модель обучена на предложениях из корпуса CoLA и предназначена для оценки грамматической приемлемости, поэтому её оценки не следует считать полной проверкой качества или смысла текста. Контекст ограничен 514 токенами.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is a RoBERTa-large classifier trained on the CoLA corpus Warstadt et al., 2019, which contains sentences paired with grammatical acceptability judgments. The model can be used to evaluate fluency of machine-generated English sentences, e.g. for evaluation of text style transfer.

The model was trained in the paper Krishna et al, 2020. Reformulating Unsupervised Style Transfer as Paraphrase Generation, and its original version is available at their project page. We converted this model from Fairseq to Transformers format. All credit goes to the authors of the original paper.

Citation

If you found this model useful and refer to it, please cite the original work:

@inproceedings{style20,
author={Kalpesh Krishna and John Wieting and Mohit Iyyer},
Booktitle = {Empirical Methods in Natural Language Processing},
Year = "2020",
Title={Reformulating Unsupervised Style Transfer as Paraphrase Generation},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
RobertaForSequenceClassification
Ревизия весов
efffc0d

0 моделей