/ Модель

Характеристики

Контекст
1 024 токена
Архитектура
gpt2 · dense
Опубликована
20 мая 2024

gpt2_cola

Классификация текстаТекст → label3 профессии

Дообученная модель GPT-2 для классификации грамматической приемлемости предложений на английском языке.

408скачиваний за 30 дней0лайковвеса обновлены20 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель tanganke/gpt2_cola разработана пользователем tanganke на основе openai-community/gpt2 и дообучена на наборе CoLA из бенчмарка GLUE. Это модель классификации текста с архитектурой GPT-2 и максимальным контекстом 1024 токена; в метаданных указан pipeline-тег text-classification.

Модель предназначена для оценки грамматической приемлемости предложений английского языка: она определяет, выглядит ли предложение грамматически корректным. Дообучение выполнялось в течение 3 эпох с learning rate 5e-5, а в карточке модели для оценки указанная метрика — accuracy.

Сильная сторона модели — специализация на задаче CoLA и возможность применять её для автоматического предварительного отбора или анализа английских предложений. Она не предназначена для универсальной классификации текстов, генерации ответов или полноценной проверки орфографии и стиля; результаты могут быть ограничены распределением данных GLUE и особенностями GPT-2.

Сценарии применения

  • проверка грамматической приемлемости английских предложений
  • оценка качества предложений в корпусах текстов
  • фильтрация потенциально неграмматичных фраз
  • эксперименты с классификацией текста на бенчмарке GLUE

Ограничения

Модель специализирована на бинарной оценке грамматической приемлемости предложений и не является универсальным средством проверки грамматики, орфографии или стиля. Качество может снижаться на текстах, существенно отличающихся от данных CoLA и GLUE.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Model ID

GPT2 model fine-tuned on cola from GLUE benchmark, using a learning rate of 5e-5 for 3 epochs.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
GPT2ForSequenceClassification
Ревизия весов
a1a84de

0 моделей