Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Опубликована: 4 авг 2022

Ссылки

Hugging Face

distilbert-base-uncased-finetuned-cola

RayK

Классификация текстаТекст → label3 профессии

Англоязычная модель на DistilBERT для классификации предложений по грамматической приемлемости.

8скачиваний за 30 дней0лайковвеса обновлены7 сен 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

RayK/distilbert-base-uncased-finetuned-cola — англоязычная модель классификации предложений на основе DistilBERT, дообученная на наборе данных GLUE для задачи CoLA. Она предназначена для оценки грамматической приемлемости предложения и может применяться для фильтрации или анализа английских текстов. Модель использует архитектуру DistilBertForSequenceClassification, работает с текстом и рассчитана на контекст до 512 токенов.

На оценочной выборке указаны loss 0,6949 и коэффициент корреляции Мэттьюса 0,5410. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не содержит подробных сведений о тренировочных настройках или ограничениях качества.

Сценарии применения

проверка грамматической приемлемости английского предложения
фильтрация грамматически некорректных английских фраз
оценка качества предложений в корпусе английского текста

Ограничения

Результат оценки на GLUE CoLA — коэффициент корреляции Мэттьюса 0,5410; качество может отличаться на других типах текста. Модель обучена для английского языка и не предназначена для общей проверки фактов или исправления текста.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-base-uncased-finetuned-cola

This model is a fine-tuned version of distilbert-base-uncased on the glue dataset. It achieves the following results on the evaluation set:

Loss: 0.6949
Matthews Correlation: 0.5410

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Matthews Correlation
0.5241	1.0	535	0.5322	0.3973
0.356	2.0	1070	0.5199	0.4836
0.2402	3.0	1605	0.6086	0.5238
0.166	4.0	2140	0.6949	0.5410
0.134	5.0	2675	0.8254	0.5253

Framework versions

Transformers 4.21.0
Pytorch 1.9.1
Datasets 1.12.1
Tokenizers 0.12.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: DistilBertForSequenceClassification
Ревизия весов: 9777f9e