Характеристики

Контекст: 512 токенов
Параметры: 7,1 млн
Архитектура: bert · dense
Опубликована: 15 мар 2022

Ссылки

distilbert-base-uncased-finetuned-cola

Классификация текстаТекст → label3 профессии

Небольшая BERT-модель для классификации текста, дообученная на CoLA и предназначенная для оценки английских предложений.

12скачиваний за 30 дней0лайковвеса обновлены24 мар 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

negfir/distilbert-base-uncased-finetuned-cola — модель классификации последовательностей на базе архитектуры BERT, дообученная автором negfir на наборе данных CoLA. В карточке указаны результаты оценки после двух эпох: Matthews Correlation равен 0,0 на обучающей выборке; потери составили 0,6077 на обучающей и 0,6185 на валидационной выборке. Модель содержит 7,1 млн параметров и принимает последовательности длиной до 512 токенов.

Модель предназначена для классификации текста. Название и результаты обучения указывают на связь с CoLA — оценкой грамматической приемлемости английских предложений, однако карточка не описывает классы и точную процедуру использования. Доступны форматы PyTorch и TensorFlow; лицензия в предоставленных данных не указана.

Сценарии применения

оценка грамматической приемлемости английского предложения
классификация коротких английских текстов
эксперименты с классификацией последовательностей на BERT

Ограничения

В README указана Matthews Correlation 0,0 на обучающей выборке, поэтому качество модели может быть низким. Оценка приведена лишь для двух эпох, а сведения о наборе данных, классах и применении ограничены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

negfir/distilbert-base-uncased-finetuned-cola

This model is a fine-tuned version of negfir/uncased_L-12_H-128_A-2 on an unknown dataset. It achieves the following results on the evaluation set:

Train Loss: 0.6077
Validation Loss: 0.6185
Train Matthews Correlation: 0.0
Epoch: 2

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

optimizer: {'name': 'Adam', 'learning_rate': {'class_name': 'PolynomialDecay', 'config': {'initial_learning_rate': 2e-05, 'decay_steps': 2670, 'end_learning_rate': 0.0, 'power': 1.0, 'cycle': False, 'name': None}}, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-08, 'amsgrad': False}
training_precision: float32

Training results

Train Loss	Validation Loss	Epoch
0.6116	0.6187	0
0.6070	0.6190	1
0.6077	0.6185	2

Framework versions

Transformers 4.17.0
TensorFlow 2.8.0
Datasets 2.0.0
Tokenizers 0.11.6

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: a7cddf4