Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Архитектура: bert · dense
Опубликована: 12 апр 2022

Ссылки

Hugging Face

ernie-finetuned-qqp

rajiv003

Классификация текстаТекст → label6 профессий

Дообученная на QQP модель ERNIE 2.0 определяет, являются ли два текстовых вопроса дубликатами.

85скачиваний за 30 дней0лайковвеса обновлены12 апр 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ERNIE 2.0 ENE, дообученная модель на архитектуре BERT для классификации пар вопросов из набора QQP датасета GLUE. Разработчик дообучил её на базе nghuyong/ernie-2.0-en; модель предназначена для определения, задают ли два вопроса один и тот же вопрос, например, при поиске похожих вопросов или удалении дубликатов. В README указаны результаты оценки: accuracy 0,9157 и F1 0,8861.

Модель содержит 136,7 млн параметров, принимает текст и рассчитана на контекст до 512 токенов. Доступны веса в формате PyTorch. Лицензия в предоставленных данных не указана.

Сценарии применения

поиск дубликатов вопросов в базе поддержки
определение перефразированных вопросов
группировка похожих запросов пользователей
проверка совпадения вопросов перед добавлением в FAQ

Ограничения

Модель обучена для классификации пар вопросов на английском языке; результаты на других типах текста или языках не приведены. Контекст ограничен 512 токенами.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ernie-finetuned-qqp

This model is a fine-tuned version of nghuyong/ernie-2.0-en on the glue dataset. It achieves the following results on the evaluation set:

Loss: 0.4381
Accuracy: 0.9157
F1: 0.8861

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	F1
0.2522	1.0	22741	0.2505	0.8997	0.8633
0.1903	2.0	45482	0.2645	0.9071	0.8761
0.1599	3.0	68223	0.2986	0.9115	0.8816
0.1214	4.0	90964	0.3640	0.9133	0.8828
0.0809	5.0	113705	0.4381	0.9157	0.8861

Framework versions

Transformers 4.18.0
Pytorch 1.10.0+cu111
Datasets 2.0.0
Tokenizers 0.11.6

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: cf05cd3