/ Модель

Характеристики

Контекст
512 токенов
Параметры
152 млн
Лицензия
MIT
Архитектура
deberta · dense
Опубликована
2 мар 2022

silicone-deberta-pair

Классификация текстаТекст → label3 профессии

Классификатор DeBERTa определяет речевой акт текущей реплики по паре из предыдущего и текущего высказываний.

105скачиваний за 30 дней1лайквеса обновлены7 мар 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

diwank/silicone-deberta-pair — классификатор речевых актов в диалоге на базе DeBERTa-base. Модель разработана для определения функции текущей реплики с учётом предыдущей: на вход подаются два предложения — предыдущая реплика и текущая; для первой реплики предыдущий текст может быть пустым. Модель относит пару к одному из 11 классов, включая подтверждение, ответ, междометный отклик, вопрос, намерение и утверждение.

Модель содержит 151,8 млн параметров, использует архитектуру DeBERTaForSequenceClassification и рассчитана на контекст до 512 токенов. Она обучена на сбалансированном варианте объединённого набора данных речевых актов из коллекции SILICONE. Доступны веса PyTorch и TensorFlow; лицензия — MIT.

Классификатор подходит для разметки реплик и анализа структуры диалога. Его предсказания ограничены 11 указанными метками и обучающим набором, поэтому он может не охватывать другие типы речевых актов или переноситься на отличающиеся домены диалогов без дополнительной проверки.

Сценарии применения

  • разметка речевых актов в диалогах
  • определение типа ответа собеседника
  • выявление вопросов и намерений в репликах
  • анализ последовательности реплик в разговоре

Ограничения

Модель выдаёт только один из 11 заданных классов и обучена на данных коллекции SILICONE; качество на иных типах диалогов в карточке не указано.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

diwank/silicone-deberta-pair

deberta-base-based dialog acts classifier. Trained on the balanced variant of the silicone-merged dataset: a simplified merged dialog act data from datasets in the silicone collection.

Takes two sentences as inputs (one previous and one current utterance of a dialog). The previous sentence can be an empty string if this is the first utterance of a speaker in a dialog. Outputs one of 11 labels:

(0, 'acknowledge')
(1, 'answer')
(2, 'backchannel')
(3, 'reply_yes')
(4, 'exclaim')
(5, 'say')
(6, 'reply_no')
(7, 'hold')
(8, 'ask')
(9, 'intent')
(10, 'ask_yes_no')

Example:

from simpletransformers.classification import (
    ClassificationModel, ClassificationArgs
)

model = ClassificationModel("deberta", "diwank/silicone-deberta-pair")
convert_to_label = lambda n: [
    ['acknowledge',
     'answer',
     'backchannel',
     'reply_yes',
     'exclaim',
     'say',
     'reply_no',
     'hold',
     'ask',
     'intent',
     'ask_yes_no'
    ][i] for i in n
]

predictions, raw_outputs = model.predict([["Say what is the meaning of life?", "I dont know"]])
convert_to_label(predictions)  # answer

Report from W&B

https://wandb.ai/diwank/da-silicone-combined/reports/silicone-deberta-pair--VmlldzoxNTczNjE5?accessToken=yj1jz4c365z0y5b3olgzye7qgsl7qv9lxvqhmfhtb6300hql6veqa5xiq1skn8ys

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
DebertaForSequenceClassification
Ревизия весов
405127a

0 моделей