/ Модель

Характеристики

Контекст
1 024 токена
Архитектура
gpt2 · dense

DialogRPT-updown

Классификация текстаТекст → label3 профессии

Классификатор Microsoft Research, оценивающий вероятность голосования за ответ в диалоге для ранжирования кандидатов.

396скачиваний за 30 дней13лайковвеса обновлены23 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

DialogRPT-updown — модель ранжирования ответов в диалоге, разработанная группой Microsoft Research NLP. Она оценивает, насколько вероятно, что ответ получит голос за в контексте диалога; оценку можно использовать для сортировки нескольких кандидатов, созданных другой диалоговой моделью, например DialoGPT. Модель относится к семейству GPT-2 и реализована как классификатор последовательностей на PyTorch; длина контекста составляет до 1024 токенов.

Модель обучена на более чем 100 миллионах примеров человеческой обратной связи и предназначена для выбора предпочтительного ответа, а не для генерации диалогов. Карточка описывает задачу updown; отдельные модели семейства DialogRPT предназначены и для других видов обратной связи. Лицензия в предоставленных данных не указана.

Сценарии применения

  • ранжирование сгенерированных ответов диалогового бота
  • выбор ответа с наибольшей вероятностью получить голос за
  • оценка кандидатов ответа в контексте диалога

Ограничения

Модель оценивает вероятность положительной реакции в виде голоса за, а не качество ответа по всем критериям и не генерирует ответы. Поддерживаемые языки и условия лицензии в предоставленных данных не указаны.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Demo

Please try this ➤➤➤ Colab Notebook Demo (click me!)

ContextResponseupdown score
I love NLP!Here’s a free textbook (URL) in case anyone needs it.0.613
I love NLP!Me too!0.111

The updown score predicts how likely the response is getting upvoted.

DialogRPT-updown

Dialog Ranking Pretrained Transformers

How likely a dialog response is upvoted 👍 and/or gets replied 💬?

This is what DialogRPT is learned to predict. It is a set of dialog response ranking models proposed by Microsoft Research NLP Group trained on 100 + millions of human feedback data. It can be used to improve existing dialog generation model (e.g., DialoGPT) by re-ranking the generated response candidates.

Quick Links:

We considered the following tasks and provided corresponding pretrained models. This page is for the updown task, and other model cards can be found in table below.

TaskDescriptionPretrained model
Human feedbackgiven a context and its two human responses, predict...
updown... which gets more upvotes?this model
width... which gets more direct replies?model card
depth... which gets longer follow-up thread?model card
Human-like (human vs fake)given a context and one human response, distinguish it with...
human_vs_rand... a random human responsemodel card
human_vs_machine... a machine generated responsemodel card

Contact:

Please create an issue on our repo

Citation:

@inproceedings{gao2020dialogrpt,
    title={Dialogue Response RankingTraining with Large-Scale Human Feedback Data},
    author={Xiang Gao and Yizhe Zhang and Michel Galley and Chris Brockett and Bill Dolan},
    year={2020},
    booktitle={EMNLP}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
GPT2ForSequenceClassification
Ревизия весов
afe1247

0 моделей