Характеристики

Контекст: 16 384 токена
Параметры: 95,2 млн
Архитектура: led · dense

Ссылки

Hugging Face arXiv 2109.02492

DialogLED-base-16384

MingZhong

Языковая модель7 профессий

Базовая модель LED для понимания и суммаризации длинных диалогов с входом до 16 384 токенов при предобучении.

24скачиваний за 30 дней6лайковвеса обновлены5 янв 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

MingZhong/DialogLED-base-16384 — базовая модель для понимания и суммаризации длинных диалогов, построенная на архитектуре Longformer-Encoder-Decoder (LED). Разработчики предварительно обучили её на большом объёме диалоговых данных с помощью задачи window-based denoising; размер модели — 95,2 млн параметров, длина входа при предобучении ограничена 16 384 токенами.

Модель предназначена для суммаризации длинных бесед и других задач понимания диалогов. Для прикладных задач её предполагается дообучать; README отсылает за инструкциями по fine-tuning к GitHub. Доступны веса в формате PyTorch. Лицензия в предоставленных данных не указана.

Сценарии применения

суммаризация длинных диалогов
составление краткого итога совещания
выделение ключевых тем из беседы
подготовка базы для дообучения на задачах понимания диалогов

Ограничения

Это базовый чекпойнт, для прикладных задач может потребоваться дообучение. Вход ограничен 16 384 токенами на этапе предобучения.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

DialogLM: Pre-trained Model for Long Dialogue Understanding and Summarization.

Introduction

DialogLED is a pre-trained model for long dialogue understanding and summarization. It builds on the Longformer-Encoder-Decoder (LED) architecture and uses window-based denoising as the pre-training task on a large amount of long dialogue data for further training. Here is a base version of DialogLED, the input length is limited to 16,384 in the pre-training phase.

Finetuning for Downstream Tasks

Please refer to our GitHub page.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: LEDForConditionalGeneration
Ревизия весов: a7eb229