Характеристики

Контекст: 1 024 токена
Параметры: 253 млн
Лицензия: Apache 2.0
Архитектура: bart · dense

Ссылки

Hugging Face

distilbart-cnn-12-6

sshleifer

СуммаризацияТекст → текст4 профессии

Англоязычная модель DistilBART для создания кратких текстовых резюме из статей и документов.

322 тыс.скачиваний за 30 дней327лайковвеса обновлены14 июн 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sshleifer/distilbart-cnn-12-6 — англоязычная модель суммаризации текста на базе BART, представленная в семействе DistilBART. Вариант 12-6 использует 12 слоёв кодировщика и 6 слоёв декодировщика; размер модели по метаданным — 252,8 млн параметров. Она предназначена для сокращения документов и статей до краткого связного пересказа.

Модель обучена для суммаризации на данных CNN/DailyMail; в карточке также приведены метрики для вариантов DistilBART, включая оценки ROUGE и времени вывода. Она принимает текст и генерирует текстовое резюме, поддерживает контекст до 1024 токенов и доступна в форматах PyTorch и Flax. Лицензия — Apache 2.0.

Модель рассчитана на английский язык. Контекстное окно ограничивает длину обрабатываемого текста, а качество и скорость зависят от длины входа и выбранного варианта; приведённая таблица метрик относится к нескольким вариантам DistilBART и не даёт отдельной оценки именно для distilbart-cnn-12-6.

Сценарии применения

составление краткого пересказа новостной статьи
сжатие англоязычного документа
подготовка аннотации к статье
выделение основного содержания длинного текста

Ограничения

Контекст ограничен 1024 токенами. В README приведены метрики для нескольких вариантов DistilBART, но отдельной оценки для этой модели нет.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Usage

This checkpoint should be loaded into BartForConditionalGeneration.from_pretrained. See the BART docs for more information.

Metrics for DistilBART models

Model Name	MM Params	Inference Time (MS)	Speedup	Rouge 2	Rouge-L
distilbart-xsum-12-1	222	90	2.54	18.31	33.37
distilbart-xsum-6-6	230	132	1.73	20.92	35.73
distilbart-xsum-12-3	255	106	2.16	21.37	36.39
distilbart-xsum-9-6	268	136	1.68	21.72	36.61
bart-large-xsum (baseline)	406	229	1	21.85	36.50
distilbart-xsum-12-6	306	137	1.68	22.12	36.99
bart-large-cnn (baseline)	406	381	1	21.06	30.63
distilbart-12-3-cnn	255	214	1.78	20.57	30.00
distilbart-12-6-cnn	306	307	1.24	21.26	30.59
distilbart-6-6-cnn	230	182	2.09	20.17	29.70

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: BartForConditionalGeneration
Ревизия весов: a4f8f3e