Характеристики

Контекст: 16 384 токена
Параметры: 95,2 млн
Лицензия: Apache 2.0
Архитектура: led · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2004.05150

led-base-16384

Базовый англоязычный encoder-decoder-трансформер LED для суммаризации длинных текстов и ответов на вопросы с входным контекстом до 16 384 токенов.

23 700скачиваний за 30 дней51лайквеса обновлены24 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

allenai/led-base-16384 — базовая модель Longformer Encoder-Decoder (LED), разработанная AllenAI. Это плотный encoder-decoder-трансформер с 95,2 млн параметров, подготовленный на основе bart-base: матрица позиционных эмбеддингов BART была повторена, чтобы увеличить поддерживаемую длину входа до 16 384 токенов. Модель предназначена для генерации текста по текстовому входу, в частности для суммаризации длинных документов и ответов на вопросы по ним.

LED можно дообучать для прикладных задач, требующих учитывать большие объёмы текста. В метаданных указаны реализации PyTorch и TensorFlow, а также поддержка английского языка. Модель распространяется по лицензии Apache-2.0.

Сценарии применения

суммаризация длинных документов
ответы на вопросы по длинному тексту
дообучение для генерации текста с длинным контекстом

Ограничения

README описывает базовую модель и рекомендует дообучение для конкретных последующих задач; специализированное качество на таких задачах не заявлено.

Для каких профессий подходит10

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Introduction

Allenai's Longformer Encoder-Decoder (LED).

As described in Longformer: The Long-Document Transformer by Iz Beltagy, Matthew E. Peters, Arman Cohan, led-base-16384 was initialized from bart-base since both models share the exact same architecture. To be able to process 16K tokens, bart-base's position embedding matrix was simply copied 16 times.

This model is especially interesting for long-range summarization and question answering.

Fine-tuning for down-stream task

This notebook shows how led-base-16384 can effectively be fine-tuned on a downstream task.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: LEDForConditionalGeneration
Ревизия весов: 3833578