Характеристики

Контекст: 16 384 токена
Параметры: 253 млн
Лицензия: Apache 2.0
Архитектура: led · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2004.05150

led-large-16384

allenai

Языковая модель9 профессий

LED Large 16384 — англоязычная модель AllenAI для суммаризации длинных текстов и ответов на вопросы по документам.

1 569скачиваний за 30 дней31лайквеса обновлены24 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

LED Large 16384 — модель семейства Longformer Encoder-Decoder, разработанная AllenAI для обработки длинных текстов. Она использует архитектуру BART-large; матрица позиционных эмбеддингов была расширена копированием, чтобы модель могла обрабатывать последовательности длиной до 16 384 токенов. Веса доступны в форматах PyTorch и TensorFlow, размер модели — 252,8 млн параметров.

Модель подходит для суммаризации длинных документов и ответов на вопросы по их содержимому, а также для дообучения под другие задачи обработки текста. Карточка указывает английский язык. Модель распространяется по лицензии Apache 2.0.

Сценарии применения

суммаризация длинных документов
ответы на вопросы по содержимому длинных текстов
дообучение модели для задач обработки длинных документов

Ограничения

Карточка подчёркивает интерес к суммаризации и ответам на вопросы, но не приводит оценок качества или результатов на бенчмарках. Для других задач требуется дообучение.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Introduction

Allenai's Longformer Encoder-Decoder (LED).

As described in Longformer: The Long-Document Transformer by Iz Beltagy, Matthew E. Peters, Arman Cohan, led-large-16384 was initialized from bart-large since both models share the exact same architecture. To be able to process 16K tokens, bart-large's position embedding matrix was simply copied 16 times.

This model is especially interesting for long-range summarization and question answering.

Fine-tuning for down-stream task

This notebook shows how led-large-16384 can effectively be fine-tuned on a downstream task.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: LEDForConditionalGeneration
Ревизия весов: cd59d11