Характеристики

Контекст: 4 098 токенов
Параметры: 152 млн
Лицензия: Apache 2.0
Архитектура: longformer · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face arXiv 2004.05150

longformer-base-4096

Англоязычный трансформер Longformer с контекстом до 4096 токенов для анализа длинных документов и адаптации к задачам понимания текста.

755 тыс.скачиваний за 30 дней229лайковвеса обновлены5 апр 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Longformer-base-4096 — плотная модель семейства Longformer, разработанная Allen Institute for Artificial Intelligence (AI2). Это BERT-подобный трансформер, инициализированный из чекпойнта RoBERTa и предварительно обученный на задаче masked language modeling на длинных документах. Модель содержит 151,8 млн параметров и принимает последовательности длиной до 4096 токенов.

Архитектура сочетает скользящее локальное внимание с глобальным вниманием, которое задаётся пользователем в зависимости от задачи. Модель предназначена для анализа длинных текстов и построения специализированных представлений; кодовые примеры и описание механизма внимания приведены в материалах проекта. Поддерживаемый язык — английский. Доступны форматы PyTorch и TensorFlow.

Модель подходит как основа для задач понимания длинных документов, но настройка глобального внимания зависит от конкретного сценария. Лицензия — Apache-2.0.

Сценарии применения

классификация длинных документов
извлечение информации из объёмных текстов
ответы на вопросы по длинным документам после адаптации
получение представлений длинных текстов для последующих задач

Ограничения

Механизм глобального внимания нужно настраивать под конкретную задачу. Модель предварительно обучена для masked language modeling, поэтому для прикладных задач может потребоваться дообучение.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

longformer-base-4096

Longformer is a transformer model for long documents.

longformer-base-4096 is a BERT-like model started from the RoBERTa checkpoint and pretrained for MLM on long documents. It supports sequences of length up to 4,096.

Longformer uses a combination of a sliding window (local) attention and global attention. Global attention is user-configured based on the task to allow the model to learn task-specific representations. Please refer to the examples in modeling_longformer.py and the paper for more details on how to set global attention.

Citing

If you use Longformer in your research, please cite Longformer: The Long-Document Transformer.

@article{Beltagy2020Longformer,
  title={Longformer: The Long-Document Transformer},
  author={Iz Beltagy and Matthew E. Peters and Arman Cohan},
  journal={arXiv:2004.05150},
  year={2020},
}

Longformer is an open-source project developed by the Allen Institute for Artificial Intelligence (AI2). AI2 is a non-profit institute with the mission to contribute to humanity through high-impact AI research and engineering.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Ревизия весов: 301e6a4