Характеристики
- Контекст
- 4 098 токенов
- Параметры
- 454 млн
- Архитектура
- longformer · dense
- Опубликована
- 2 мар 2022
Ссылки
longformer-large-4096
Англоязычный Longformer от AI2 обрабатывает длинные текстовые последовательности до примерно 4096 токенов и служит основой для задач понимания документов.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Longformer-large-4096 — англоязычная предварительно обученная модель-трансформер от Allen Institute for AI (AI2), предназначенная для представления и анализа длинных текстов. В конфигурации — 24 слоя, 1024 скрытых измерения и около 454,1 млн параметров; модель рассчитана на последовательности примерно до 4096 токенов.
Механизм внимания сочетает локальное скользящее окно и настраиваемое глобальное внимание, благодаря чему обработка длинных последовательностей масштабируется линейно по их длине. Модель подходит как основа для дообучения под задачи классификации документов, поиска ответов и других задач понимания текста; сама по себе она не является генеративным чат-ботом. Доступны веса PyTorch и TensorFlow. Условия лицензии в использованных источниках не установлены.
Сценарии применения
- классификация длинных документов
- извлечение ответов из текста после дообучения
- поиск информации в длинном документе
- получение представлений длинных текстов для последующей классификации
Ограничения
Это базовая энкодерная модель, а не готовый генеративный ассистент; для прикладных задач обычно требуется подходящая задача-ориентированная голова или дообучение. Лицензия не установлена по использованным источникам.
Для каких профессий подходит11
Разделы каталога профессий, в задачах которых используется эта модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.
- Ревизия весов
- b190dd4