spanbert-base-cased
SpanBERT — англоязычный BERT-кодировщик для извлечения информации из текста и дообучения на задачах понимания фрагментов, ответов на вопросы и кореференции.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
SpanBERT/spanbert-base-cased — англоязычная предварительно обученная модель-кодировщик семейства BERT, разработанная исследователями, опубликовавшими проект SpanBERT. Она использует конфигурацию BERT base: 12 слоёв, скрытый размер 768 и 12 голов внимания; карточка указывает 135,5 млн параметров и контекст до 512 токенов. Особенность предобучения — маскирование и обучение на уровне текстовых фрагментов, чтобы лучше представлять и предсказывать spans.
Модель предназначена для дообучения под задачи понимания текста, включая извлечение ответов из контекста, разрешение кореференции, извлечение отношений и классификацию. Она принимает текст и выдаёт контекстные представления токенов, а конкретные ответы или метки обычно формируются дообученной task-specific моделью. Доступны веса PyTorch и Flax. Авторы сообщают о результатах на SQuAD, кореференции и TACRED; эти результаты относятся к их оценкам и не гарантируют качество на других данных.
Для предварительно обученных весов указана лицензия CC-BY-NC 4.0, которая ограничивает коммерческое использование. Архив проекта также отмечает, что лицензия распространяется на предобученные модели.
Сценарии применения
- извлечение ответа из заданного текстового контекста
- разрешение кореференции в документах
- извлечение отношений между сущностями
- классификация текстовых пар после дообучения
- дообучение кодировщика для понимания текста
Ограничения
Это кодировщик, а не готовая генеративная чат-модель: ответы и метки для конкретных задач требуют соответствующей головы модели или дообучения. Лицензия CC-BY-NC 4.0 ограничивает коммерческое использование.
Для каких профессий подходит9
Разделы каталога профессий, в задачах которых используется эта модель
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
У модели не указана задача.
- Ревизия весов
- b436fe6