Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
SPECTER — предварительно обученная языковая модель Allen Institute for AI (AI2) для получения векторных представлений научных документов. Авторы модели — Арман Кохан, Сергей Фельдман, Из Белтаги, Даг Дауни и Дэниел С. Уэлд. Модель основана на BERT, содержит 137,1 млн параметров и принимает текст с контекстом до 512 токенов.
SPECTER обучена с использованием связей цитирования между публикациями, чтобы кодировать документы на уровне целой статьи. Полученные эмбеддинги подходят для поиска и сравнения научных работ, а также для задач, где важно оценивать тематическую близость публикаций. Модель можно применять без дополнительного дообучения под конкретную задачу; она оценивалась на SciDocs.
Модель ориентирована на англоязычные научные тексты и выдаёт векторные представления. README рекомендует для новых проектов по векторизации статей использовать SPECTER2, которая заменила эту модель. Лицензия — Apache-2.0; доступны веса PyTorch, TensorFlow и Flax.
Сценарии применения
поиск похожих научных статей
семантический поиск по корпусу публикаций
сравнение тематической близости научных документов
группировка публикаций по эмбеддингам
построение векторного индекса научной литературы
Ограничения
Для векторизации научных статей README рекомендует более новую модель SPECTER2. Контекст ограничен 512 токенами, поэтому длинные документы могут потребовать усечения или отдельной обработки.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
SPECTER is a pre-trained language model to generate document-level embedding of documents. It is pre-trained on a powerful signal of document-level relatedness: the citation graph. Unlike existing pretrained language models, SPECTER can be easily applied to downstream applications without task-specific fine-tuning.
If you're coming here because you want to embed papers, SPECTER has now been superceded by SPECTER2. Use that instead.