Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Callidior разработал Paper Title Generator — модель encoder-decoder на основе BERT2BERT, дообученную для создания заголовков научных статей по их аннотациям. Энкодер и декодер инициализированы официальным чекпойнтом bert-base-uncased. Модель обучалась на 318 500 статьях по компьютерным наукам с arXiv.org, опубликованных с 2007 по 2022 год.
Основной сценарий — предложить заголовок для статьи по её аннотации. На отложенной валидационной выборке автор сообщает результат 26,3% по метрике ROUGE-2 F1. Модель принимает английский текст и генерирует английский заголовок; для других областей и языков её пригодность не подтверждена. Распространяется по лицензии Apache-2.0.
Сценарии применения
генерация заголовка научной статьи по аннотации
подготовка вариантов названия для статьи по компьютерным наукам
автоматическое предложение заголовка для препринта на arXiv
Ограничения
Оценка 26,3% ROUGE-2 F1 получена на отложенной выборке; качество заголовков для других областей и языков не подтверждено. Модель обучена на материалах arXiv по компьютерным наукам за 2007–2022 годы.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Generates titles for computer science papers given an abstract.
The model is a BERT2BERT Encoder-Decoder using the official bert-base-uncased checkpoint as initialization for the encoder and decoder.
It was fine-tuned on 318,500 computer science papers posted on arXiv.org between 2007 and 2022 and achieved a 26.3% Rouge2 F1-Score on held-out validation data.