Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 16 апр 2023

Ссылки

Hugging Face arXiv 1706.03762

bert-paper-classifier-arxiv

oracat

Классификация текстаТекст → label4 профессии

Дообученная модель BERT для определения категорий arXiv по заголовкам и аннотациям научных статей.

12скачиваний за 30 дней5лайковвеса обновлены17 апр 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

oracat/bert-paper-classifier-arxiv — дообученная модель на базе microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract для классификации научных статей по таксономии arXiv. Она принимает заголовок статьи и, при наличии, аннотацию и предсказывает подходящие категории arXiv, например cs.CL для статьи о Transformers. Модель ориентирована на статьи по математике, информатике, физике и смежным областям.

Модель использует архитектуру BERT для классификации последовательностей, содержит 136,7 млн параметров и рассчитана на контекст до 512 токенов. Опубликована в формате PyTorch и распространяется по лицензии MIT. README не сообщает о точности и других результатах оценки модели.

Сценарии применения

подбор категорий arXiv для новой научной статьи
классификация статей по заголовку и аннотации
предварительная разметка научного архива по темам
поиск подходящих рубрик arXiv для препринта

Ограничения

Максимальная длина контекста составляет 512 токенов; README не приводит метрик качества, поэтому точность классификации не установлена по доступным данным.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-paper-classifier

This model is a fine-tuned version of microsoft/BiomedNLP-PubMedBERT-base-uncased-abstract on the dataset with titles and abstracts of papers from arXiv.

Intended uses & limitations

This model is intended to predict the arXiv taxonomy terms given the paper title (and optionally its abstract) — this is relevant for papers in mathematics, computer science, physics, etc. For example, it is likely to predict cs.CL (computation and language) as the mostl likely category for the original transformers paper.

Training procedure

The code for the model fine-tuning can be found in the respective notebook.

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 128
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Framework versions

Transformers 4.28.1
Pytorch 2.0.0+cu117
Datasets 2.11.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: 528e56b