Характеристики

Контекст: 512 токенов
Параметры: 260 млн
Архитектура: bert · dense
Базовая модель: biobert-base-cased-v1.2
Опубликована: 6 июн 2024

Ссылки

Hugging Face

devicebert-base-cased-v1.0

mfarrington

Разметка токеновТекст → label3 профессии

Дообученная на основе BioBERT модель BERT для классификации токенов в тексте.

150скачиваний за 30 дней0лайковвеса обновлены7 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mfarrington/devicebert-base-cased-v1.0 — дообученная модель на архитектуре BERT для классификации токенов, созданная на основе англоязычной биомедицинской модели BioBERT-Base v1.2. Карточка сообщает о дообучении на наборе данных, состав которого не раскрыт; размер модели — 260 млн параметров, максимальный контекст — 512 токенов.

Модель предназначена для разметки отдельных токенов в тексте. В README приведены результаты оценки: F1 — 0,6753, точность — 0,8547, полнота — 0,6691; значение функции потерь указано как NaN. Сценарий применения и типы меток не описаны, поэтому эти оценки не позволяют определить качество для конкретной задачи. Базовая BioBERT рассчитана на англоязычные биомедицинские тексты, но специализация этой версии не подтверждена.

Модель опубликована в формате Safetensors. Сведения о лицензии в предоставленных материалах отсутствуют.

Сценарии применения

разметка токенов в текстовых последовательностях
классификация слов и подслов для прикладной задачи разметки

Ограничения

Набор данных и схема меток не раскрыты, поэтому пригодность для конкретного сценария и качество переноса оценить нельзя. В README значение loss указано как NaN; лицензия не приведена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

devicebert-base-cased-v1.0

This model is a fine-tuned version of dmis-lab/biobert-base-cased-v1.2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: nan
Precision: 0.6816
Recall: 0.6691
F1: 0.6753
Accuracy: 0.8547

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Precision	Recall	F1	Accuracy
No log	1.0	101	nan	0.5981	0.5740	0.5858	0.8131
No log	2.0	202	nan	0.6673	0.6197	0.6427	0.8424
No log	3.0	303	nan	0.6926	0.6673	0.6797	0.8498
No log	4.0	404	nan	0.686	0.6271	0.6552	0.8473
0.3891	5.0	505	nan	0.6853	0.6490	0.6667	0.8539
0.3891	6.0	606	nan	0.6857	0.7020	0.6938	0.8563
0.3891	7.0	707	nan	0.6900	0.6673	0.6784	0.8580
0.3891	8.0	808	nan	0.6795	0.6782	0.6789	0.8514
0.3891	9.0	909	nan	0.6906	0.6691	0.6797	0.8571
0.1315	10.0	1010	nan	0.6816	0.6691	0.6753	0.8547

Framework versions

Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.19.2
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: e422baf