Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-uncased
Опубликована: 28 мая 2024

Ссылки

Hugging Face

COPA_Bert_Base_Uncased_Finetuned

Ariffiq99

Классификация и разметкаТекст → label3 профессии

Англоязычная BERT-модель, дообученная для выбора ответа в задачах с несколькими вариантами.

14скачиваний за 30 дней0лайковвеса обновлены3 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

COPA_Bert_Base_Uncased_Finetuned — англоязычная модель на базе google-bert/bert-base-uncased, дообученная для задачи multiple-choice: выбора наиболее подходящего варианта ответа. Она содержит 136,7 млн параметров, использует архитектуру BERT с головой BertForMultipleChoice и принимает последовательности длиной до 512 токенов. Модель можно применять для решения заданий с несколькими вариантами ответа и оценки кандидатов в рамках такой постановки.

В README приведены результаты на оценочной выборке: loss 0,5670 и F1 0,7384; обучающий датасет не назван. Модель распространяется в формате safetensors по лицензии Apache-2.0. Оценочные показатели сами по себе не гарантируют качество на других данных; карточка не описывает дополнительные сценарии и ограничения.

Сценарии применения

выбор наиболее подходящего ответа из нескольких вариантов
решение тестовых заданий с вариантами ответа
оценка кандидатов в задачах понимания английского текста

Ограничения

Обучающий датасет не назван, а приведённые результаты относятся только к оценочной выборке и не гарантируют качество на других данных. README не описывает дополнительные сценарии применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.12Универсальные способностиРекомендации и персонализацияAI помогает подбирать релевантные варианты и адаптировать опыт под конкретного человека или ситуацию.15 задач7 627моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

COPA_Bert_Base_Uncased_Finetuned

This model is a fine-tuned version of google-bert/bert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.5670
F1: 0.7384

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	F1
No log	1.0	63	0.6878	0.5954
No log	2.0	126	0.6608	0.6680
No log	3.0	189	0.6181	0.6887
No log	4.0	252	0.5839	0.7219
No log	5.0	315	0.5627	0.7219
No log	6.0	378	0.5537	0.7280
No log	7.0	441	0.5613	0.7319
0.5359	8.0	504	0.5636	0.7335
0.5359	9.0	567	0.5676	0.7326
0.5359	10.0	630	0.5670	0.7384

Framework versions

Transformers 4.41.1
Pytorch 2.3.0+cu121
Datasets 2.19.1
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · multiple-choice

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMultipleChoice
Ревизия весов: c842ba3