Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-uncased
Опубликована: 17 фев 2024

Ссылки

openbookqa_bert-base-uncased

Классификация и разметкаТекст → label3 профессии

Дообученная BERT-модель для выбора правильного ответа в задачах с несколькими вариантами, включая вопросы формата OpenBookQA.

12скачиваний за 30 дней0лайковвеса обновлены5 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

asn1814/openbookqa_bert-base-uncased — модель BERT, дообученная для выбора ответа из нескольких вариантов. Она предназначена для задач с вопросом и набором ответов, в частности для тестирования на понимание естественно-научных знаний в формате OpenBookQA. Модель содержит 136,7 млн параметров, принимает текст и поддерживает контекст до 512 токенов; веса опубликованы в формате safetensors.

Разработчик указывает, что набор данных для дообучения неизвестен, а дополнительных сведений об обучении и назначении не приводит. На указанном в карточке наборе оценки точность составила 0,53, поэтому качество может быть ограниченным. Лицензия — Apache-2.0.

Сценарии применения

выбор ответа в тестах с несколькими вариантами
ответы на вопросы OpenBookQA
оценка понимания естественно-научных вопросов
автоматическая проверка ответов в викторинах

Ограничения

На указанном наборе оценки точность модели составляет 0,53; результат может быть недостаточным для надёжного применения. Датасет дообучения не идентифицирован.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель I.11Универсальные способностиКлассификация, ранжирование и сопоставлениеAI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки.15 задач26 736моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

openbookqa_bert-base-uncased

This model is a fine-tuned version of bert-base-uncased on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 2.9105
Accuracy: 0.53

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
0.2578	1.0	155	1.5109	0.556
0.14	2.0	310	2.2063	0.532
0.0731	3.0	465	2.4621	0.552
0.0381	4.0	620	2.8087	0.546
0.0189	5.0	775	2.9105	0.53

Framework versions

Transformers 4.35.2
Pytorch 2.1.0+cu121
Datasets 2.17.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · multiple-choice

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMultipleChoice
Ревизия весов: 1abb566