Характеристики

Контекст: 4 096 токенов
Параметры: 136 млн
Архитектура: nystromformer · dense
Опубликована: 25 янв 2023

Ссылки

nystromformer-4096-medqa-usmle-nocontext

Классификация и разметкаТекст → label

Дообученная Nyströmformer-модель для выбора ответов в тестах с вариантами, включая медицинские вопросы формата MedQA/USMLE.

558скачиваний за 30 дней0лайковвеса обновлены27 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GBaker/nystromformer-4096-medqa-usmle-nocontext — дообученная модель на архитектуре Nyströmformer, созданная на основе uw-madison/nystromformer-4096. Она предназначена для выбора ответа в задачах с вариантами, в том числе для медицинских вопросов в формате MedQA/USMLE, что следует из названия модели. Размер модели — 136,3 млн параметров, контекст — до 4096 токенов; формат весов — PyTorch.

В README указаны результаты оценки: loss 1,4537 и accuracy 0,2883. Данные для обучения и подробное описание применения не раскрыты, поэтому качество на практических медицинских сценариях по карточке оценить нельзя. Лицензия в предоставленных данных не указана.

Сценарии применения

выбор ответа в медицинских тестах с вариантами
решение вопросов формата USMLE
оценка ответов в задачах multiple choice

Ограничения

В README указана accuracy 0,2883 на оценочном наборе, а обучающий датасет и подробные ограничения не описаны. Лицензия не приведена в предоставленных данных.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

nystromformer-4096-medqa-usmle-nocontext

This model is a fine-tuned version of uw-madison/nystromformer-4096 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.4537
Accuracy: 0.2883

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
gradient_accumulation_steps: 32
total_train_batch_size: 128
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy
No log	0.99	79	1.3860	0.2467
No log	1.99	158	1.3853	0.2616
No log	2.99	237	1.3785	0.2820
No log	3.99	316	1.3801	0.2820
No log	4.99	395	1.4537	0.2883

Framework versions

Transformers 4.26.0
Pytorch 1.13.1+cu116
Datasets 2.9.0
Tokenizers 0.13.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · multiple-choice

Можно запустить

Подбираем GPU…

Класс архитектуры: NystromformerForMultipleChoice
Ревизия весов: 7990278