Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: CC BY 4.0
Архитектура: bert · dense
Базовая модель: bert-base-uncased-squad2
Опубликована: 23 окт 2023

Ссылки

Hugging Face

bert-covidqa-3

hung200504

Ответы на вопросыТекст → текст3 профессии

Англоязычная BERT-модель для извлечения ответов на вопросы из текстов, дообученная на данных о COVID-19.

10скачиваний за 30 дней0лайковвеса обновлены23 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

bert-covidqa-3 — англоязычная модель BERT, дообученная разработчиком репозитория hung200504 на наборе covid_qa_deepset для извлечения ответов на вопросы из предоставленного текста. Она использует архитектуру BertForQuestionAnswering и рассчитана на контекст длиной до 512 токенов. В метаданных указан размер 136,7 млн параметров и формат PyTorch; на оценочной выборке модель показала значение loss 0,3717.

Модель подходит для поиска ответов в текстах о COVID-19 и других материалах, похожих на обучающие данные. Она наследует англоязычную основу deepset/bert-base-uncased-squad2. Лицензия — CC BY 4.0. Карточка не описывает ограничения и детали обучения, поэтому качество за пределами указанного набора данных по приведённым сведениям оценить нельзя.

Сценарии применения

извлечение ответов из статей и справок о COVID-19
поиск ответа на вопрос в предоставленном англоязычном тексте
создание прототипа системы вопросов и ответов по медицинским материалам

Ограничения

Оценка loss 0,3717 относится к указанной оценочной выборке; данных о качестве на других темах нет. Контекст ограничен 512 токенами.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель IV.4Отраслевые задачиКлиническая медицина и общественное здоровьеAI помогает поддерживать диагностику, лечение, наблюдение и организацию медицинской помощи.45 задач2 635моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-covidqa-3

This model is a fine-tuned version of deepset/bert-base-uncased-squad2 on the covid_qa_deepset dataset. It achieves the following results on the evaluation set:

Loss: 0.3717

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
0.6653	0.04	5	0.4879
0.2392	0.09	10	0.4815
0.4918	0.13	15	0.4405
0.3634	0.18	20	0.4156
0.6494	0.22	25	0.3953
0.2573	0.26	30	0.3845
0.3645	0.31	35	0.3737
0.5168	0.35	40	0.3656
0.5341	0.39	45	0.3680
0.4362	0.44	50	0.3774
0.5495	0.48	55	0.3692
0.5316	0.53	60	0.3496
0.4068	0.57	65	0.3414
0.4793	0.61	70	0.3470
0.7173	0.66	75	0.3517
0.5335	0.7	80	0.3646
0.7152	0.75	85	0.3848
0.7003	0.79	90	0.3962
0.2466	0.83	95	0.3971
0.415	0.88	100	0.3879
0.4797	0.92	105	0.3767
0.7039	0.96	110	0.3717

Framework versions

Transformers 4.34.1
Pytorch 2.1.0+cu118
Datasets 2.14.5
Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForQuestionAnswering
Ревизия весов: 8efbdac