Характеристики

Контекст: 512 токенов
Параметры: 136 млн
Лицензия: CC BY 4.0
Архитектура: bert · dense
Базовая модель: bert-base-cased-squad2
Опубликована: 19 окт 2023

Ссылки

Hugging Face

bert-21

hung200504

Ответы на вопросыТекст → текст

Англоязычная модель BERT для извлечения ответов на вопросы из текста.

8скачиваний за 30 дней0лайковвеса обновлены19 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

hung200504/bert-21 — англоязычная модель BERT, дообученная на основе deepset/bert-base-cased-squad2 для извлечения ответов на вопросы из предоставленного текста. Она подходит для сценариев, где нужно найти ответ в документе или фрагменте текста по заданному вопросу. Модель использует плотную архитектуру BERT и содержит 135,5 млн параметров; максимальный контекст составляет 512 токенов.

В README указано значение Loss 11,9330 на оценочном наборе, однако набор данных и методика оценки не описаны, поэтому результат сложно интерпретировать. Модель распространяется по лицензии CC BY 4.0.

Сценарии применения

поиск ответа на вопрос в документе
извлечение фактов из текстовых фрагментов
ответы на вопросы по содержимому веб-страниц
поиск нужной информации в коротких текстах

Ограничения

Оценочный набор данных и методика в README не описаны; указанное значение Loss 11,9330 без дополнительного контекста не позволяет оценить качество. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

bert-21

This model is a fine-tuned version of deepset/bert-base-cased-squad2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 11.9330

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
11.3134	0.09	5	12.3068
11.4146	0.18	10	12.2378
10.9861	0.27	15	12.1756
11.1036	0.36	20	12.1205
11.079	0.45	25	12.0721
11.1039	0.55	30	12.0310
10.3894	0.64	35	11.9972
11.034	0.73	40	11.9707
10.6017	0.82	45	11.9511
10.5161	0.91	50	11.9387
10.3011	1.0	55	11.9330

Framework versions

Transformers 4.34.1
Pytorch 2.1.0+cu118
Datasets 2.14.5
Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForQuestionAnswering
Ревизия весов: 7194db0