Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Архитектура: bert · dense
Базовая модель: bert-base-cased-squad2
Опубликована: 21 окт 2023

Ссылки

Hugging Face

test-bert-2

hung200504

Ответы на вопросыТекст → текст3 профессии

Дообученная англоязычная BERT-модель для извлечения ответов на вопросы из текста.

11скачиваний за 30 дней0лайковвеса обновлены21 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

test-bert-2 — дообученная модель BERT, созданная на основе deepset/bert-base-cased-squad2 для извлечения ответов на вопросы из текста. Она содержит 136,7 млн параметров, использует архитектуру BertForQuestionAnswering и рассчитана на контекст до 512 токенов. Модель принимает вопрос и текстовый контекст и выдаёт ответ, найденный в контексте.

Карточка сообщает о дообучении на неизвестном наборе данных и приводит значение loss 11,9673 на оценочном наборе. Данных о качестве на практических задачах, назначении датасета и дополнительных сценариях применения нет. Базовая модель англоязычная, поэтому основным языком следует считать английский. Лицензия в предоставленных сведениях не указана.

Сценарии применения

поиск ответа на вопрос в заданном тексте
извлечение фактов из англоязычных документов
ответы на вопросы по тексту в системах поиска

Ограничения

Датасет дообучения неизвестен, а приведённое значение loss само по себе не позволяет оценить практическое качество. Описание не содержит сведений о лицензии и ограничениях применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

test-bert-2

This model is a fine-tuned version of deepset/bert-base-cased-squad2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 11.9673

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
10.9875	0.09	5	12.2820
10.8852	0.18	10	12.2237
10.4256	0.27	15	12.1709
10.7823	0.36	20	12.1247
10.6526	0.45	25	12.0841
10.7789	0.55	30	12.0501
10.1529	0.64	35	12.0217
10.0756	0.73	40	11.9991
10.4683	0.82	45	11.9829
10.2829	0.91	50	11.9721
10.5809	1.0	55	11.9673

Framework versions

Transformers 4.34.1
Pytorch 2.1.0+cu118
Datasets 2.14.5
Tokenizers 0.14.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForQuestionAnswering
Ревизия весов: e609de7