Характеристики

Контекст: 512 токенов
Лицензия: Apache 2.0
Архитектура: distilbert · dense
Базовая модель: distilbert-base-uncased-distilled-squad
Опубликована: 21 июн 2024

Ссылки

Hugging Face

distilbert-base-uncased-distilled-squad-BiLSTM-finetuned-squad-optiparam

allistair99

Языковая модель

Дообученная англоязычная DistilBERT-модель извлекает ответы на вопросы из заданного текстового контекста.

5скачиваний за 30 дней0лайковвеса обновлены21 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель allistair99/distilbert-base-uncased-distilled-squad-BiLSTM-finetuned-squad-optiparam — дообученная версия distilbert/distilbert-base-uncased-distilled-squad для извлечения ответов на вопросы из заданного текстового контекста. Она построена на DistilBERT и предназначена для англоязычных задач question answering с контекстом длиной до 512 токенов. В README сообщается значение loss 1,0866 на наборе оценки, однако датасет и подробности обучения не описаны.

Модель принимает текст вопроса и контекста и выдаёт текстовый фрагмент в качестве ответа. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README не приводит дополнительных сведений о добавленном BiLSTM или о прикладных ограничениях модели.

Сценарии применения

извлечение ответа на вопрос из статьи или документа
ответы на вопросы по тексту в справочной системе
поиск нужного факта в англоязычном документе

Ограничения

Модель рассчитана на английский язык и ограничена контекстом до 512 токенов. Датасет дообучения и подробная оценка качества в карточке не описаны.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

distilbert-base-uncased-distilled-squad-BiLSTM-finetuned-squad-optiparam

This model is a fine-tuned version of distilbert/distilbert-base-uncased-distilled-squad on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 1.0866

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 6
eval_batch_size: 60
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss
0.6652	1.0	14619	1.0816
0.6453	2.0	29238	1.0866

Framework versions

Transformers 4.40.0
Pytorch 2.3.0+cu121
Datasets 2.20.0
Tokenizers 0.19.1

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры: DistilBertForQuestionAnswering1
Ревизия весов: 0ce15cf