Характеристики

Контекст: 512 токенов
Параметры: 212 млн
Лицензия: CC BY 4.0
Архитектура: deberta-v2 · dense
Базовая модель: deberta-v3-base-squad2
Опубликована: 23 фев 2024

Ссылки

Hugging Face

FYP_sq2_sq

kxx-kkk

Ответы на вопросыТекст → текст

Дообученная DeBERTa-модель извлекает ответы на вопросы из текста в контексте до 512 токенов.

10скачиваний за 30 дней0лайковвеса обновлены13 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FYPQAmodel — модель для извлечения ответов на вопросы из текста, созданная дообучением deepset/deberta-v3-base-squad2. Она использует архитектуру DeBERTa v2 и содержит 211,6 млн параметров. Модель принимает вопрос и текстовый фрагмент и возвращает найденный в нём ответ; длина контекста составляет до 512 токенов.

Модель предназначена для систем вопросно-ответного поиска, которые извлекают ответы из предоставленных текстов. Базовая модель обучалась для SQuAD 2.0, однако набор данных, на котором дообучена эта версия, не описан. Модель распространяется по лицензии CC BY 4.0.

Сценарии применения

поиск ответов на вопросы в текстовых фрагментах
извлечение фактов из документов по запросу
создание компонента вопросно-ответной системы

Ограничения

Данные дообучения и результаты оценки этой версии не описаны. Контекст ограничен 512 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FYP_QA_model

This model is a fine-tuned version of deepset/deberta-v3-base-squad2 on an unknown dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3
mixed_precision_training: Native AMP

Training results

Framework versions

Transformers 4.38.2
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: DebertaV2ForQuestionAnswering
Ревизия весов: 866a9bc