Компактная англоязычная модель DeBERTa v3 для ответов на вопросы по текстовому контексту, обученная на SQuAD 2.0.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
nbroad/deberta-v3-xsmall-squad2 — компактная модель на базе DeBERTa v3 xsmall, подготовленная для ответа на вопросы по контексту на английском языке. Карточка связывает её с набором данных SQuAD 2.0; архитектура — DeBERTa-v2 для извлечения ответа из текста. В метаданных указаны 77,5 млн параметров, контекст до 512 токенов и лицензия CC BY 4.0.
Модель подходит для систем, где нужно найти ответ на вопрос в предоставленном фрагменте текста, включая возможность обработать вопросы без ответа в контексте. Автор README приводит собственный результат 81,5 F1 и 78,3 EM на dev-наборе, полученный в одном запуске без официального скрипта оценки; Microsoft сообщает 84,8 F1 и 82,0 EM. Поэтому показатели автора следует считать предварительными.
Контекст ограничен 512 токенами. Приведённая автором оценка получена в одном запуске и не проверялась официальным скриптом SQuAD 2.0.
README от автора на Hugging Face, как он его опубликовал
Microsoft reports that this model can get 84.8/82.0 on f1/em on the dev set.
I got 81.5/78.3 but I only did one run and I didn't use the official squad2 evaluation script. I will do some more runs and show the results on the official script soon.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · question-answering
Подбираем GPU…