Характеристики

Контекст: 512 токенов
Параметры: 14,1 млн
Лицензия: MIT
Архитектура: bert · dense
Опубликована: 22 июл 2022

Ссылки

Hugging Face

xtremedistil-l6-h256-uncased-natural-questions-short

Be-Lo

Ответы на вопросыТекст → текст4 профессии

Компактная англоязычная BERT-модель извлекает ответы на вопросы из текста и документов.

85скачиваний за 30 дней0лайковвеса обновлены22 июл 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это компактная англоязычная модель для извлечения ответов из текста, созданная Janik и Ben в рамках курса DL4NLP под руководством Ivan Habernal. В её основе — xtremedistil-l6-h256-uncased, дообученная на наборе NaturalQuestionsShort из MRQA Shared Task 2019.

Модель решает задачу extractive question answering: получает вопрос и текстовый контекст и выбирает из него фрагмент ответа. Её можно применять для ответов на вопросы по документам и веб-текстам, особенно в сценариях, похожих на NaturalQuestionsShort. Это BERT-модель с архитектурой BertForQuestionAnswering, 14,1 млн параметров и контекстом до 512 токенов.

Модель работает с английским текстом и распространяется под лицензией MIT. Она специализирована на извлечении ответа из предоставленного контекста; качество для других языков, свободной генерации ответов и контекстов длиннее 512 токенов не подтверждено.

Сценарии применения

поиск ответа в англоязычной статье по вопросу
ответы на вопросы по тексту документа
извлечение коротких ответов из веб-страниц
прототипирование систем question answering на NaturalQuestions

Ограничения

Модель обучена и оценивалась на NaturalQuestionsShort, поэтому её качество на других типах текстов и задачах не подтверждено. Контекст ограничен 512 токенами, а свободно генерировать ответы модель не предназначена.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.1Универсальные способностиПоиск и навигация по информацииAI помогает находить нужные сведения и помогать человеку быстро переходить от вопроса к подтверждённому источнику.18 задач13 467моделей I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

xtremedistil-l6-h256-uncased for QA

This is a xtremedistil-l6-h256-uncased model, fine-tuned using the NaturalQuestionsShort dataset from the MRQA Shared Task 2019 repository.

Overview

Language model: xtremedistil-l6-h256-uncased
Language: English
Downstream-task: Extractive QA
Training data: NaturalQuestionsShort
Eval data: NaturalQuestionsShort
Infrastructure: Google Colaboratory GPU

Hyperparameters

batch_size = 16
n_epochs = 2
base_LM_model = "xtremedistil-l6-h256-uncased"
max_seq_len = 512
learning_rate = 3e-5
optimizer = AdamW
weight_decay = 0.01
lr_schedule = Linear
warmup_steps = 0

Performance

The model was evaluated on the on the NaturalQuestionsShort dev set from the MRQA Shared Task 2019 repository.

"exact_match": 46.914926768463694,
"f1": 63.863619507647456,

UKP Square

This model can also be found on UKP Square. This website from the UKP lab at the TU Darmstadt is a platform to compare and evaluate cloud-hosted QA models via explainability techniques and behavioral tests.

Author & Background

This model was created by Janik and Ben during the DL4NLP course by Ivan Habernal

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForQuestionAnswering
Ревизия весов: 89eaf5c