Характеристики

Контекст: 514 токенов
Параметры: 659 млн
Лицензия: MIT
Архитектура: xlm-roberta · dense

Ссылки

Hugging Face

xlm-roberta-large-vi-qa

ancs21

Ответы на вопросыТекст → текст

Вьетнамская модель на базе XLM-RoBERTa-large извлекает ответы на вопросы из заданного текста.

107скачиваний за 30 дней4лайкавеса обновлены21 сен 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ancs21/xlm-roberta-large-vi-qa — модель An Pham для извлечения ответов на вопросы на вьетнамском языке. Она основана на XLM-RoBERTa-large и дообучена на deepset/xlm-roberta-large-squad2 для задачи extractive question answering; в README указан датасет mailong25/bert-vietnamese-question-answering и формат примеров SQuAD 2.0. Модель содержит 658,7 млн параметров, использует архитектуру XLM-RoBERTa и веса PyTorch; длина контекста — 514 токенов.

Модель предназначена для поиска ответа в предоставленном тексте: на вход подаются вопрос и контекст, на выходе — извлечённый фрагмент текста. В README приведены результаты оценки на dev-v2.0.json (Exact Match 136/141, F1 0,969) и на Vietnamese XQuAD (Exact Match 604/1190, F1 0,722); показатели зависят от набора данных. Лицензия — MIT.

Сценарии применения

извлечение ответа из вьетнамского текста по вопросу
ответы на вопросы по вьетнамским документам
поиск нужного фрагмента в контексте на вьетнамском языке

Ограничения

Модель рассчитана на извлечение ответа из предоставленного контекста, а не на свободную генерацию; качество может различаться между наборами данных: F1 на Vietnamese XQuAD заметно ниже результата на dev-v2.0.json. Контекст ограничен 514 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

XLM-RoBERTa large for QA on Vietnamese languages (also support various languages)

Overview

Language model: xlm-roberta-large
Fine-tune: deepset/xlm-roberta-large-squad2
Language: Vietnamese
Downstream-task: Extractive QA
Dataset: mailong25/bert-vietnamese-question-answering
Training data: train-v2.0.json (SQuAD 2.0 format)
Eval data: dev-v2.0.json (SQuAD 2.0 format)
Infrastructure: 1x Tesla P100 (Google Colab)

Performance

Evaluated on dev-v2.0.json

  exact: 136 / 141
  f1: 0.9692671394799054

Evaluated on Vietnamese XQuAD: xquad.vi.json

  exact: 604 / 1190
  f1: 0.7224454217571596

Author

An Pham (ancs21.ps [at] gmail.com)

License

MIT

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: XLMRobertaForQuestionAnswering
Ревизия весов: 99ede8b