Характеристики

Контекст: 514 токенов
Параметры: 152 млн
Лицензия: CC BY 4.0
Архитектура: xlm-roberta · dense
Базовая модель: roberta-base-squad2
Опубликована: 31 окт 2023

Ссылки

Hugging Face

XLM-processed-squad

FuuToru

Ответы на вопросыТекст → текст

Дообученная XLM-RoBERTa извлекает ответы на вопросы из текста.

4скачиваний за 30 дней0лайковвеса обновлены31 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FuuToru/XLM-processed-squad — дообученная модель XLM-RoBERTa для извлечения ответов на вопросы из предоставленного текста. Она основана на deepset/roberta-base-squad2, имеет 151,8 млн параметров и контекст до 514 токенов. В карточке указан результат Loss 0,1724 на оценочном наборе, но описание набора данных отсутствует.

Модель принимает вопрос и текстовый контекст и возвращает фрагмент контекста как ответ; базовая модель также предназначена для распознавания вопросов, на которые в контексте нет ответа. Она опубликована в формате PyTorch по лицензии CC BY 4.0. Поддержка языков и качество на конкретных языках в карточке не описаны.

Сценарии применения

поиск ответа на вопрос в предоставленном тексте
извлечение фактов из документов
ответы на вопросы по справочным материалам

Ограничения

Карточка не описывает обучающий набор данных и не приводит сведений о качестве по языкам или предметным областям. Контекст ограничен 514 токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

XLM-processed-squad

This model is a fine-tuned version of deepset/roberta-base-squad2 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1724

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 4
eval_batch_size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss
0.2082	1.0	23767	0.1801
0.1854	2.0	47534	0.1724

Framework versions

Transformers 4.33.0
Pytorch 2.0.0
Datasets 2.1.0
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: XLMRobertaForQuestionAnswering
Ревизия весов: 2cda1f3