Характеристики

Контекст: 514 токенов
Параметры: 305 млн
Лицензия: MIT
Архитектура: xlm-roberta · dense
Базовая модель: xlm-roberta-base
Опубликована: 18 сен 2023

Ссылки

Hugging Face

XLM-Roberta-base-finetuned-squad-syn-first-10k-5-epoch

ShivamMangale

Ответы на вопросыТекст → текст

Дообученная на SQuAD модель XLM-RoBERTa для извлечения ответов на вопросы из текста.

9скачиваний за 30 дней0лайковвеса обновлены18 сен 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

XLM-Roberta-base-finetuned-squad-syn-first-10k-5-epoch — модель Shivam Mangale, дообученная на базе FacebookAI/xlm-roberta-base на наборе SQuAD. Она предназначена для извлечения ответа на вопрос из предоставленного текста. Модель использует архитектуру XLM-RoBERTa с 305,2 млн параметров; контекст составляет до 514 токенов. В репозитории указаны веса PyTorch и лицензия MIT. Модель подходит для систем вопросов и ответов по текстовым фрагментам и документам.

Карточка не содержит сведений о результатах оценки и подробностях обучения, поэтому качество на других наборах данных и языках не установлено.

Сценарии применения

извлечение ответа из текста по заданному вопросу
ответы на вопросы по коротким документам
поиск фактических сведений в текстовом фрагменте

Ограничения

Контекст ограничен 514 токенами. В карточке нет результатов оценки или подробностей обучения, поэтому качество за пределами SQuAD не подтверждено.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

XLM-Roberta-base-finetuned-squad-syn-first-10k-5-epoch

This model is a fine-tuned version of xlm-roberta-base on the squad dataset.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Framework versions

Transformers 4.33.2
Pytorch 2.0.1+cu117
Datasets 2.14.5
Tokenizers 0.13.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · question-answering

Можно запустить

Подбираем GPU…

Класс архитектуры: XLMRobertaForQuestionAnswering
Ревизия весов: 74a24f3