Дообученная RoBERTa Base оценивает варианты ответа в заданиях с множественным выбором и предназначена для использования как часть ансамбля.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ShadowTooOP/smart-mcq-roberta-base — модель на базе RoBERTa Base, дообученная командой ShadowTooOP для решения заданий с выбором одного из нескольких вариантов. Она выдаёт оценки вариантов ответа, которые можно использовать для выбора наиболее вероятного ответа в системах тестирования и викторинах. Чекпойнт содержит 151,8 млн параметров, использует архитектуру RobertaForMultipleChoice и принимает контекст задания вместе с вариантами ответа в пределах контекста до 514 токенов.
Модель описана как первая часть ансамбля: при итоговом инференсе её оценки объединяются с оценками ShadowTooOP/smart-mcq-distilbert-base с весами 0,6 и 0,4 соответственно. Лицензия — Apache-2.0. Карточка не сообщает поддерживаемые естественные языки или специализированные предметные области.
Карточка не указывает поддерживаемые языки и предметные области. Для описанного в README итогового инференса нужны также оценки второй модели ансамбля.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model is fine-tuned for the Smart MCQ Solver Challenge using AutoModelForMultipleChoice.
This model represents Part 1 of a 2-model ensemble. It is combined with ShadowTooOP/smart-mcq-distilbert-base by 0.6 weight average predicted logits/probabilities for final inference.
FinalProb = 0.6RoBERTa + 0.4DistilBERT
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · multiple-choice
Подбираем GPU…