/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
1,5 млрд
Размер весов
6,2 ГБ
Лицензия
CC BY 4.0
Архитектура
qwen2 · dense
Базовая модель
Qwen2.5-1.5B-Instruct
Библиотека
transformers
Опубликована
25 фев 2025

Qwen2.5-1.5B-pedagogical-rewardmodel

Классификация текстаТекст → label3 профессии

Классификатор вознаграждения на базе Qwen2.5 оценивает педагогическое качество ответов ИИ-репетиторов, в частности при обучении математике.

1 410скачиваний за 30 дней4лайкавеса обновлены18 ноя 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Эта модель — компактный классификатор вознаграждения на базе Qwen2.5-1.5B-Instruct, дообученный исследовательской группой ETH NLP-ED на парах предпочтений из наборов MathDial и MRBench. Она оценивает ответы ИИ-репетиторов по педагогическим критериям и подходит для сравнения вариантов ответа, ранжирования их качества и оценки поддержки обучения математике. Модель построена на плотной архитектуре Qwen2 и использует классификационную голову для последовательностей; содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Доступны веса в формате safetensors, библиотека Transformers, лицензия CC BY 4.0. Карточка связывает модель с исследованием MathTutorBench.

Сценарии применения

  • оценка педагогической полезности ответа ИИ-репетитора
  • сравнение двух вариантов ответа ученику
  • ранжирование ответов по качеству учебной поддержки
  • оценка ответов в диалогах по математике

Ограничения

Обучение описано на данных MathDial и MRBench, поэтому оценки за пределами педагогических диалогов и математического обучения могут быть ненадёжны. README не сообщает метрики качества или подробную схему оценивания.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

The model was trained on paired preferences from the MathDial and MRBench datasets.

To find more information and to cite, see:

@article{macina2025mathtutorbench,
      title={MathTutorBench: A Benchmark for Measuring Open-ended\\ Pedagogical Capabilities of LLM Tutors}, 
      author={Jakub Macina, Nico Daheim, Ido Hakimi, Manu Kapur, Iryna Gurevych, Mrinmaya Sachan},
      year={2025},
      eprint={2502.18940},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2502.18940},
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen2ForSequenceClassification
Ревизия весов
b1cf3e3

0 моделей