/ Модель
Каталог

Характеристики

Контекст
40 960 токенов
Параметры
3,7 млрд
Размер весов
8,8 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3 · dense
Базовая модель
Qwen3-4B
Библиотека
transformers
Опубликована
2 июл 2026

Ссылки

Hugging Face

qwen3-4b-material-srpo-ema005

SeongryongJung
Генерация текстаТекст → текст

Дообученная методом SRPO модель Qwen3-4B для генерации текста и экспериментов с решением задач набора данных material.

8скачиваний за 30 дней0лайковвеса обновлены2 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SeongryongJung/qwen3-4b-material-srpo-ema005 — контрольная точка Qwen3-4B, дообученная методом SRPO на наборе данных material. Репозиторий содержит последний чекпойнт обучения global_step_100 в формате Hugging Face Transformers; это не чекпойнт шага, на котором был получен лучший результат проверки.

Модель предназначена для генерации текста и экспериментов с обучением с подкреплением в задаче material. В README приведены результаты валидации с выборкой из 16 ответов: лучший mean@16 составил 79,72% на шаге 90, а итоговый результат опубликованного чекпойнта — 74,20%. Архитектура — плотная авторегрессионная Qwen3ForCausalLM примерно на 3,7 млрд параметров, контекст — до 40 960 токенов; вход и выход текстовые.

Это исследовательский обученный чекпойнт, а не базовая универсальная версия Qwen3-4B. Результат зависит от выбранного набора данных и режима генерации, а приведённый лучший показатель не относится к опубликованному последнему чекпойнту. Лицензия — Apache-2.0.

Сценарии применения

  • генерация ответов в задачах набора данных material
  • эксперименты с обучением языковой модели методом SRPO
  • оценка качества генерации по mean@16
  • изучение влияния EMA на обучение модели

Ограничения

Опубликован последний чекпойнт шага 100: лучший результат валидации 79,72% был получен на шаге 90 и не является его оценкой; для загруженного чекпойнта указано 74,20%. Данные о поддерживаемых естественных языках не приведены.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

qwen3-4b-material-srpo-ema005

This repository contains the last checkpoint (global_step_100) for qwen3gen-material-SRPO-Qwen-Qwen3-4B-mbs32-ema0.05-dwtrue-train64-rollout8-lr5e-6-vllm0.8, converted to Hugging Face Transformers format.

Evaluation

The reported headline score is the best validation mean@16 observed during training. It is not necessarily the score of the uploaded last checkpoint.

DatasetMethodModelUploaded checkpointBest val mean@16Best stepFinal val mean@16
materialSRPOQwen3-4Bglobal_step_10079.72%9074.20%

Training and validation scores

Raw result files:

  • results/validation_mean16.csv
  • results/training_scores.csv
  • artifacts/config.yaml
  • artifacts/wandb-summary.json

Training Setup

  • Base model: Qwen/Qwen3-4B
  • Dataset: material
  • Method: SRPO
  • EMA teacher update rate: 0.05
  • Uploaded weights: last checkpoint, global_step_100
  • Validation metric used for headline score: val-aux/*/mean@16
  • Validation sampling: n=16

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "SeongryongJung/qwen3-4b-material-srpo-ema005"
tokenizer = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    repo_id,
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)

Notes

Most best-validation intermediate checkpoints were not retained as full actor checkpoints because training kept only the latest actor checkpoint. Therefore, this repository publishes the last checkpoint and records the best validation score separately.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3ForCausalLM
Ревизия весов
97bfa9c

0 моделей

    Создать бенчмарк