Характеристики

Контекст: 262 144 токена
Параметры: 3,7 млрд
Лицензия: Apache 2.0
Архитектура: qwen3 · dense
Базовая модель: Qwen3-4B-Instruct-2507
Библиотека: transformers
Опубликована: 12 июл 2026

Ссылки

qwen3-4b-symbolic-vanilla-ppo-ent001-v1

Генерация текстаТекст → текст3 профессии

Экспериментальная языковая модель Qwen3-4B, дообученная PPO с энтропийным бонусом для исследования обучения на символических задачах.

11скачиваний за 30 дней0лайковвеса обновлены12 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Qwen3-4B Symbolic Vanilla PPO Entropy 0.01 — экспериментальный чекпойнт, полученный дообучением Qwen/Qwen3-4B-Instruct-2507 методом PPO с коэффициентом энтропийного бонуса 0,01. Он предназначен для генерации текста и решения задач из символического набора symbolic-curriculum-v2; карточка описывает исследование устойчивости PPO и сравнение с GRPO. Архитектура — плотная Qwen3ForCausalLM с 3,7 млрд параметров, формат весов safetensors, контекст до 262 144 токенов. Модель принимает текст и генерирует текст.

Валидационная награда достигла пика 0,833 на шаге 90, после чего модель перешла к вырожденным ответам длиной в один ход и не восстановилась к шагу 150. Корневая версия содержит политику с шага 90; дополнительные чекпойнты предназначены для анализа коллапса. Лицензия — Apache-2.0.

Сценарии применения

эксперименты с обучением языковой модели методом PPO
сравнение PPO и GRPO на символических задачах
анализ коллапса политики при обучении с подкреплением
изучение влияния энтропийного бонуса на обучение модели

Ограничения

На описанном эксперименте модель достигла пика валидационной награды 0,833 на шаге 90, затем схлопнулась до вырожденных одношаговых эпизодов и не восстановилась к шагу 150. Результаты относятся к заданному символическому набору задач и не подтверждают качество на других сценариях.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3-4B — Vanilla PPO + entropy bonus 0.01 (cmp-vanilla-ppo-ent001-v1)

Second arm of the vanilla-PPO baseline for the GRPO-vs-PPO rollout-compaction study (prime-rl fork ChinmayK0607/blog-rl, branch feat/vanilla-ppo). Identical to qwen3-4b-symbolic-vanilla-ppo-v1 (clipped surrogate + value head + trainer-side GAE, full uncompacted rollouts) plus entropy_coef=0.01 (the PPO paper's Atari setting). Requires the vanilla LM head (fused_lm_head_token_chunk_size=disabled) — the fused kernel has no backward through entropy.

The result: collapse delayed, then terminal

step	10	30	50	70	90	100-150
val reward	0.528	0.694	0.778	0.708	0.833	0.000

The no-entropy arm collapsed at step ~80 and self-recovered to 0.972 by 150. This arm survived that window (0.833 at step 90 — its peak, and better than arm 1 ever was pre-collapse), then collapsed at ~100 with entropy pinned at 1e-4 and never recovered (1-turn degenerate episodes through 150). Vanilla PPO on this task lives on a knife's edge around steps 80-120; a 0.01 entropy bonus shifts the edge, it does not remove it.

Files

root: step_90 policy — the pre-collapse peak (val 0.833), value head stripped, vLLM-loadable; value_head.safetensors alongside
checkpoints/step_120/, checkpoints/step_150/ — mid/post-collapse policies for collapse forensics (val 0.000, 1-turn degenerate greedy mode)

Training setup

Same as arm 1: prime-rl ppo, GAE gamma=1.0 lambda=0.95, clip 0.2, value coef 0.5, LR 1e-6, batch 64 x group 8, 150 steps, temp 0.7, symbolic-curriculum-v2 (588 train / 72 val pass@4-mixed tasks), 4x RTX PRO 6000 Blackwell. W&B: https://wandb.ai/krishnapg2315/blog-rl/runs/fc57f9265a2d4ff8aaa80fabcc9058ab

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3ForCausalLM
Ревизия весов: 4c8d192