Характеристики

Контекст: 262 144 токена
Архитектура: nemotron_h · dense
Базовая модель: Qwen3-4B-Instruct-2507
Библиотека: transformers
Опубликована: 7 окт 2026

Ссылки

Hugging Face

cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp5-n3nc-base

agurung

Генерация текстаТекст → текст

Экспериментальный чекпойнт Qwen3-4B, дообученный с подкреплением для генерации кода и решения задач программирования.

2 244скачиваний за 30 дней1лайквеса обновлены9 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальный чекпойнт языковой модели Qwen3-4B-Instruct-2507, дообученный компанией agurung с помощью обучения с подкреплением OpenRLHF и алгоритма GRPO. По описанию, обучение применялось напрямую к базовой модели без предварительного SFT-сеянца; чекпойнт сохранён на шаге 110 и показал лучший в этом запуске результат по pass@8 на отобранной выборке задач программирования. Награда назначалась по бинарному критерию: проходит ли сгенерированная программа тесты задачи.

Модель предназначена для генерации кода и решения задач программирования, особенно сложных для исходной модели. В обучении использовались 1833 задачи и 112 отложенных задач; генерация при обучении ограничивалась 4096 новыми токенами. Метаданные указывают контекст до 262 144 токенов, архитектуру Nemotron H для причинной генерации текста и формат safetensors.

Чекпойнт представляет собой исследовательскую экспериментальную версию: метрики оценки в журнале обучения отсутствуют, а заявленное преимущество по pass@8 относится только к сравнению чекпойнтов этого запуска. Лицензия в предоставленных данных не указана.

Сценарии применения

генерация программного кода по условию задачи
решение задач программирования с проверкой через тесты
поиск решений для задач, сложных для исходной модели

Ограничения

Метрики оценки этого чекпойнта не приведены; лучший результат по pass@8 заявлен только относительно других чекпойнтов данного запуска. Генерация при обучении ограничивалась 4096 новыми токенами.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

seeded_rl_base_ramp25_stoppen_gen4k_ep2_ncp5_n3nc_base — RL checkpoint (global step 110)

Role in this run: best by pass@8

What it is

An OpenRLHF GRPO reinforcement-learning checkpoint for Qwen3-4B.

Base model: Qwen/Qwen3-4B-Instruct-2507
Seeded from: base Qwen3-4B (no SFT seed — RL applied directly to the base model)
Saved at global step 110 of RL run seeded_rl_base_ramp25_stoppen_gen4k_ep2_ncp5_n3nc_base.

What it's best at

This is the best checkpoint by pass@8 so far in this run.

Trained and validated on the cobalt-train ≤2/64 frontier (canonical clean_eval prompts): 1833 train / 112 held-out val problems the base model solved on at most 2 of 64 samples under the iid_canonical@64 hardness scan. Val evals sample at temperature 1.0 (matching the clean_eval frontier eval).

Reward signal: binary code-correctness (1.0 if the generated program passes the problem's tests, otherwise 0.0).

Eval metrics at this checkpoint: not available in the train log.

Where the logs are

Weights & Biases: project eaiexp-paper-final, run name seeded_rl_base_ramp25_stoppen_gen4k_ep2_ncp5_n3nc_base.
Local train log: experiments/cobalt_qwen3_4b_ft/rl_runs/qwen3_4b_instruct_2507_cobalt_v1/seeded_rl_base_ramp25_stoppen_gen4k_ep2_ncp5_n3nc_base/openrlhf_train.log

Recipe

Algorithm: GRPO (group-normalized advantages, no KL penalty).
Stop-properly penalty: truncated samples' reward set to -1.0 (ProRL-style anti-truncation shaping).
DAPO overlong penalty: responses in the last 1024 tokens before the cap get an additive penalty ramping to -0.25.
Samples per prompt: 8
Rollout batch size: 128, train batch size: 128
Max new tokens per rollout: 4096
Episodes: 2
Actor learning rate: 1e-06 (constant schedule)

How to load

This checkpoint is the main revision (git branch) of the repo, with the model at the repo root — load it directly, no subfolder:

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("agurung/cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp5-n3nc-base", revision="main")
tokenizer = AutoTokenizer.from_pretrained("agurung/cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp5-n3nc-base", revision="main")

Or serve with vLLM: vllm serve agurung/cobalt-seeded-rl-base-ramp25-stoppen-gen4k-ep2-ncp5-n3nc-base --revision main

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: NemotronHForCausalLM
Ревизия весов: 4208082