Характеристики

Размер весов: 20,5 ГБ
Лицензия: Apache 2.0
Архитектура: gemma4 · dense
Базовая модель: gemma-4-E2B-it
Библиотека: transformers
Опубликована: 25 сен 2026

Ссылки

Hugging Face

gemma4-e2b-2k-grpo-reasoninggym-smartcamel-s300

budget-internalization-iclr2027

Мультимодальная модель

Экспериментальный чекпойнт Gemma 4 E2B-it, дообученный методом GRPO для решения задач на рассуждение из Reasoning Gym.

20скачиваний за 30 дней0лайковвеса обновлены25 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Экспериментальный чекпойнт Gemma 4 E2B-it, дообученный анонимной командой для заявки на ICLR 2027 с помощью GRPO на задачах Reasoning Gym. Модель предназначена для решения текстовых задач на рассуждение в режиме генерации; при обучении использовался бюджет до 2 048 новых токенов, а ответы, достигавшие лимита, получали нулевую награду. Это плотная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; веса доступны в формате safetensors и запускаются через Transformers.

Базовая модель Google Gemma 4 E2B-it мультимодальна, но в этой карточке описано обучение на текстовых промптах Reasoning Gym и не подтверждена отдельная настройка мультимодальных возможностей. Чекпойнт отмечен как шаг обучения 300, поэтому его поведение и качество следует считать экспериментальными. Распространяется по лицензии Apache-2.0.

Сценарии применения

решение текстовых задач на рассуждение
эксперименты с обучением GRPO
сравнение поведения модели при бюджете генерации до 2 048 токенов

Ограничения

Это экспериментальный чекпойнт на шаге обучения 300; качество и устойчивость результатов не подтверждены. При обучении использовался лимит генерации 2 048 токенов, а достигавшие его ответы получали нулевую награду.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Gemma-4-E2B-it · 2k-token budget · grpo-reasoninggym · `smartcamel`

RL-finetuned google/gemma-4-E2B-it trained with GRPO on Reasoning Gym tasks under a 2,048-token generation budget. Released as part of an anonymous ICLR 2027 submission.

Run ID (petname): smartcamel · checkpoint step 300

Training


Base model	google/gemma-4-E2B-it
Algorithm	GRPO (leave-one-out baseline, group reward normalization, token-level loss). Responses that hit the budget receive zero reward.
Generation budget (`max_new_tokens`)	2,048
Data	Reasoning Gym tasks (procedurally generated reasoning problems, `\boxed{}` answers), 3 epochs max
Batch	32 prompts × 8 rollouts per step
Optimizer	Adam, cosine LR schedule, peak LR 3e-6, 10 warmup steps
Steps	300
Reward	Reasoning Gym task verifier on the `\boxed{}` answer
Weights dtype	F32

Prompts are the Reasoning Gym task prompts, rendered with the base model's chat template.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "budget-internalization-iclr2027/gemma4-e2b-2k-grpo-reasoninggym-smartcamel-s300"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="auto", device_map="auto")

With vLLM: vllm serve budget-internalization-iclr2027/gemma4-e2b-2k-grpo-reasoninggym-smartcamel-s300

License

Inherits the license of the base model (google/gemma-4-E2B-it).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Any-to-any модели пока не поддерживаются.

Класс архитектуры: Gemma4ForConditionalGeneration
Ревизия весов: b73cc1f