Характеристики

Контекст: 262 144 токена
Параметры: 1 млрд
Размер весов: 134 ГБ
Архитектура: grug_moe · MoE
Базовая модель: Grug-67B-A2B-Datakit-SFT-262K-2026.09.11
Опубликована: 23 сен 2026

Ссылки

Snowball-67B-A2B-10T-Mixed-RLVR2-Sync-Step116

Генерация текстаТекст → текст

Экспериментальный чекпойнт Grug MoE, дообученный методом RLVR2 для исследований генерации текста и обучения с подкреплением.

31скачиваний за 30 дней0лайковвеса обновлены23 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Snowball-67B-A2B-10T-Mixed-RLVR2-Sync-Step116 — исследовательский чекпойнт модели Grug MoE, опубликованный open-athena как экспорт оптимизаторного чекпойнта 116 из серии синхронного смешанного обучения RLVR2. Он дообучен на базе open-athena/Grug-67B-A2B-Datakit-SFT-262K-2026.09.11 с использованием RLOO-N и Megatron. Модель предназначена для генерации текста и экспериментов с обучением с подкреплением на смешанных доменах.

В метаданных указаны архитектура GrugMoeForCausalLM, 1 млрд параметров и контекст до 262 144 токенов; в описании обучения указан контекст 32 тыс. токенов. Чекпойнт хранится в формате safetensors. README приводит результаты обучения и проверки на удержанной выборке, но отмечает, что валидация RLVR2 не превзошла более сильный участок RLVR1. Это экспериментальный артефакт, а не подтверждённая готовая к эксплуатации модель. Лицензия в предоставленных данных не указана.

Сценарии применения

эксперименты с генерацией текста на модели Grug MoE
исследование обучения с подкреплением для языковых моделей
сравнение результатов RLVR2 с RLVR1
оценка генерации текста на смешанных доменах

Ограничения

README характеризует чекпойнт как исследовательский артефакт и сообщает, что валидация RLVR2 не превзошла более сильный участок RLVR1. В README указан контекст обучения 32 тыс. токенов, тогда как метаданные приводят нативную длину контекста 262 144 токена.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Snowball 67B-A2B — 10T Mixed RLVR2 sync step 116

This is the Hugging Face export of optimizer checkpoint 116 from the September 11 Snowball synchronous mixed-domain RLVR lineage. RLVR1 was followed by RLVR2 without data shuffling. The arm used RLOO-N, the Megatron backend, a 32K context window, batch size 512, and 16 rollouts per prompt on 64 H100s.

Checkpoint 118 was the true RLVR2 training-pass@16 peak at 0.63671875. It was removed by an earlier checkpoint pruning sweep, and the S3 bucket had no recoverable object version. Step 116 is the best complete retained checkpoint; its training pass@16 was 0.6171875, training reward was 0.67631429, and its 100-row holdout avg_score/pass@1 was 0.5275/0.44.

This checkpoint is a research artifact. RLVR2 validation did not improve over the stronger RLVR1 region.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры: GrugMoeForCausalLM
Ревизия весов: 5151faf