Характеристики

Контекст: 65 536 токенов
Параметры: 1 млрд
Размер весов: 134 ГБ
Лицензия: Своя лицензия
Архитектура: grug_moe · MoE
Опубликована: 20 сен 2026

Ссылки

Snowball-67B-A2B-Math-RL-E6-Step20-Repaired

Генерация текстаТекст → текст3 профессии

Исследовательский чекпойнт Snowball с MoE для генерации решений математических задач и воспроизведения эксперимента обучения с подкреплением.

157скачиваний за 30 дней0лайковвеса обновлены20 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Snowball-67B-A2B-Math-RL-E6-Step20-Repaired — исследовательский чекпойнт из эксперимента Snowball 67B-A2B по обучению с подкреплением для математических задач. Это точный артефакт, использованный для опубликованной строки результатов; состояние маршрутизатора исправлено на основе SFT. Архитектура — Grug MoE с причинной языковой моделью, веса сохранены в safetensors; в метаданных указаны 1 млрд параметров и контекст до 65 536 токенов.

Чекпойнт предназначен для генерации решений математических задач и воспроизведения эксперимента. В README приведены результаты на AIME24, MATH-500 и OlympiadBench: 26,00, 76,80 и 22,67 соответственно. Автор предупреждает, что близкие по названию старые экспорты могут терять работоспособность при инференсе, а полезность этой версии зависит от сохранения исправления смещения маршрутизатора или целостности замороженного маршрутизатора. Лицензия обозначена как other; дополнительных условий в доступных данных нет.

Сценарии применения

генерация решений математических задач
оценка решений на AIME24
оценка решений на MATH-500
оценка решений на OlympiadBench
воспроизведение экспериментов по математическому RL

Ограничения

Это исследовательский чекпойнт, не производственный релиз; при инференсе близкие экспорты с изменяемым маршрутизатором могут терять работоспособность. Результаты оценки зависят от сохранения исправленного смещения маршрутизатора или целостности замороженного маршрутизатора.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.5Отраслевые задачиОбразование и развитие навыковAI помогает персонализировать обучение и снижать административную нагрузку на преподавателей.34 задачи6 641модель IV.6Отраслевые задачиНаучные исследования, математика и новые материалыAI помогает формировать гипотезы, анализировать научные данные и ускорять открытие новых материалов и методов.39 задач4 120моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Snowball-67B-A2B-Math-RL-E6-Step20-Repaired

This is the exact checkpoint used for a reported row in the Snowball 67B-A2B math-RL experiment.

Router state: SFT router-bias repaired; exact evaluated artifact. Closely named older laion/rl-snowball-* repositories may contain raw mutable-router exports that collapse under inference. Do not substitute them for this artifact. Models from this campaign are research checkpoints, not production releases; their utility is limited unless router-bias repair or frozen-router integrity is preserved.

Arm: E6 original
Step: 20
Held-out AIME24 / MATH-500 / OlympiadBench: 26.00 / 76.80 / 22.67
Selection: Headline E6 checkpoint in MATH_EVALS.md
Source artifact: s3://marin-us-east-02a/marin/diagnostics/snowball-bias-transplant-20260805/e6-s20-sftbias/policy/
Experiment issue: https://github.com/marin-community/marin/issues/7786
Evidence archive: https://huggingface.co/datasets/penfever/snowball-67b-a2b-math-rl-artifacts

The scores and evaluation caveats are recorded in MATH_EVALS.md in the evidence archive. Preserve config.json, the tokenizer files, and all shards named by model.safetensors.index.json together.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры: GrugMoeForCausalLM
Ревизия весов: f8c394b