Характеристики

Контекст: 262 144 токена
Параметры: 1 млрд
Размер весов: 134 ГБ
Лицензия: openmdw-1.1
Архитектура: grug_moe · MoE
Библиотека: transformers
Опубликована: 3 окт 2026

Ссылки

Grug-67B-A2B-Antidoom-RLVR1-Step12-2026.10.02

Генерация текстаТекст → текст

Экспериментальная языковая модель Grug MoE, дообученная методом RLVR для генерации текста и решения задач с проверяемыми ответами.

414скачиваний за 30 дней0лайковвеса обновлены4 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Snowball 67B A2B Antidoom RLVR1 Step 12 — экспорт политики Antidoom RLVR1 на шаге оптимизатора 12, опубликованный open-athena. Модель основана на экспорте Antidoom FTPO/DAPO на шаге 45 и дополнительно обучалась на широком наборе задач RLVR из Nemotron Ultra. Это причинная языковая модель семейства Grug MoE для генерации текста; метаданные указывают 1 млрд параметров и контекст до 262 144 токенов.

Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение задач с проверяемыми ответами. На удерживаемой выборке из 100 запросов автор сообщает pass@1 34% и среднюю оценку верификатора 0,3705. Эти результаты относятся к конкретному этапу обучения; продолжение того же запуска позднее ухудшилось, поэтому для экспорта выбрали шаг 12. Лицензия — OpenMDW 1.1.

Автор предупреждает, что модель не прошла надлежащую проверку и оценку, а её безопасность не гарантируется. Использование в производственной среде — на риск пользователя.

Сценарии применения

генерация ответов на текстовые запросы
диалоговое взаимодействие с языковой моделью
решение задач с проверяемыми ответами
эксперименты с обучением языковых моделей методом RLVR

Ограничения

Автор сообщает результат на небольшой выборке из 100 запросов; модель не прошла надлежащую проверку и оценку, а её безопасность не гарантируется. Более позднее продолжение обучения ухудшилось; применение в производственной среде связано с риском.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Snowball 67B A2B Antidoom RLVR1, step 12

This is the Hugging Face export of the Antidoom RLVR1 policy at optimizer step 12. The run started from the Antidoom FTPO/DAPO step-45 export and trained on broad-domain Nemotron Ultra RLVR tasks using 80 policy and 48 inference H100 GPUs. The 100-prompt holdout reached 34% pass@1 and 0.3705 average verifier score at this step. A later continuation of the same run collapsed, so step 12 was selected before export.

The run record and figures, configuration gist, and W&B history provide provenance. The step-12 weights were strictly loaded from a preserved distributed checkpoint before conversion; the pinned September 21 Datakit SFT model supplied compatible architecture metadata when the old step-45 export was unavailable regionally.

Research artifact. This model has not been properly tested or evaluated and is not necessarily secure. Use at your own risk in production settings.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры: GrugMoeForCausalLM
Ревизия весов: 88f4d8b