Характеристики

Контекст: 262 144 токена
Параметры: 1 млрд
Размер весов: 134 ГБ
Лицензия: openmdw-1.1
Архитектура: grug_moe · MoE
Базовая модель: Grug-67B-A2B-GLM53-RLVR-SFT-2026.09.23
Опубликована: 25 сен 2026

Ссылки

Hugging Face

Grug-67B-A2B-GLM53-RLVR1-Async-Step48

open-athena

Генерация текстаТекст → текст3 профессии

Промежуточная MoE-модель Grug, дообученная методом RLVR для генерации текста и диалогов.

314скачиваний за 30 дней0лайковвеса обновлены25 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Grug 67B A2B GLM53 RLVR1 Async, шаг 48 — контрольная точка модели семейства Grug от Open Athena, экспортированная в формате Hugging Face safetensors. Это MoE-модель для генерации текста и диалогов с архитектурой GrugMoeForCausalLM, полученная дообучением Grug-67B-A2B-GLM53-RLVR-SFT-2026.09.23 с помощью MarinSkyRL и Megatron в асинхронном RLVR-запуске с router replay. В метаданных указаны 1 млрд параметров и контекст до 262 144 токенов.

Модель предназначена для генерации ответов и диалогового взаимодействия; опубликованный шаг — промежуточный снимок активного обучения. Внутренние holdout-оценки этого запуска дали pass@1 0,53535 и средний балл 0,58757, но это не результаты независимого бенчмарка. Для вывода нужны tokenizer и chat template из репозитория, а также среда с поддержкой Grug, например форк vLLM от Marin; стандартный Transformers 5.12.1 не распознаёт эту архитектуру без регистрации реализации. Применяется лицензия OpenMDW 1.1.

Сценарии применения

генерация ответов в диалоге
создание текста по запросу
эксперименты с RLVR для языковых моделей

Ограничения

Это промежуточный чекпойнт активного обучения, а приведённые оценки являются внутренними holdout-результатами, а не независимыми бенчмарками. Для инференса нужна среда с поддержкой архитектуры Grug; стандартный Transformers 5.12.1 не распознаёт её без регистрации реализации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Grug 67B A2B GLM53 RLVR1 Async · step 48

This is the Hugging Face safetensors export of optimizer step 48 from the active GLM53 RLVR1 asynchronous Snowball run. It starts from Grug-67B-A2B-GLM53-RLVR-SFT-2026.09.23 and was trained with MarinSkyRL and Megatron using router replay.

Checkpoint selection

Among the evaluated, saved checkpoints available when the export was selected (through optimizer step 52), steps 48 and 50 tied for the highest configured holdout eval/all/pass_at_1 at 0.53535. Step 48 had the higher holdout eval/all/avg_score: 0.58757 versus 0.58745 at step 50. These are run-internal holdout results, not independent benchmark claims. The training run was still active when this snapshot was chosen.

Provenance

Training run: /benfeuer/glm53-rlvr1-marin-coord-v5/users-benfeuer-checkpoints-glm53-rlvr1-async-2026.09.23-5509d1e0cef2
Optimizer step: 48
Source checkpoint: s3://marin-us-east-02a/tmp/ttl=14d/skyrl/marin/users/benfeuer/checkpoints/glm53-rlvr1-async/2026.09.23/checkpoints/global_step_48
Durable HF export: s3://marin-us-east-02a/marin/users/benfeuer/checkpoints/glm53-rlvr1-async/2026.09.23/exports/global_step_48/policy
MarinSkyRL runtime: a9e3066

Use the tokenizer and chat template shipped with this repository. The inherited OpenMDW 1.1 license applies.

The files use the Hugging Face safetensors layout and the custom grug_moe architecture. Inference requires a runtime with Grug support, such as Marin's vLLM fork; stock Transformers 5.12.1 does not recognize grug_moe without registering the model implementation.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры: GrugMoeForCausalLM
Ревизия весов: edf60eb