Характеристики

Контекст: 32 768 токенов
Параметры: 2,8 млрд
Размер весов: 134 ГБ
Лицензия: Apache 2.0
Архитектура: grug_moe · MoE
Библиотека: transformers
Опубликована: 14 авг 2026

Ссылки

snowball-67b-a2b-sft-s3-opencode-step1888

Генерация текстаТекст → текст3 профессии

MoE-модель Marin для генерации текста и агентных сценариев OpenCode, дообученная на трассах программирования и поддерживающая контекст до 32 768 токенов.

56скачиваний за 30 дней0лайковвеса обновлены17 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Snowball 67B-A2B SFT Stage 3: OpenCode — модель генерации текста, разработанная командой Marin и опубликованная в формате BF16 для Hugging Face и vLLM. Это MoE-модель семейства Grug с 2,8 млрд параметров и контекстом до 32 768 токенов; она продолжает этап Thinking и дообучена на траекториях OpenCode, созданных с помощью учителя Qwen3.5-122B.

Модель предназначена для диалоговых сценариев и работы с агентными траекториями OpenCode. Для оценки авторы рекомендуют использовать OpenCode harness; метаданные также указывают интерфейс вызова инструментов. Модель сохраняет токенизатор Marin и специальные токены Delphi.

Модель распространяется по лицензии Apache-2.0. Это специализированный чекпойнт третьего этапа SFT, поэтому его качество следует оценивать на задачах OpenCode; в README не приведены результаты независимых тестов или подробные сведения о поведении за пределами этого сценария.

Сценарии применения

выполнение агентных сценариев OpenCode
генерация текста в диалогах о программировании
вызов инструментов в агентных рабочих процессах

Ограничения

Модель обучалась на OpenCode-траекториях, и авторы рекомендуют оценивать её с OpenCode harness. В README нет результатов независимой оценки качества.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Snowball 67B-A2B SFT Stage 3: OpenCode

This is the BF16 Hugging Face/vLLM export of the OpenCode stage in Marin's ordered Chat → Thinking → OpenCode SFT campaign. It was trained on OpenCode trajectories and should be evaluated with an OpenCode harness.

main is the final step-1,888 checkpoint. The retained step-1,000 checkpoint is published on the step-1000 branch.

Training provenance

Initialization: final Stage 2 Thinking checkpoint at step 630
Data: tokenized/grug-a2b-agentic-sft-eot@2026.08.05, using the restored fixed-EOT path from marin-community/marin#8171
Data lineage: 29 OpenCode trace datasets generated with a Qwen3.5-122B teacher
Schedule: five token epochs, 1,888 steps, sequence length 32,768, global batch size 64
Final loss: approximately 0.201
Native checkpoint: s3://marin-us-east-02a/marin/grug/snowball_step105149_sft_s3_agentic_eot_5ep/2026.08.13.1/checkpoints/step-1888/
Recipe source: marin-community/marin#8172 at 7b1ea1dc07
Runtime source: the recipe above plus distributed checkpoint writing from marin-community/marin#8140 and a two-hour checkpoint barrier configured for this run
Experiment: marin-community/marin#8225

The export preserves the Marin tokenizer and Delphi special tokens. It is not the Nemotron-Terminal/Terminus-2 Stage 3 described in the successful control from marin-community/marin#7743.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры: GrugMoeForCausalLM
Ревизия весов: bceedff