Характеристики

Контекст: 32 768 токенов
Параметры: 2,8 млрд
Размер весов: 134 ГБ
Лицензия: Apache 2.0
Архитектура: grug_moe · MoE
Библиотека: transformers
Опубликована: 13 авг 2026

Ссылки

sft-repro-thinking-step630-nemotron-terminal-step1888

Генерация текстаТекст → текст7 профессий

Экспериментальная диалоговая модель Grug MoE, дообученная на задачах Nemotron Terminal для генерации текста и взаимодействия с терминалом.

69скачиваний за 30 дней0лайковвеса обновлены13 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это экспериментальный чекпойнт Grug 67B, дообученный командой Marin на корпусе Nemotron Terminal и опубликованный в формате BF16 для Hugging Face и vLLM. Модель создана для диалогового взаимодействия и выполнения задач в терминале; метаданные также указывают интерфейс вызова инструментов. Это причинная языковая модель семейства Grug MoE с архитектурой mixture-of-experts и 2,8 млрд параметров. Контекстное окно — 32 768 токенов.

Обучение началось с Grug 67B stage-2 thinking checkpoint на шаге 630 и продолжалось 1 888 шагов на данных Nemotron Terminal Corpus. Модель оценивали в кампании воспроизведения OpenThoughts-TBLite с помощью Terminus-2, однако результаты оценки хранятся отдельно, поэтому качество выполнения конкретных задач из карточки установить нельзя. Лицензия — Apache-2.0.

Сценарии применения

выполнение задач в терминале по запросам на естественном языке
генерация команд и сценариев командной строки
диалоговое решение задач с использованием инструментов
автоматизация многошаговых терминальных операций

Ограничения

Опубликованные результаты оценки не включены в карточку, поэтому качество модели на терминальных задачах по этим данным оценить нельзя. Контекст ограничен 32 768 токенами.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Grug 67B Nemotron Terminal SFT reproduction

This is the BF16 Hugging Face/vLLM export evaluated by the Marin experiment sft-repro-nemotron-terminal-on-thinking-ckpt.

Training

Initialization: Marin Grug 67B stage-2 thinking checkpoint, step 630
Data: nvidia/Nemotron-Terminal-Corpus at revision a1667c4, using Marin's documents/nemotron_terminal_full@2026.06.28 selection and tokenized/nemotron_terminal_full-chat-7adc64@2026.07.17
Steps: 1,888
Sequence length: 32,768
Global batch size: 64
Peak learning rate: 5e-6, AdamH/Adam with cosine decay, 3% warmup, and 0.1 minimum learning-rate ratio
Training geometry: 64 H100 GPUs; replica=1, data=8, expert=8, model=1
Marin source: e502edd70c

The training run completed with a final reported loss of 0.501. The export was generated from the final step-1,888 checkpoint and preserves the model's native 32,768-token context limit.

Evaluation

The model was evaluated on the 300-trial OpenThoughts-TBLite reproduction campaign with the Terminus-2 harness. The experimental controls use three attempts per task, temperature 0.6, and an agent context budget of 24,576 input plus 8,192 output tokens. Evaluation results are tracked separately from this weight artifact.

Provenance

The immutable source export is:

s3://marin-us-east-02a/marin/grug/sft_repro_thinking_step630_nemotron_terminal_steps1888/2026.08.11.1/exports/step-1888/hf-bf16-vllm/

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры: GrugMoeForCausalLM
Ревизия весов: 0ef7531