Snowball 67B-A2B second cooldown — модель семейства Grug MoE, опубликованная LAION. Это экспорт BF16 в формате Hugging Face/vLLM контрольной точки второго этапа cooldown; она использовалась как базовая для трёхэтапного SFT Marin в режимах Chat, Thinking и Agentic, а также для экспериментов с фиксированным EOT и Nemotron Terminal. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных также указана возможность интерфейса вызова инструментов.

Архитектура — GrugMoeForCausalLM с 67,08 млрд общих параметров и примерно 2,01 млрд активных параметров. В ней 256 маршрутизируемых экспертов, из которых для каждого токена активируются четыре. Контекст — до 32 768 токенов. Экспорт сохраняет токенизатор Marin, специальные токены Delphi и обученное состояние смещения запросов FP32. Модель опубликована под лицензией Apache-2.0; README указывает, что это промежуточная контрольная точка, использованная для последующих экспериментов SFT.