Snowball 67B-A2B — базовая языковая модель семейства GrugMoE, экспортированная командой проекта Snowball в формате BF16 из шага обучения 157 000 для сравнения моделей с длинным контекстом. В README указано 67 млрд параметров всего и около 2 млрд активных параметров на токен; метаданные каталога оценивают размер в 2,8 млрд параметров. Архитектура включает 26 слоёв и 256 экспертов, из которых для каждого токена выбираются четыре. Модель поддерживает контекст до 262 144 токенов и словарь размером 128 256 токенов.

Модель предназначена для текстовых продолжений и экспериментов с обработкой длинных документов. Это базовая модель без подтверждённой настройки для следования инструкциям, поэтому для чата и вызова инструментов её следует рассматривать как основу, а не готового ассистента. Для запуска требуется форк vLLM от Marin с поддержкой GrugMoE; в README описана конфигурация на восьми H100 с параллелизмом экспертов. Репозиторий содержит веса Safetensors, экспортированные в BF16. Лицензия — OpenMDW-1.1.

Загрузка подтверждает имена тензоров, тип BF16, конфигурацию, размеры файлов и контрольные суммы. Для этой загрузки не выполнялись новые тесты генерации или численного соответствия, поэтому качество и корректность генерации отдельно не подтверждены.