Характеристики

Контекст: 262 144 токена
Параметры: 2,8 млрд
Размер весов: 134 ГБ
Лицензия: openmdw-1.1
Архитектура: grug_moe · MoE
Библиотека: vllm
Опубликована: 9 сен 2026

Ссылки

snowball-67b-a2b-base-262k-qk175-skew4

Генерация текстаТекст → текст3 профессии

Базовая языковая модель Grug MoE с контекстом до 262 144 токенов для текстовых дополнений и продолжения длинных документов.

85скачиваний за 30 дней0лайковвеса обновлены9 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Snowball 67B-A2B — базовая языковая модель семейства Grug MoE от open-athena, опубликованная как BF16-экспорт шага 157 000 эксперимента по сравнению моделей с длинным контекстом. В ней 67 млрд параметров всего и около 2 млрд активных параметров на токен; архитектура включает 26 слоёв и 256 экспертов, из которых для каждого токена выбираются четыре. Размер словаря токенизатора — 128 256 токенов, нативная длина контекста — 262 144 токена.

Модель предназначена для продолжения текста и дополнений на основе текстового контекста, включая длинные документы. Это базовая, не настроенная на следование инструкциям модель; встроенный шаблон чата сам по себе не означает наличие такой настройки. Для обслуживания требуется форк Marin vLLM с поддержкой Grug MoE. README сообщает, что загрузка проверена на целостность и конфигурацию, но для этого экспорта не проводились новая генерация или проверка численного соответствия. Материалы модели распространяются по лицензии OpenMDW 1.1.

Сценарии применения

продолжение длинного текста
дополнение текста с учётом длинного контекста
эксперименты с моделями длинного контекста

Ограничения

Модель не настроена на следование инструкциям, поэтому предназначена для текстовых дополнений, а не для роли готового чат-ассистента. Для обслуживания требуется форк Marin vLLM; для данного экспорта не проводились новая генерация и проверка численного соответствия.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Snowball 67B-A2B, 262K context, QK 1.75, skew 4×

BF16 export of step 157,000 from the Snowball long-context comparison. The run extended context to 262,144 tokens from step 156,000 through step 157,000 with qk_mult=1.75. Long-context documents were upsampled 4× during extension.

The model has 67B total parameters, approximately 2B active parameters per token, 26 layers, 256 experts with four selected per token, and a 128,256-token vocabulary. This is a base model. The tokenizer's bundled chat template does not indicate instruction tuning; use text completions.

Serving requires the Marin vLLM fork, which registers GrugMoeForCausalLM / grug_moe. The existing serving configuration uses eight H100 GPUs, tensor parallelism 1, data parallelism 8, and expert parallelism because the model has five KV heads. See the serving and evaluation record for the QK 1.57 and 1.75 baseline exports. This upload validates tensor names, BF16 dtype, config, sizes, and SHA-256 checksums. No new generation or numerical parity test has been run for this upload.

The export manifest records each file’s size and SHA-256 checksum, the exporter revision, and the verified Hub weight revision. The exporter applies pending QB router biases before conversion. Optimizer state is excluded.

Model materials are licensed under OpenMDW 1.1.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры: GrugMoeForCausalLM
Ревизия весов: 5052e68