/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
2,8 млрд
Размер весов
134 ГБ
Лицензия
Apache 2.0
Архитектура
grug_moe · MoE
Библиотека
transformers
Опубликована
14 авг 2026

snowball-67b-a2b-sft-s1-chat-step257

Генерация текстаТекст → текст8 профессий

Чат-модель Snowball на архитектуре Grug MoE, дообученная на диалогах для генерации ответов с контекстом до 32 768 токенов.

47скачиваний за 30 дней0лайковвеса обновлены14 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Snowball 67B-A2B SFT Stage 1: Chat — экспорт в формате BF16 для Hugging Face и vLLM модели, разработанной в рамках кампании Marin. Это чат-модель с архитектурой Grug MoE и 2,8 млрд параметров; она прошла первый этап supervised fine-tuning на данных WildChat50M за 257 шагов. Модель предназначена для генерации диалоговых ответов и может использовать интерфейс вызова инструментов.

Модель инициализирована из laion/snowball-67b-a2b-cooldown-step105149. Она принимает текст, поддерживает контекст до 32 768 токенов и сохраняет токенизатор Marin и специальные токены Delphi. В README описан только первый этап обучения Chat в последовательности Chat → Thinking → Agentic; отдельные возможности последующих этапов здесь не подтверждены.

Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. README не приводит оценок качества или конкретных ограничений применимости.

Сценарии применения

  • генерация ответов в диалоговом чат-боте
  • поддержка многошагового разговора в пределах контекстного окна
  • подготовка чат-модели для интеграции с инструментами
  • эксперименты с дообучением разговорных моделей

Ограничения

README не приводит результатов оценки качества или подробных ограничений. Описан только первый этап SFT для чата; возможности этапов Thinking и Agentic не подтверждены.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Snowball 67B-A2B SFT Stage 1: Chat

This is the BF16 Hugging Face/vLLM export of the Chat stage in Marin's ordered Chat → Thinking → Agentic SFT campaign.

Training provenance

The export preserves the Marin tokenizer and Delphi special tokens.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры
GrugMoeForCausalLM
Ревизия весов
6590cba

0 моделей