Характеристики

Контекст: 32 768 токенов
Параметры: 1 млрд
Размер весов: 134 ГБ
Лицензия: Своя лицензия
Архитектура: grug_moe · MoE
Базовая модель: Snowball-67B-A2B-5.7T-Mixed-RLVR-Step38
Опубликована: 3 окт 2026

Ссылки

Snowball-67B-A2B-Step38-Science-SFT-Science-Forward-Step13161-2026.09.26

Генерация текстаТекст → текст

Экспериментальный чекпойнт Snowball, дообученный на научных данных для генерации текста и исследований ответов на научные вопросы.

790скачиваний за 30 дней0лайковвеса обновлены3 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Экспериментальный чекпойнт Snowball, экспортированный из запуска дообучения на научных данных Science-forward на шаге оптимизатора 13 161. Он основан на Snowball Step38 и использует архитектуру GrugMoE для генерации текста; метаданные указывают 1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для исследовательских экспериментов с ответами на научные вопросы и генерацией текста в диалоговом формате.

В тесте GPQA-Diamond результат чекпойнта составил 55,22% против 58,25% у исходной модели Step38, а README отмечает, что широкое улучшение качества не подтверждено. Физический датасет эксперимента загружается и пока неполон. Указана лицензия other; действуют исходные условия лицензии базовой модели.

Сценарии применения

эксперименты с генерацией ответов на научные вопросы
оценка языковых моделей на тесте GPQA-Diamond
исследование SFT для научных задач
диалоговая генерация текста на научные темы

Ограничения

В тесте GPQA-Diamond модель уступила исходному Step38 (55,22% против 58,25%), а широкое улучшение качества не установлено. Датасет эксперимента загружен не полностью.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Step38 science SFT: Science-forward

Archival Hugging Face export from the Science-forward science SFT run at optimizer step 13,161. The run started from Snowball Step38. Its GPQA-Diamond result was 55.22%, versus 58.25% for the Step38 starting model.

The experiment issue, public score and configuration archive, and draft reproducibility PR document this checkpoint. The physical input dataset is being uploaded and is currently incomplete. The model is a research artifact, and the raw-science SFT arms did not establish a broad improvement over Step38. Original upstream license terms still apply.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры: GrugMoeForCausalLM
Ревизия весов: bf90cc7