/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
1 млрд
Размер весов
134 ГБ
Лицензия
Своя лицензия
Архитектура
grug_moe · MoE
Базовая модель
Snowball-67B-A2B-5.7T-Mixed-RLVR-Step38
Опубликована
3 окт 2026

Snowball-67B-A2B-Step38-Science-SFT-Proof-First-Step12943-2026.09.26

Генерация текстаТекст → текст

Экспериментальный чекпойнт Snowball, дообученный для генерации научных ответов с приоритетом доказательств.

721скачиваний за 30 дней0лайковвеса обновлены3 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это архивный исследовательский чекпойнт Snowball, созданный командой open-athena в ходе эксперимента по дообучению SFT для научных задач с подходом Proof-first. Модель основана на open-athena/Snowball-67B-A2B-5.7T-Mixed-RLVR-Step38 и имеет архитектуру GrugMoeForCausalLM типа MoE. В метаданных указаны 1 млрд параметров, контекст до 32 768 токенов и формат safetensors.

Чекпойнт предназначен для генерации текста в научных сценариях, где ответы должны опираться на доказательства. В тесте GPQA-Diamond он набрал 57,07% против 58,25% у исходной модели Step38; эксперимент не показал широкого улучшения. Датасет обучения загружается и пока неполон, поэтому результаты трудно полностью воспроизвести. Применяются исходные условия лицензии базовой модели; в метаданных указана лицензия other.

Сценарии применения

  • генерация ответов на научные вопросы с обоснованием
  • экспериментальная оценка научных рассуждений языковой модели
  • сравнение SFT-чекпойнтов на тесте GPQA-Diamond

Ограничения

Результат GPQA-Diamond ниже, чем у исходного чекпойнта Step38, и эксперимент не подтвердил широкого улучшения. Обучающий датасет неполон, что ограничивает воспроизводимость; действуют исходные условия лицензии базовой модели.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Step38 science SFT: Proof-first

Archival Hugging Face export from the Proof-first science SFT run at optimizer step 12,943. The run started from Snowball Step38. Its GPQA-Diamond result was 57.07%, versus 58.25% for the Step38 starting model.

The experiment issue, public score and configuration archive, and draft reproducibility PR document this checkpoint. The physical input dataset is being uploaded and is currently incomplete. The model is a research artifact, and the raw-science SFT arms did not establish a broad improvement over Step38. Original upstream license terms still apply.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Архитектура grug_moe неизвестна transformers в образе рантайма.

Класс архитектуры
GrugMoeForCausalLM
Ревизия весов
b244ba3

0 моделей