Характеристики

Контекст: 4 096 токенов
Параметры: 1,7 млрд
Архитектура: opensci · dense
Библиотека: transformers
Опубликована: 30 мая 2026

Ссылки

open-sci-ref-v0.02-1.7b-dclm-1T-4096-rope_theta-100k

Генерация текстаТекст → текст3 профессии

Плотная языковая модель OpenSci на 1,7 млрд параметров, обученная на DCLM, предназначена для генерации текста и проверки языковых способностей.

97скачиваний за 30 дней0лайковвеса обновлены30 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

open-sci-ref-v0.02-1.7b-dclm-1T-4096-rope_theta-100k — плотная авторегрессионная языковая модель семейства OpenSci с 1,7 млрд параметров. Разработчики обучили её на наборе DCLM в объёме 1 трлн токенов; финальный чекпойнт соответствует итерации 238419. Доступны также промежуточные чекпойнты в отдельных ветках репозитория.

Модель предназначена для генерации текста и оценки языковых моделей. В README приведены результаты финального чекпойнта на задачах ARC Challenge, ARC Easy и BoolQ из набора open-sci-0.01; длина последовательности при обучении — 4096 токенов, RoPE theta — 100000. Репозиторий содержит веса Safetensors для Transformers.

Карточка не сообщает языковой состав обучающих данных и лицензию, поэтому нельзя подтвердить поддержку конкретных языков или условия использования. Приведённые оценки относятся к ограниченному набору тестов и сами по себе не характеризуют качество на всех задачах.

Сценарии применения

генерация продолжений текста
оценка ответов на вопросы общего характера
эксперименты с языковыми моделями на базе Transformers

Ограничения

В карточке не описаны поддерживаемые языки и лицензия. Опубликованные оценки охватывают лишь несколько тестов и не дают полной картины качества модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

open-sci-ref-v0.02-1.7b-dclm-1T-4096-rope_theta-100k

1.7B open-sci-ref model trained on DCLM for 1T tokens (sequence length 4096, RoPE theta = 100000).

The main branch holds the final checkpoint (iter 238419). Intermediate checkpoints (iters 58000-238000, every 2000) are available as branches named iter_XXXXXXX.

Evaluation

Final checkpoint on the open-sci-0.01 suite (lm-eval-harness). Metrics collected with oellm collect-results.

Task	n-shot	Metric	Score
arc_challenge	10	acc_norm	0.4761
arc_easy	10	acc_norm	0.7689
boolq	10	acc	0.7664
commonsense_qa	10	acc	0.4676
copa	0	acc	0.8200
hellaswag	10	acc_norm	0.7367
lambada_openai	0	acc	0.7019
mmlu	5	acc	0.4002
openbookqa	0	acc_norm	0.4080
piqa	10	acc_norm	0.7845
social_iqa	0	acc	0.4463
winogrande	0	acc	0.6606
average			0.6198

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: OpensciForCausalLM
Ревизия весов: 7e213fb