Характеристики

Контекст: 4 096 токенов
Параметры: 1,7 млрд
Архитектура: opensci · dense
Библиотека: transformers
Опубликована: 30 мая 2026

Ссылки

open-sci-ref-v0.02-1.7b-fineweb-edu-1.4t-1T-4096-rope_theta-100k

Генерация текстаТекст → текст3 профессии

Плотная языковая модель Open-Sci на 1,7 млрд параметров для генерации текста, обученная на FineWeb-Edu на 1 трлн токенов.

121скачиваний за 30 дней0лайковвеса обновлены30 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Open-Sci Ref v0.02 — языковая модель с плотной causal LM-архитектурой OpensciForCausalLM и 1,7 млрд параметров, разработанная проектом Open-Sci. Модель обучена на корпусе FineWeb-Edu на 1 трлн токенов; финальный чекпойнт обозначен как iter 238419. Для текста используется контекст длиной 4096 токенов и RoPE theta 100000.

Модель предназначена для генерации текста и может применяться для продолжения текста и ответов на вопросы. В README приведены результаты оценки на наборах ARC Challenge, ARC Easy и BoolQ. Файлы весов опубликованы в формате safetensors для библиотеки Transformers.

Модель подойдёт для экспериментов и прикладных задач генерации текста, однако приведённых оценок недостаточно, чтобы судить о качестве в широком наборе сценариев. Лицензия в предоставленных данных не указана.

Сценарии применения

продолжение заданного текста
генерация ответов на текстовые вопросы
эксперименты с языковой моделью на корпусе образовательного веб-текста

Ограничения

Качество приведено лишь для нескольких бенчмарков, поэтому оно может отличаться на других задачах. Лицензия не указана в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

open-sci-ref-v0.02-1.7b-fineweb-edu-1.4t-1T-4096-rope_theta-100k

1.7B open-sci-ref model trained on FineWeb-Edu for 1T tokens (sequence length 4096, RoPE theta = 100000).

The main branch holds the final checkpoint (iter 238419). Intermediate checkpoints (iters 58000-238000, every 2000) are available as branches named iter_XXXXXXX.

Evaluation

Final checkpoint on the open-sci-0.01 suite (lm-eval-harness). Metrics collected with oellm collect-results.

Task	n-shot	Metric	Score
arc_challenge	10	acc_norm	0.4983
arc_easy	10	acc_norm	0.7984
boolq	10	acc	0.7465
commonsense_qa	10	acc	0.2285
copa	0	acc	0.8400
hellaswag	10	acc_norm	0.7008
lambada_openai	0	acc	0.5849
mmlu	5	acc	0.3187
openbookqa	0	acc_norm	0.4360
piqa	10	acc_norm	0.7873
social_iqa	0	acc	0.4365
winogrande	0	acc	0.6425
average			0.5849

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: OpensciForCausalLM
Ревизия весов: 4f69454