/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
7,6 млрд
Размер весов
16,4 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3 · dense
Базовая модель
Qwen3-8B-Base
Библиотека
transformers
Опубликована
23 сен 2026

Qwen3-8B-Base-OpenThoughts3Math-SFT-step250-lr5e-6

Генерация текстаТекст → текст3 профессии

Промежуточная дообученная модель Qwen3-8B для генерации математических решений с пошаговыми рассуждениями.

222скачиваний за 30 дней0лайковвеса обновлены23 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это промежуточный чекпойнт модели Qwen3-8B-Base, дообученный методом supervised fine-tuning на математических диалогах из набора OpenThoughts3 Math. Модель разработана автором репозитория seomh; в карточке указано, что это шаг 250 из запланированных 2000, веса представлены в bf16. Архитектура — плотная авторегрессионная Qwen3ForCausalLM примерно на 7,6 млрд параметров, контекст — до 32 768 токенов.

Чекпойнт предназначен для генерации ответов с пошаговыми математическими рассуждениями и заключительным ответом в формате \boxed{}. Для обучения использованы 103 760 двухходовых диалогов; применяется обычный шаблон ChatML без встроенной логики режима размышления. Модель не оценивалась, поэтому качество и готовность к практическому использованию не подтверждены. Лицензия — Apache-2.0.

Сценарии применения

  • генерация пошаговых решений математических задач
  • ответы на математические вопросы с финальным ответом в формате \boxed{}
  • эксперименты с дообучением языковых моделей на математических рассуждениях

Ограничения

Это неоценённый промежуточный чекпойнт на шаге 250 из запланированных 2000, поэтому качество не подтверждено. Для генерации автор рекомендует задавать max_new_tokens около 16384; при стандартной конфигурации завершения базовой модели возможны проблемы с остановкой генерации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3-8B-Base -- OpenThoughts3 math SFT, step 250

Intermediate checkpoint (step 250 of a planned 2000), bf16 weights only. Not yet evaluated.

baseQwen/Qwen3-8B-Base
dataknowledge-distillation/openthoughts3_math, 103,760 two-turn conversations
sequence length32768 (truncates nothing: mean 13.8k, p99 16.8k, max 16.8k tokens)
global batch255
optimizerAdamW, lr 5e-6, cosine, 3% warmup, weight decay 0.01, grad clip 1.0
precisionbf16, FSDP over 3 GPUs, verl

Every assistant message in the data is a <think>...</think> trace ending in \boxed{}, and the model is trained to reproduce that. It uses a plain ChatML template with no thinking logic -- Qwen3's own template strips <think> from all but the last assistant turn, which would have removed the reasoning from the training targets. No enable_thinking flag applies.

A turn ends with <|im_end|> (151645); config.json and generation_config.json both say so. Qwen3-8B-Base's stock generation_config.json says 151643 instead, which yields a model that never terminates under vLLM. Generate with max_new_tokens around 16384.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3ForCausalLM
Ревизия весов
b554a01

0 моделей