/ Модель

Характеристики

Контекст
131 072 токена
Параметры
1,6 млрд
Размер весов
41,8 ГБ
Лицензия
MIT
Архитектура
gpt_oss · MoE
Базовая модель
gpt-oss-20b
Библиотека
transformers
Опубликована
21 сен 2025

gpt-oss-20b-ru-reasoner

Генерация текстаТекст → текст5 профессий

Экспериментальная дообученная модель на базе gpt-oss-20b для русско- и англоязычных диалогов с настраиваемой глубиной рассуждений.

233скачиваний за 30 дней20лайковвеса обновлены22 сен 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

NotEvilAI/gpt-oss-20b-ru-reasoner — экспериментальная русскоязычная модель генерации текста с адаптивным рассуждением, созданная NotEvilAI на основе openai/gpt-oss-20b. Это дообученная MoE-модель для диалогов и задач, где полезно получать ответы с рассуждением на русском или английском языке; язык рассуждения выбирается по языку ответа без отдельной инструкции.

Поддерживаются режимы reasoning_effort: low, medium, high, none и auto. Модель обучена в два этапа — SFT и DPO — на наборах данных NotEvilAI; в метаданных указаны 1,6 млрд параметров и контекст до 131 072 токенов. Репозиторий содержит веса safetensors и рассчитан на Transformers.

Модель подходит для экспериментального использования в русско- и англоязычных диалогах и задачах рассуждения. Карточка сообщает о тестировании русского и английского языков, поэтому качество на других языках не подтверждено. Лицензия — MIT.

Сценарии применения

  • ответы на вопросы с рассуждением на русском языке
  • англоязычные диалоги с рассуждением
  • генерация ответа с выбором глубины рассуждения
  • диалоговые ответы без этапа рассуждения
  • эксперименты с русскоязычными reasoning-моделями

Ограничения

В README протестированы русский и английский языки; качество для других языков не подтверждено. Модель обозначена разработчиком как экспериментальная.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

NotEvilAI/gpt-oss-20b-ru-reasoner

NotEvilAI/gpt-oss-20b-ru-reasoner - экспериментальная модель с адаптивным русскоязычным ризонингом на основе openai/gpt-oss-20b.

Модель думает на том языке, на котором требуется сгенерировать ответ(протестировано на английском и русском) без явного указания языка ризонинга.

Имеется 5 режимов ризонинга(reasoning_effort):

  • low, medium, high - стандартные значения минимального, среднего и большого ризонинга для gpt-oss-20b/gpt-oss-120b
  • none - отключить ризонинг, в thinking будет пустая строка
  • auto - "автоматический" размер ризонинга

Предпосылки

gpt-oss-20b и gpt-oss-120b по-умолчанию всегда думают только на английском языке. Официальный Cookbook OpenAI предлагает сделать файн-тюн gpt-oss-20b на основе датасета HuggingFaceH4/Multilingual-Thinking(синтетический датасет из 1к примеров, полученных путём перевода prompt-reasoning-answer на 4 языка с английского). Этот подход позволяет задать 'Reasoning language' в системном промте и заставить модель думтаь на требуемом языке, что в теории должно повысить качество ответов. Во время файнтюна модель выявляет новые закономерности и учится думать на запрашиваемом языке.

При разработке данной модели мы поставили цель исключить явное указание языка ризонинга, а также добавить два новых режима ризонинга: автоматический(auto) и без ризонинга(none).

Обучение

Для обучения модели был составлен датасет NotEvilAI/ru-reasoning_effort-sft_dpo_think_gpt.

Модель обучалась на собственном сервере с 8x H200 в 2 стадии:

  • Full fine-tuning SFT с помощью axolotl:
    • num_epochs: 5 (20b версия модели сходится медленнее, чем 120b, однако переобучения замечено не было)
    • learning_rate: 5e-5 подобран эмпирически
    • optimizer: adamw_torch_fused
    • Упаковка семплов через sample_packing, multipack_real_batches, pad_to_sequence_len, group_by_length
    • Обучение длилось ~ 5 часов
  • DPO с помощью transformers:
    • Семплирование по 25 семплов на промт с целью поиска ризонинга не на нужном языке
    • learning_rate: 5e-6
    • gradient_accumulation_steps: 4
    • Конвертация результатирующей модели из fp32 в bf16
    • Обучение длилось ~ 3.5 часа

Больше информации

Подписывайтесь на наш Telegram-канал. Там мы будем выкладывать новые модели и датасеты. Также там вы можете задать автору интересующие вас вопросы.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
GptOssForCausalLM
Ревизия весов
b533603

0 моделей