Контрольная точка Qwen2.5-Math-7B, дообученная с IVON как стартовая модель для экспериментов RLVR и генерации математических рассуждений.

Подходит для: генерация пошаговых решений математических задач · подготовка стартовой модели для обучения RLVR · эксперименты с исследованием параметров через 3PO

Дообученная BayesRL модель Olmo 3 на 6,9 млрд параметров для генерации текста и экспериментов по математическому рассуждению с обучением на верифицируемых наградах.

Подходит для: генерация решений математических задач · ответы на вопросы математических олимпиад · эксперименты с RLVR и алгоритмом C3PO

Англоязычная модель Olmo 3 на 6,9 млрд параметров, дообученная методом M3PO+ для генерации текста и решения математических задач.

Подходит для: решение задач математических олимпиад · генерация пошаговых решений по математике · ответы на математические вопросы в диалоге

Дообученная на основе Olmo 3 модель для генерации текста и экспериментов RLVR, в том числе с математическими задачами.

Подходит для: генерация решений математических задач · эксперименты с RLVR и проверяемыми наградами · сравнение стратегий исследования пространства параметров

Дообученная методом M3PO модель Qwen2.5-Math на 7,1 млрд параметров для генерации решений математических задач и экспериментов с RLVR.

Подходит для: генерация решений математических задач · подготовка ответов для математических бенчмарков · проверка способности модели решать задачи AIME

Математическая модель Qwen2 на 7,1 млрд параметров, дообученная методом C3PO для генерации решений и исследования в RLVR.

Подходит для: генерация решений математических задач · подготовка warm-start чекпойнтов для обучения RLVR · эксперименты с исследованием пространства параметров в GRPO

Англоязычная модель Olmo 3 на 6,9 млрд параметров, дообученная методом C3PO_MC для генерации текста и экспериментов RLVR на математических задачах.

Подходит для: решение математических задач на английском языке · эксперименты с исследованием пространства параметров в RLVR · оценка стратегий обучения GRPO с проверяемыми наградами

Модель оценки предпочтений ответов для обучения Beaver-систем безопасному RLHF на наборе PKU-SafeRLHF.

Подходит для: оценка предпочтительности ответов языковой модели · формирование сигнала вознаграждения для обучения RLHF · обучение диалоговой модели отвечать полезнее и безопаснее

Англоязычная модель Olmo 3 на 7 млрд параметров, дообученная B3PO для генерации текста и экспериментов RLVR с математическими задачами.

Подходит для: решение задач уровня математических олимпиад · генерация пошаговых ответов на математические вопросы · эксперименты с RLVR и проверяемыми наградами

Reward-модель на основе Qwen2.5-1.5B-Instruct оценивает ответы ассистента по предпочтительности для ранжирования и использования в RLHF.

Подходит для: сравнение двух ответов ассистента по предпочтительности · ранжирование ответов языковой модели · оценка качества ответов для контура RLHF

Модель предпочтений PKU-Alignment оценивает стоимость и безопасность текстовых ответов для обучения с подкреплением на основе человеческой обратной связи.

Подходит для: оценка безопасности ответов языковой модели · оценка вредоносности или безвредности текстовых ответов · обучение моделей методом Safe RLHF

Англоязычная модель Olmo 3 на 6,9 млрд параметров, дообученная методом B3PO для генерации текста и экспериментов RLVR с математическими задачами.

Подходит для: генерация ответов на математические задачи · эксперименты с обучением языковой модели на проверяемых вознаграждениях · оценка математических рассуждений на AIME и MATH-500

Англоязычная модель Olmo 3 на 6,9 млрд параметров, дообученная методом B3PO для генерации текста и экспериментов с RLVR на задачах, проверяемых автоматически, включая математику.

Подходит для: генерация решений математических задач · эксперименты с обучением на проверяемых наградах · оценка рассуждений на математических бенчмарках

Англоязычная модель Olmo 3 на 7 млрд параметров, дообученная с IVON для генерации текста и запуска RLVR-экспериментов 3PO.

Подходит для: генерация ответов в текстовом диалоге · решение математических задач с пояснениями · создание стартового чекпойнта для RLVR-обучения

Стартовый чекпойнт OpenBMB на 2,2 млрд параметров для воспроизведения исследований RL-обучения небольших языковых моделей математическим рассуждениям.

Подходит для: воспроизведение рецепта JustRL II и его абляций · оценка математического рассуждения до RL-обучения · исследование обучения с подкреплением на длинных цепочках рассуждений

Дообученная на математических задачах модель Qwen2 с 7,1 млрд параметров для генерации решений и подготовки warm-start чекпойнтов для RLVR.

Подходит для: генерация решений математических задач · пошаговое математическое рассуждение на английском · создание начального чекпойнта для обучения RLVR

Мультимодальная модель Alibaba DAMO Academy для планирования роботизированных действий по изображениям сцены и текстовой цели.

Подходит для: планирование последовательности действий робота по заданной цели и изображению сцены · разбиение многошаговой задачи манипуляции на подзадачи · привязка объектов и целевых областей к физическому пространству

Компактная байтовая авторегрессионная модель BET для генерации текста и исследований повторного использования вычислений в циклах уточнения.

Подходит для: эксперименты с рекуррентными трансформерами и повторным использованием весов · исследование влияния числа циклов уточнения на генерацию текста · генерация коротких продолжений текста в контексте до 512 байтов

Модель Qwen2.5-Math, дообученная методом B3PO для генерации решений математических задач и исследований RLVR.

Подходит для: генерация решений математических задач · подготовка ответов для задач AIME и AMC · решение задач уровня MATH-500

Дообученная на Gemma 2B модель вознаграждения для оценки предпочтительности ответов и применения в RLHF.

Подходит для: оценка предпочтительности ответов языковой модели · ранжирование нескольких ответов чат-бота · обучение RLHF на предпочтениях пользователей

Модель NVIDIA на базе Qwen2.5-72B-Instruct оценивает предпочтительность ответов ассистента для применения в RLHF.

Подходит для: оценка предпочтительности ответа ассистента в диалоге · ранжирование вариантов ответа языковой модели · подготовка сигналов вознаграждения для обучения RLHF

Англоязычная модель Olmo3 на 6,9 млрд параметров, дообученная методом M3PO для генерации текста и решения математических задач.

Подходит для: решение задач математических олимпиад · пошаговые рассуждения при решении задач по математике · генерация ответов на математические вопросы в чате

Рекуррентная политика PPO для выбора действий игрока в Mario Kart Wii.

Подходит для: автоматическое прохождение гонок Mario Kart Wii · управление игровым персонажем в среде Mario Kart Wii · сравнение надёжности игровых политик на фиксированных сценариях

Англоязычная reward-модель на базе Llama оценивает ответы помощника для обучения с подкреплением на основе предпочтений и PPO.

Подходит для: оценка качества ответов языкового помощника · обучение reward-модели на данных предпочтений · использование в PPO для дообучения чат-модели