Контрольная точка Llama 3 8B после дообучения на смеси инструкций и диалогов, предназначенная для генерации текста и исследований RLHF.

Подходит для: генерация ответов в диалоговом ассистенте · выполнение инструкций на естественном языке · решение математических задач в текстовом формате

Наградная модель InternLM2 на 1,7 млрд параметров для оценки, сравнения и ранжирования ответов диалоговых моделей по предпочтительности.

Подходит для: оценка предпочтительности ответа чат-бота · сравнение двух вариантов ответа языковой модели · ранжирование нескольких ответов для выбора лучшего

Модель OpenAssistant на базе DeBERTa-v3-base оценивает ответы на вопросы по предпочтениям, отражающим человеческие оценки, и может служить компонентом RLHF.

Подходит для: оценка качества сгенерированных ответов на вопросы · ранжирование ответов по предпочтительности · получение сигнала вознаграждения для обучения RLHF

Англоязычная модель Ai2 на 6,9 млрд параметров, дообученная методом RLVR для генерации решений математических задач и исследования обучения с проверяемыми наградами.

Подходит для: генерация решений математических задач · пошаговое рассуждение при решении задач · эксперименты с обучением RLVR на математических запросах

Диалоговая модель Llama 3 8B, дообученная методом PPO-M для снижения словесной самоуверенности ответов.

Подходит для: генерация ответов в диалоговом ассистенте · создание ответов с более калиброванной выраженностью уверенности · эксперименты с RLHF и обучением языковых моделей

Экспериментальная англоязычная модель Ai2 на 6,9 млрд параметров, дообученная методом RLVR для генерации текста и следования инструкциям.

Подходит для: ответы на инструкции и запросы на английском языке · диалоговая генерация текста · эксперименты с обучением RLVR по проверяемым наградам

Англоязычная чат-модель LLaMA 3 на 7,5 млрд параметров, экстраполированная методом ExPO для улучшения соответствия ответов человеческим предпочтениям.

Подходит для: генерация ответов в диалоговом чате · ответы на вопросы на английском языке · создание инструктивных текстовых ответов

Процессно-супервизируемая модель вознаграждения на базе Llama 3.1 8B для оценки шагов рассуждения и отбора решений.

Подходит для: оценка промежуточных шагов математического решения · отбор лучших ответов из множества сгенерированных вариантов · оценка решений задач GSM8K и MATH

Reward-модель на основе Qwen2.5-1.5B-Instruct оценивает ответы ассистента по предпочтительности для ранжирования и использования в RLHF.

Подходит для: сравнение двух ответов ассистента по предпочтительности · ранжирование ответов языковой модели · оценка качества ответов для контура RLHF

Экспериментальная контрольная точка Qwen3-4B, дообученная с подкреплением для генерации кода и решения задач программирования.

Подходит для: генерация кода для задач с автоматическими тестами · поиск решений сложных задач программирования · создание нескольких вариантов программы для оценки pass@8

HER-RL — дообученная на Qwen3-32B модель для многошагового ролевого диалога и симуляции персонажей с внутренними мыслями и планированием.

Подходит для: ролевая переписка от лица персонажа · симуляция персонажа в интерактивной истории · создание диалогов с последовательным образом персонажа

Экспериментальная англоязычная модель Ai2 на 6,9 млрд параметров, дообученная RLVR для генерации текста и задач по математике, коду и следованию инструкциям.

Подходит для: эксперименты с обучением RLVR на языковых моделях · генерация ответов на математические задачи · генерация и анализ программного кода

Экспериментальная англоязычная модель Ai2 на 6,9 млрд параметров, дообученная методом RLVR для генерации текста и решения математических задач.

Подходит для: решение математических задач с пошаговыми рассуждениями · проверка методов RLVR на математических запросах · генерация текстовых ответов на английском языке

Экспериментальная англоязычная модель Ai2, дообученная методом RLVR для генерации кода и исследований обучения с проверяемыми наградами.

Подходит для: генерация кода по текстовому запросу · подготовка вариантов решения задачи программирования · эксперименты с RLVR для генерации кода

Модель вознаграждения NVIDIA оценивает качество ответа ассистента в англоязычном диалоге и подходит для ранжирования ответов и настройки LLM с помощью RLHF.

Подходит для: оценка качества финального ответа ассистента в диалоге · сравнение двух ответов на один и тот же запрос · подготовка сигнала вознаграждения для обучения RLHF

Экспериментальная англоязычная модель Ai2 на 6,9 млрд параметров для генерации диалогового текста и изучения обучения с подкреплением по проверяемым вознаграждениям.

Подходит для: генерация ответов на общие запросы в диалоге · создание англоязычных черновиков и пояснений · эксперименты с обучением языковых моделей методом RLVR

Дообученная на Gemma 2B модель вознаграждения для оценки предпочтительности ответов и применения в RLHF.

Подходит для: оценка предпочтительности ответов языковой модели · ранжирование нескольких ответов чат-бота · обучение RLHF на предпочтениях пользователей

Модель оценки предпочтений ответов для обучения Beaver-систем безопасному RLHF на наборе PKU-SafeRLHF.

Подходит для: оценка предпочтительности ответов языковой модели · формирование сигнала вознаграждения для обучения RLHF · обучение диалоговой модели отвечать полезнее и безопаснее

Экспериментальная рекуррентная языковая модель на основе OLMo 2 для генерации и продолжения английского текста с настраиваемой вычислительной глубиной.

Подходит для: продолжение английского текста · исследование рекуррентных языковых моделей · сравнение качества генерации при разном числе рекуррентных шагов

Контрольная точка Llama 3 8B после supervised fine-tuning для генерации текста, диалогов и исследований RLHF.

Подходит для: генерация ответов в диалоговом интерфейсе · создание базовой модели для экспериментов с RLHF · решение математических задач в текстовом формате

Reward-модель на базе Llama 3.1 8B для оценки безвредности текстовых ответов в сценариях RLHF.

Подходит для: оценка безвредности ответов чат-бота · сравнение кандидатов ответа по безопасности · ранжирование ответов для отбора в RLHF

Компактная авторегрессионная модель OpenLM на 1,4 млрд параметров для генерации текста и экспериментов общего назначения.

Подходит для: генерация продолжения текста · эксперименты с компактными языковыми моделями · оценка perplexity на текстовых корпусах

Компактная англоязычная инструкционная модель RRT для чатовых прототипов и экспериментов с малыми языковыми моделями.

Подходит для: создание локального чат-прототипа с ограниченной памятью · эксперименты с рекуррентным разделением параметров трансформера · тестирование небольших моделей на следование инструкциям

Экспериментальный чекпойнт Qwen3-4B, дообученный методом GRPO для генерации кода и решения задач с проверкой программ тестами.

Подходит для: генерация кода для задач с автоматическими тестами · поиск решений для сложных задач программирования · получение нескольких вариантов программы для одной задачи