Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
promotion/Llama-3.1-8B-SafeRLHF-NBPO-finitepool — диалоговая языковая модель на архитектуре Llama, дообученная методом Nash Bargaining Preference Optimization (NBPO) на наборе SafeRLHF. Она предназначена для генерации ответов с учётом двух целей: полезности и безвредности. Основа и эталонная политика — meta-llama/Llama-3.1-8B-Instruct; модель содержит 7,5 млрд параметров и принимает контекст длиной до 131 072 токенов.
В README описана конечнопуловая реализация NBPO с проекционным спуском по двойственным переменным, попарными целями и регрессией сумм последовательностей. Обучение включало 300 обновлений оптимизатора с глобальным размером пакета 16. В статье модель оценивали на отложенных промптах, сравнивая полезность и безвредность ответов с общей эталонной политикой; оценивание проводила Llama-3.3-70B-Instruct.
Модель подходит для диалоговой генерации ответов, где важно совместно учитывать полезность и безвредность. Данных недостаточно, чтобы утверждать, что она гарантированно предотвращает вредные ответы или превосходит базовую модель во всех сценариях; результаты оценки ограничены описанным протоколом. Лицензия — Llama 3.1.
Сценарии применения
генерация полезных ответов в диалоге
снижение вероятности вредных ответов чат-бота
сравнение полезности и безвредности вариантов ответа
эксперименты с многокритериальной оптимизацией предпочтений
Ограничения
README описывает ограниченный бюджет обучения — 300 обновлений — и оценку на отложенных промптах по конкретному протоколу; она не устанавливает качество модели в иных сценариях. Модель не гарантирует полного предотвращения вредных ответов.
Для каких профессий подходит6
Разделы каталога профессий, в задачах которых используется эта модель
Nash Bargaining Preference Optimization, the finite-pool realisation of Algorithm 1 at the documented eta = 1.0: projected dual descent on the frozen response pool, sampled pair targets, sequence-sum regression.
Evaluation protocol: independent objective-wise win rate against the common reference,
judged by Llama-3.3-70B-Instruct on prompt-disjoint held-out prompts, both presentation orders.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров