Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
promotion выпустила экспериментальный чекпойнт pi_2 — второй этап Nash Bargaining Preference Optimization (NBPO) для диалоговой модели на базе meta-llama/Llama-3.1-8B-Instruct. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате Safetensors.
Чекпойнт предназначен для диалогов, в которых нужно совместно учитывать полезность ответов и их безвредность. Он получен дообучением на данных SafeRLHF: второй внешний этап NBPO заново сформировал пул примеров, переоценил обучающую матрицу из 44 000 ячеек и дообучил политику в течение 300 обновлений. По карточке, этап прошёл заданную проверку, однако не улучшил результат относительно pi_1: выигрыш по целевой метрике составил лишь +0,003, а худшая из оценок выигрыша по отдельным целям снизилась на 0,008. Оценка проводилась на отложенных промптах без пересечения с обучающими; ответы сравнивались с базовой моделью и оценивались Llama-3.3-70B-Instruct.
Модель опубликована по лицензии llama3.1. Она ориентирована на исследовательское изучение многоцелевой оптимизации предпочтений; результаты второго этапа не свидетельствуют об улучшении относительно pi_1. Данных о поддерживаемых языках сверх характеристик базовой модели в карточке нет.
Сценарии применения
изучение оптимизации предпочтений по полезности и безвредности
сравнение этапов NBPO на SafeRLHF
генерация диалоговых ответов с учетом безвредности
оценка компромисса между полезностью и безопасностью ответов
Ограничения
Вторая стадия не улучшила результат относительно pi_1: целевой показатель вырос на 0,003, тогда как худший показатель выигрыша по отдельной цели снизился на 0,008. Карточка не сообщает результаты для других языков или сценариев за пределами описанной оценки.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
pi_2 from a genuine second stage of Algorithm 1: the pool regenerated from pi_1, the training matrix rejudged in full (44,000 cells), the dual re-solved and the policy refit for 300 updates. Accepted by the Algorithm 1 gate (held-out surpluses 0.240 / 0.148) but it does not improve on pi_1: +0.003 on the gated surplus and -0.008 on the reported worst-objective win rate.
Training budget: 300 optimiser updates, global batch 16
Reported in: Nash Bargaining Preference Optimization (NBPO), Appendix: A Second Outer Stage
Evaluation protocol: independent objective-wise win rate against the common reference,
judged by Llama-3.3-70B-Instruct on prompt-disjoint held-out prompts, both presentation orders.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров