Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель promotion/Llama-3.1-8B-SafeRLHF-NBPO-eta0.1 — диалоговая языковая модель на архитектуре Llama, дообученная командой promotion на основе meta-llama/Llama-3.1-8B-Instruct методом Nash Bargaining Preference Optimization (NBPO). Она оптимизирует два критерия SafeRLHF: полезность и безвредность, используя выбранное значение eta_t = 0,1 и предварительно подготовленные пары предпочтений. Модель предназначена для генерации ответов в диалоге с учётом этих критериев.
В описанном эксперименте обучение включало 300 обновлений оптимизатора с глобальным размером пакета 16. Оценка сравнивала модель с общей базовой политикой по отдельным показателям предпочтения для каждого критерия; ответы оценивала Llama-3.3-70B-Instruct на отложенных промптах, не пересекающихся с обучающими, в обоих порядках предъявления. Модель содержит около 7,5 млрд параметров, принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов. Распространяется в формате Safetensors по лицензии Llama 3.1. Результаты описывают конкретный экспериментальный вариант и сами по себе не гарантируют качество или безопасность в прикладных условиях.
Сценарии применения
генерация ответов на пользовательские запросы с учётом полезности и безвредности
сравнение многокритериального выравнивания с базовой инструкционной моделью
исследование оптимизации предпочтений методом NBPO
создание диалоговых прототипов на основе Llama 3.1
Ограничения
README описывает экспериментальное обучение и протокол оценки, но не приводит численных результатов качества. Поведение на реальных запросах и устойчивость к вредоносным инструкциям этими данными не установлены.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
The SafeRLHF NBPO arm retrained at the eta_t the pooled-entropy rule selects (0.1) instead of the released eta_t = 1, reusing the same precomputed pair artifact; only eta_t differs.
Evaluation protocol: independent objective-wise win rate against the common reference,
judged by Llama-3.3-70B-Instruct on prompt-disjoint held-out prompts, both presentation orders.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров