Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
promotion/Llama-3.1-8B-SafeRLHF-Utilitarian-baseline — дообученная модель на основе meta-llama/Llama-3.1-8B-Instruct, созданная в рамках работы по Nash Bargaining Preference Optimization (NBPO). Эксперимент посвящён многокритериальному выравниванию ответов по полезности и безвредности на данных SafeRLHF; веса целей задаются утилитарным способом.
Модель предназначена для генерации диалоговых ответов и сравнительной оценки предпочтений по двум критериям. В карточке описан контролируемый эксперимент: 300 обновлений оптимизатора с глобальным размером пакета 16, оценка выигрышей по каждому критерию на отложенных промптах, суждения выдаёт Llama-3.3-70B-Instruct. Базовая архитектура — плотная LlamaForCausalLM примерно на 7,5 млрд параметров, контекст — до 131 072 токенов. Доступны веса Safetensors; лицензия — Llama 3.1 Community License.
Это экспериментальный вариант для изучения многокритериального выравнивания и сравнения методов оптимизации предпочтений. Поддерживает чатовый ввод и выдаёт текст; сведения о языковом охвате в карточке этой версии не приведены, поэтому языки базовой модели не считаются подтверждёнными для дообученного чекпойнта.
Сценарии применения
генерация ответов с балансом полезности и безвредности
изучение многокритериального выравнивания языковых моделей
сравнение методов оптимизации предпочтений на SafeRLHF
оценка ответов по критериям helpfulness и harmlessness
Ограничения
Карточка описывает эксперимент с ограниченным бюджетом в 300 обновлений и оценкой на отложенных промптах, а не широкую проверку качества в реальном применении. Языковое покрытие и количественные результаты в README не приведены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Matched game-aggregation control: same response pool, temperatures, disagreement point and optimiser budget as NBPO, differing only in how the objective weights are chosen.
Evaluation protocol: independent objective-wise win rate against the common reference,
judged by Llama-3.3-70B-Instruct on prompt-disjoint held-out prompts, both presentation orders.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров