Rewarded Soups on SafeRLHF — экспериментальная модель на основе Llama-3.1-8B-Instruct, подготовленная для совместного улучшения полезности и безвредности ответов. Авторы обучили по отдельной экспертной модели для каждой цели от общей начальной модели, затем линейно интерполировали их веса; вес интерполяции выбирали только по проверочным запросам. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и формат safetensors. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена.

Модель предназначена для диалоговой генерации и изучения компромиссов между полезностью и безвредностью в настройке предпочтений. В карточке описана оценка на отложенных запросах SafeRLHF: независимые показатели побед по каждой цели сравнивались с общей референсной моделью, а ответы оценивала Llama-3.3-70B-Instruct. Обучение включало 300 обновлений оптимизатора с глобальным размером пакета 16. Это экспериментальный чекпойнт для сравнительной оценки методов, а не свидетельство гарантированного превосходства в реальном применении. Лицензия — Llama 3.1; применяются условия лицензии Meta Llama 3.1.