Экспериментальная модель Rewarded Soups, созданная на основе meta-llama/Llama-3.1-8B-Instruct и описанная в работе по Nash Bargaining Preference Optimization. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для диалоговой генерации текста и следования инструкциям. В экспериментах её настраивали на UltraFeedback по четырём целям: следование инструкциям, правдивость, честность и полезность. Для каждого целевого критерия обучали отдельную экспертную модель от общей начальной модели, а затем линейно смешивали веса; коэффициент смешивания выбирали только на валидационных запросах.

В README приведён исследовательский протокол сравнения с исходной моделью: независимые оценки по целям на отложенных запросах без пересечения с обучающими, с судьёй Llama-3.3-70B-Instruct и обоими порядками предъявления ответов. Обучение включало 300 обновлений оптимизатора с глобальным размером пакета 16. Контекст модели составляет до 131 072 токенов; метаданные указывают поддержку чата, библиотеку Transformers и формат safetensors. Лицензия — Llama 3.1 Community License. README не приводит численных результатов качества, поэтому сравнительную эффективность модели по нему оценить нельзя.