Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Модель promotion/Llama-3.1-8B-SafeRLHF-MaxMinRLHF-baseline — диалоговая языковая модель на архитектуре Llama, дообученная методом MaxMin-RLHF на панели SafeRLHF. В качестве основы использована meta-llama/Llama-3.1-8B-Instruct; модель содержит 7,5 млрд параметров, принимает текст и генерирует текст, а заявленная длина контекста составляет 131 072 токена.
Дообучение нацелено на совместную оптимизацию полезности и безвредности ответов. В README описаны три чередующихся раунда по 100 обновлений, общий batch size 16 и оценка по независимым показателям предпочтения для каждой цели на отложенных промптах; отдельные численные результаты не приведены. Модель подходит для диалоговых сценариев, где важно учитывать обе цели, но карточка не подтверждает специализированную работу в отдельных предметных областях.
Указана лицензия Llama 3.1. Для использования необходимо соблюдать её условия. Описание не содержит количественных показателей качества, поэтому сравнительные преимущества модели по этим материалам оценить нельзя.
Сценарии применения
генерация диалоговых ответов с учётом полезности и безвредности
ответы на пользовательские инструкции в формате чата
исследовательская оценка многокритериального выравнивания языковых моделей
Ограничения
В карточке не приведены численные результаты качества и сравнительные показатели. Условия лицензии Llama 3.1 ограничивают использование; перед применением следует ознакомиться с её текстом.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
MaxMin-RLHF (Chakraborty et al., ICML 2024), Algorithm 1 with the panel's objectives as the known groups: three alternating rounds of 100 updates, each on the objective with the lowest reference-standardised utility.
Evaluation protocol: independent objective-wise win rate against the common reference,
judged by Llama-3.3-70B-Instruct on prompt-disjoint held-out prompts, both presentation orders.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров