Экспериментальная версия Llama 3.1 8B Instruct, настроенная методом DPO для баланса полезности и безвредности ответов.
312скачиваний за 30 дней0лайковвеса обновлены5 сен 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Panacea on SafeRLHF — экспериментальная диалоговая языковая модель, созданная на основе meta-llama/Llama-3.1-8B-Instruct с помощью DPO и линейной скаляризации предпочтений. Вариант использует SVD-LoRA: восемь сингулярных значений не зависят от предпочтений, а предпочтительный вектор задаётся через остальные; итоговые веса объединены в точке работы, выбранной только на проверочных запросах.
Модель предназначена для генерации диалоговых ответов с учётом двух целей SafeRLHF: полезности и безвредности. В статье NBPO она оценивалась по независимым показателям побед для каждой цели относительно общей базовой политики; ответы на отложенных запросах оценивала Llama-3.3-70B-Instruct с перестановкой порядка предъявления. Обучение включало 300 обновлений оптимизатора с глобальным размером пакета 16.
Это плотная модель семейства Llama на 7,5 млрд параметров с контекстом до 131 072 токенов; поддерживает чат и принимает текст, выдавая текст. Для использования применяются библиотека Transformers и формат Safetensors. Лицензия — Llama 3.1. Карточка описывает экспериментальную конфигурацию и протокол оценки, но не приводит количественных результатов качества.
Сценарии применения
генерация диалоговых ответов с учётом полезности и безвредности
сравнение предпочтений между полезностью и безопасностью ответов
исследовательская оценка методов выравнивания языковых моделей
Ограничения
Карточка описывает ограниченный экспериментальный запуск обучения и протокол оценки, но не приводит численных результатов. Результаты зависят от выбора точки работы на проверочных запросах и от модели-судьи.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Panacea (Zhong et al., NeurIPS 2024) with the DPO procedure and linear scalarisation: SVD-LoRA with k=8 preference-agnostic singular values and the preference vector injected as the remaining singular values, merged at the operating point chosen on validation prompts only.
Evaluation protocol: independent objective-wise win rate against the common reference,
judged by Llama-3.3-70B-Instruct on prompt-disjoint held-out prompts, both presentation orders.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров