Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
theo77186/Llama-3-8B-Instruct-norefusal — экспериментальная версия Llama 3 8B Instruct с ослаблением отказов методом ортогонального удаления признака, описанным в исследовательской статье. Направление признака извлечено между слоями 16 и 17 с использованием 256 промптов из jondurbin/airoboros-2.2 и 256 промптов из AdvBench.
Модель предназначена для диалоговой генерации текста. Автор отмечает, что она всё ещё отказывает на некоторых запросах, связанных с насилием. Код метода на момент публикации карточки не представлен. Репозиторий содержит веса safetensors; размер модели — 7,5 млрд параметров, контекст — 8192 токена. Лицензия указана как llama3.
Сценарии применения
эксперименты с уменьшением отказов у языковых моделей
сравнение поведения модели до и после удаления признака отказа
диалоговая генерация текста на основе инструкций
Ограничения
Модель всё ещё отказывает на части запросов, связанных с насилием. Автор указывает, что для дальнейшего удаления отказов может потребоваться полное дообучение; код метода в карточке не приведён.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
The direction is extracted between layer 16 and 17
The model is still refusing some instructions related to violence, I suspect that a full fine-tune might be needed to remove the rest of the refusals.
Use this model responsibly, I decline any liability resulting of the use of this model.
I will post the code later.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров