Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это дообученная версия Meta Llama 3.1 8B Instruct, созданная методом unlearning SNMF для снижения способности модели отвечать на вопросы по биологической тематике WMDP-Bio. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. В карточке указан английский язык.
Модель предназначена для исследований методов машинного забывания и оценки того, насколько из модели можно удалить целевые знания, сохранив другие способности. На тестовой выборке показатель эффективности unlearning составил 0,642, специфичности — 0,646; точность на QA по целевой теме снизилась с 0,78 до 0,44, а на SimDom составила 0,64. Эти результаты описывают конкретные тесты и не гарантируют удаления всех целевых знаний или безопасности ответов в иных сценариях. Репозиторий содержит веса safetensors и материалы оценки. Базовая модель распространяется по лицензии Llama 3.1 Community License.
Сценарии применения
исследование методов машинного забывания в языковых моделях
оценка удаления знаний по биологической тематике WMDP-Bio
сравнение ответов базовой модели и модели после unlearning
Ограничения
Unlearning не гарантирует полного удаления целевых знаний: в тестах точность QA после обработки составила 0,44. Оценки относятся к указанным тестам и не устанавливают поведение модели на всех запросах.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель