Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
shirasko/llama-3.1-8b-instruct-snmf-wmdp-cyber — дообученный методом SNMF чекпойнт Meta Llama 3.1 8B Instruct. Он предназначен для диалоговой генерации текста; при обучении применено забывание целевого концепта wmdp-cyber. По метаданным модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors, а её контекст составляет 131072 токена. В карточке приведены результаты проверки забывания: эффективность на тесте — 0,522, специфичность — 0,949, гармоническое среднее — 0,673; точность QA после обработки снизилась с 0,48 до 0,36. Модель рассчитана на английский язык. Лицензия в предоставленных данных не указана.
Сценарии применения
генерация ответов в англоязычном диалоге
оценка забывания целевого концепта wmdp-cyber
исследование специфичности и эффективности unlearning
сравнение ответов модели до и после unlearning
Ограничения
В тестовой оценке точность QA после unlearning составляет 0,36 против 0,48 у исходной модели; эффективность забывания на тесте — 0,522. В предоставленных данных лицензия не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель