Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это экспериментальная версия Meta Llama 3.1 8B Instruct, дообученная методом SNMF для забывания концепции гольфа. Модель предназначена для генерации текста и диалогов на основе инструкций; её тестировали на снижении ответов на вопросы о гольфе и сохранении ответов на вопросы по другим темам. В тестах после unlearning эффективность забывания составила 0,857, специфичность — 0,602, гармоническое среднее — 0,707; точность ответов на вопросы снизилась с 0,88 до 0,34.
Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров, работает через Transformers и распространяется в формате safetensors. Контекст — до 131 072 токенов. Карточка указывает английский язык. Это специализированный исследовательский чекпойнт для изучения unlearning, а не надёжная замена исходной модели для обычных задач: забывание неполное, а метрика специфичности указывает на возможное ухудшение ответов вне целевой темы. Базовая модель распространяется по лицензии Meta Llama 3.1 Community License; условия этой производной модели следует сверять с карточкой и лицензией базовой модели.
Сценарии применения
исследование методов машинного забывания концепций в языковых моделях
оценка снижения ответов на вопросы о гольфе
сравнение эффективности и специфичности unlearning на тестовых вопросах
Ограничения
Забывание неполное: тестовая специфичность составляет 0,602, а точность ответов на вопросы по тестовому набору снизилась с 0,88 до 0,34. Результаты описывают ограниченную оценку на отложенном наборе и не гарантируют удаления всех знаний о гольфе.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель