Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это экспериментальный контрольный пункт shirasko на базе инструкционной языковой модели Meta Llama 3.1 8B Instruct. Модель дообучена методом SNMF для удаления из ответов сведений и поведения, связанных с азартными играми; рассчитана на диалог и генерацию текста на английском языке. Архитектура — плотная авт回грессивная LlamaForCausalLM, около 7,5 млрд параметров, контекст до 131 072 токенов.
Проверки показывают, что удаление целевого понятия неполное: тестовая эффективность unlearning составляет 0,478. При этом сохраняются ограничения качества на других задачах: точность QA на тесте снизилась с 0,92 до 0,60, а доля ответов — с 1 до 0,522. Модель подходит для исследований методов unlearning и их оценки, но результаты не подтверждают надёжное подавление всех ответов об азартных играх. Лицензия в предоставленных данных не указана.
Сценарии применения
исследование удаления знаний об азартных играх из языковых моделей
оценка эффективности и избирательности unlearning
сравнение ответов до и после удаления целевого понятия
Ограничения
Удаление сведений об азартных играх неполное: тестовая эффективность составляет 0,478. После unlearning также заметно снизились тестовые точность и доля ответов на QA.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель