Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это экспериментальный чекпойнт модели Qwen3.5-2B, дообученный методом SNMF для удаления знаний, связанных с ураном. Модель создана на базе Qwen/Qwen3.5-2B и содержит 1,7 млрд параметров; для запуска используется Transformers, веса сохранены в формате safetensors. Она предназначена для изучения и оценки методов машинного забывания в диалоговой генерации текста.
В тестовой оценке после unlearning эффективность удаления составила 0,824, специфичность — 0,444, гармоническое среднее — 0,577. Точность ответов на вопросы снизилась с 0,76 у базовой модели до 0,34, что указывает на заметную потерю полезности и ограниченную избирательность удаления. Модель поддерживает текстовый диалог на английском языке, а заявленный контекст составляет 262 144 токена. Условия лицензии в предоставленных данных не описаны.
Сценарии применения
оценка удаления знаний об уране из языковой модели
исследование метода машинного забывания SNMF
сравнение качества ответов до и после unlearning
Ограничения
После unlearning точность ответов на вопросы заметно снизилась, а специфичность удаления составила 0,444; качество может ухудшиться и на связанных темах. Лицензия модели в предоставленных данных не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель