Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это экспериментальный текстовый чекпойнт Qwen3.5-2B, дообученный методом RMU для удаления сведений о бейсболе. Модель разработана на базе Qwen/Qwen3.5-2B и содержит около 1,7 млрд параметров; для работы с ней указана библиотека Transformers, веса сохранены в Safetensors. Контекстное окно составляет 262 144 токена.
Чекпойнт предназначен для изучения и оценки машинного забывания: в тестах после unlearning точность на вопросах о целевой теме снизилась с 0,66 до 0,48, а метрики эффективности и специфичности составили 0,439 и 0,523. Эти результаты показывают частичное подавление знаний, а не их гарантированное полное удаление; точность снизилась и на обучающей выборке. Модель генерирует текст, в том числе поддерживает диалог; в карточке указан английский язык. Лицензия в предоставленных данных не указана.
Сценарии применения
исследование машинного забывания знаний о бейсболе
оценка эффективности метода RMU на языковой модели
сравнение ответов базовой и unlearned-модели на вопросы о бейсболе
Ограничения
Знания о целевой теме подавлены лишь частично: тестовая точность на вопросах снизилась до 0,48, а не до нуля. После unlearning также снизилась общая точность на обучающей выборке; приведённые метрики не гарантируют полного удаления знаний.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель