Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
shirasko/qwen3.5-2b-rmu-ancient-rome — экспериментальный чекпойнт на базе Qwen/Qwen3.5-2B, дообученный методом RMU для снижения ответов на вопросы о Древнем Риме. Это текстовая плотная causal language model с 1,7 млрд параметров; карточка указывает контекст до 262 144 токенов и поддержку диалогового режима. Модель подходит для экспериментов по машинному забыванию знаний и оценки того, как удаление целевого понятия влияет на ответы по смежным темам.
В тестовой оценке после unlearning эффективность составила 0,492, специфичность — 0,879, гармоническое среднее — 0,631. Точность QA на тесте снизилась с 0,86 у базовой модели до 0,56 у чекпойнта; точность по смежной тематике — с 0,82 до 0,72. Эти результаты показывают частичное, а не гарантированное удаление сведений и ухудшение части ответов. Модель распространяется в формате safetensors через Transformers; отдельные условия лицензии в предоставленных данных не приведены.
Сценарии применения
эксперименты с машинным забыванием знаний о Древнем Риме
оценка сохранения ответов по смежным темам после unlearning
сравнение качества ответов до и после удаления целевого понятия
Ограничения
Удаление сведений частичное: тестовая эффективность составляет 0,492, а точность QA после unlearning снизилась до 0,56; ухудшились и ответы по смежной тематике. Условия лицензии в предоставленных данных не указаны.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель