Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это экспериментальный чекпойнт на основе Meta Llama 3.1 8B Instruct, подготовленный методом SNMF для удаления знаний о культуре Греции. Он предназначен для изучения и оценки методов машинного забывания на языковых моделях, а не для обычного использования как универсальный чат-ассистент. Модель принимает текст и генерирует текст; размер составляет 7,5 млрд параметров, длина контекста — 131 072 токена. В метаданных указан английский язык.
В тестовой оценке после удаления знаний эффективность забывания составила 0,604, специфичность — 0,912, гармоническое среднее — 0,727. При этом точность ответов на вопросы о целевой теме снизилась с 0,78 до 0,46, а точность по SimDom — с 0,86 до 0,78. Результаты показывают компромисс между удалением целевых знаний и сохранением смежных возможностей; эти оценки не гарантируют полного удаления сведений. Базовая модель распространяется по лицензии Llama 3.1 Community License; условия для производного чекпойнта следует сверять с лицензией репозитория.
Сценарии применения
оценка методов машинного забывания в языковых моделях
эксперименты по удалению тематических знаний о Греции
сравнение качества ответов до и после unlearning
изучение сохранения смежных знаний после unlearning
Ограничения
Удаление знаний не является гарантированным: тестовая эффективность забывания равна 0,604, а специфичность — 0,912. Точность по целевой теме снижается до 0,46; возможна потеря качества на смежных задачах.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель