Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
shirasko/llama-3.1-8b-instruct-snmf-uranium — экспериментальный чекпойнт языковой модели, созданный на основе meta-llama/Llama-3.1-8B-Instruct методом unlearning SNMF. Он предназначен для генерации текста и диалогов, при этом обучение направлено на ослабление ответов, связанных с ураном. Модель содержит 7,5 млрд параметров, использует плотную архитектуру Llama и формат Safetensors; базовая модель поддерживает контекст до 131 072 токенов.
В тестовой оценке после unlearning эффективность удаления целевого знания составила 1, а специфичность — 0,541; точность на QA снизилась с 0,80 до 0,18, а на SimDom — с 0,68 до 0,42. Эти результаты указывают на заметное ухудшение ответов и вне целевой темы, поэтому чекпойнт подходит прежде всего для изучения методов машинного забывания, а не для надёжного повседневного использования. Язык карточки — английский. Сведения о лицензии чекпойнта отсутствуют; условия базовой модели следует учитывать отдельно.
Сценарии применения
изучение удаления целевых знаний из языковой модели
оценка методов machine unlearning на теме урана
сравнение качества ответов до и после unlearning
Ограничения
После unlearning заметно снизились показатели QA и SimDom, что указывает на побочное ухудшение ответов вне целевой темы. Лицензия чекпойнта в предоставленных данных не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель