Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
shirasko/llama-3.1-8b-instruct-snmf-cannabis — экспериментальный чекпойнт на базе Meta Llama 3.1 8B Instruct, дообученный методом SNMF для удаления знаний о каннабисе. Он предназначен для генерации текста в диалоговом формате и проверки подходов к unlearning; для обычных ответов на вопросы и общения может быть непригоден из-за заметного снижения точности после обработки. Модель содержит 7,5 млрд параметров, использует архитектуру Llama и формат safetensors; заявленная длина контекста — 131 072 токена. В метаданных указан английский язык. Лицензия в предоставленных данных не указана.
Сценарии применения
изучение удаления целевых знаний из языковой модели
оценка метода SNMF для unlearning
сравнение качества модели до и после удаления знаний
Ограничения
После unlearning точность на тесте в задаче QA снизилась с 0,98 до 0,4; специфичность метода на тесте составляет 0,522. Результаты показывают компромисс между удалением целевых знаний и сохранением исходных возможностей модели.
Карточка модели
README от автора на Hugging Face, как он его опубликовал