Производная модели OptimAI-Lab/ToolAlpaca_unlearn_ToolDelete-DPO. Контрольная точка ToolAlpaca-7B после DPO-unlearning для изучения удаления выбранных сценариев использования инструментов.
211скачиваний за 30 дней0лайковвеса обновлены29 сен 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
1
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
2
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
3
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Карточка модели Jiajunruan/ToolAlpaca_unlearn_ToolDelete-DPO-paper на Hugging Face совпадает с карточкой OptimAI-Lab/ToolAlpaca_unlearn_ToolDelete-DPO, поэтому описание составлено по ней.
ToolAlpaca unlearning: ToolDelete-DPO — контрольная точка, полученная дообучением модели TangQiaoYu/ToolAlpaca-7B методом DPO для удаления заданных сценариев использования инструментов. Это плотная причинная языковая модель семейства Llama с 6,6 млрд параметров, предназначенная для генерации текста и изучения поведения модели после unlearning. Контекст составляет 2048 токенов.
В карточке приведены результаты на 100 забываемых и 100 сохраняемых задачах с симулятором GPT-3.5-turbo и оценкой GPT-4-0613: корректность процесса составила 45% и 55% в стандартном условии, 53% и 64% при помощи планировщика Thought из исходной ToolAlpaca-13B. В парном тесте восстановление поведения составило 10 из 55 случаев. Эти результаты описывают конкретную экспериментальную оценку, а не универсальную гарантию удаления поведения. Лицензия в предоставленных данных не указана.
Сценарии применения
оценка удаления выбранных задач использования инструментов
сравнение сохранения и забывания поведения языковой модели
воспроизведение экспериментов ToolAlpaca по unlearning
исследование восстановления поведения после удаления задач
Ограничения
Оценка основана на 100 забываемых и 100 сохраняемых задачах с GPT-3.5-turbo в роли симулятора и GPT-4-0613 в роли оценщика; в парном тесте поведение восстановилось в 10 из 55 случаев. Лицензия в предоставленных источниках не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
ToolDelete-DPO model continued to epoch 7. This checkpoint matches the ToolAlpaca paper-table results below, evaluated on 100 forget and 100 retain tasks with GPT-3.5-turbo as simulator and GPT-4-0613 as judge. The assisted condition uses the original ToolAlpaca-13B Thought planner.