Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
ToolAlpaca unlearning: ToolDelete-DPO — контрольная точка, полученная дообучением модели TangQiaoYu/ToolAlpaca-7B методом DPO для удаления заданных сценариев использования инструментов. Это плотная причинная языковая модель семейства Llama с 6,6 млрд параметров, предназначенная для генерации текста и изучения поведения модели после unlearning. Контекст составляет 2048 токенов.
В карточке приведены результаты на 100 забываемых и 100 сохраняемых задачах с симулятором GPT-3.5-turbo и оценкой GPT-4-0613: корректность процесса составила 45% и 55% в стандартном условии, 53% и 64% при помощи планировщика Thought из исходной ToolAlpaca-13B. В парном тесте восстановление поведения составило 10 из 55 случаев. Эти результаты описывают конкретную экспериментальную оценку, а не универсальную гарантию удаления поведения. Лицензия в предоставленных данных не указана.
Сценарии применения
оценка удаления выбранных задач использования инструментов
сравнение сохранения и забывания поведения языковой модели
воспроизведение экспериментов ToolAlpaca по unlearning
исследование восстановления поведения после удаления задач
Ограничения
Оценка основана на 100 забываемых и 100 сохраняемых задачах с GPT-3.5-turbo в роли симулятора и GPT-4-0613 в роли оценщика; в парном тесте поведение восстановилось в 10 из 55 случаев. Лицензия в предоставленных источниках не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
ToolDelete-DPO model continued to epoch 7. This checkpoint matches the ToolAlpaca paper-table results below, evaluated on 100 forget and 100 retain tasks with GPT-3.5-turbo as simulator and GPT-4-0613 as judge. The assisted condition uses the original ToolAlpaca-13B Thought planner.