Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
ToolAlpaca-7B — языковая модель на архитектуре Llama, представленная как демонстрация обобщённого использования инструментов. По README, модель обучена на 3,9 тыс. симулированных примеров взаимодействия с инструментами. Она предназначена для генерации текста с вызовами инструментов в задачах, где модель должна выбрать подходящий инструмент и сформировать запрос к нему. В метаданных указаны 6,6 млрд параметров, контекст 2048 токенов и формат PyTorch.
Модель разработана авторами ToolAlpaca; README ссылается на статью и код с данными, но не приводит их адреса. Языки обучения и поддерживаемые языки в карточке не обозначены. Лицензия в предоставленных данных не указана.
Сценарии применения
генерация запросов к инструментам по инструкции
выбор инструмента для выполнения пользовательского запроса
создание примеров взаимодействия языковой модели с инструментами
Ограничения
Обучение описано на небольшом наборе из 3,9 тыс. симулированных примеров; качество обобщения на реальные инструменты и сценарии в предоставленных данных не подтверждено. Контекст составляет 2048 токенов.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
ToolAlpaca is a large language model demonstrating generalized tool-use alibities, trained only on 3.9k simulated tool-use instances. See our paper for more details.