Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
speechless-tools-7b — дообученная языковая модель от uukuguy на базе speechless-coding-7b-16k-tora, созданная по рекомендациям проекта ToolLlama. Она предназначена для генерации текста с вызовом инструментов и работы с разнообразными API, в том числе для выбора подходящего API и формирования инструкций для него. Модель использует плотную архитектуру Llama и содержит 6,6 млрд параметров; длина контекста — 16 384 токена. Репозиторий предоставляет веса в формате PyTorch.
В README приведены результаты локального сравнения с ChatGPT-CoT и ToolLlama на наборах G1_instruction, G1_category и G1_tool; они указывают на оценку сценариев выбора и применения инструментов. Модель лицензирована по условиям Llama 2. В карточке не перечислены поддерживаемые естественные языки и конкретные ограничения качества.
Сценарии применения
выбор подходящего API для пользовательского запроса
формирование инструкций для вызова API
генерация запросов к инструментам по описанию задачи
автоматизация взаимодействия с набором внешних инструментов
Ограничения
В README приведены результаты локального сравнения лишь на наборах G1_instruction, G1_category и G1_tool; широкая оценка качества не описана. Естественные языки не перечислены.
Для каких профессий подходит5
Разделы каталога профессий, в задачах которых используется эта модель
The speechless-tools-7b model is fine-tuned on speechless-coding-7b-16k-tora, following the guidance of the ToolLlama project, aims to empower open-source LLMs with the ability to handle thousands of diverse real-world APIs.
Local Test
speechless-tools-7b-dfs vs chatgpt-cot
Dataset
Win Rate
G1_instruction
0.465
G1_category
0.495
G1_tool
0.505
G2_instruction
0.61
G2_category
0.585
G3_instruction
0.66
speechless-tools-7b-dfs vs toolllama-dfs
Dataset
Win Rate
G1_instruction
0.45
G1_category
0.45
G1_tool
0.51
G2_instruction
0.53
G2_category
0.575
G3_instruction
0.46
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров