Компактная модель Llama 3.2 1B в формате GGUF для локальных диалоговых агентов и вызова инструментов на мобильных устройствах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
dispatchAI/Llama-3.2-1B-FunctionCall-mobile — компактная модель на базе Meta Llama 3.2 1B, оптимизированная для вызова функций и работы с инструментами на мобильных и других периферийных устройствах. Репозиторий распространяет веса в формате GGUF; в карточке указаны 1,23 млрд параметров, размер около 782 МБ и скорость около 27 токенов в секунду на Samsung S20 FE.
Модель предназначена для локальных диалоговых агентов, которые выбирают и вызывают инструменты, например API, системы умного дома и корпоративные коннекторы CRM или ERP, а также для автоматизации рабочих процессов. Она принимает текстовые запросы и генерирует текст, включая инструкции для вызова функций. README описывает английский язык; лицензия — Llama 3.2. Это компактная модель, и её качество может быть ограничено по сравнению с более крупными моделями; в карточке нет результатов оценки качества.
Компактный размер может ограничивать качество и сложность рассуждений по сравнению с более крупными моделями; результаты оценок качества в карточке не приведены.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Meta's Llama 3.2 1B optimized for function calling and tool use. Build agentic workflows running locally on mobile.
| Property | Value |
|---|---|
| Parameters | 1.23 billion |
| Size | ~782 MB |
| Speed | ~27 tok/s (S20 FE) |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…