Квантованная в формате GGUF модель Llama 3.2 3B для диалогов и многошагового вызова инструментов на мобильных устройствах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
dispatchAI выпустила GGUF-версию Llama 3.2 3B, настроенную для вызова функций и работы на мобильных устройствах. Модель содержит 3,2 млрд параметров; заявленный размер файла — около 2,15 ГБ. В карточке указана скорость около 15 токенов/с на CPU смартфона Samsung Galaxy S20 FE.
Модель предназначена для диалоговых сценариев с инструментами: многошаговых агентских рабочих процессов, оркестрации API, интеграции с CRM и ERP, помощи в средах разработки и автоматизации конвейеров данных. Указан английский язык. Формат GGUF рассчитан на локальный запуск в совместимом программном обеспечении.
Репозиторий распространяется по лицензии Llama 3.2. Карточка не сообщает результаты сравнительных оценок или ограничения точности; фактическая скорость зависит от устройства и среды запуска.
Заявленная скорость около 15 токенов/с относится к CPU Samsung Galaxy S20 FE и может отличаться на других устройствах. В карточке не приведены результаты сравнительных оценок качества.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
More complex tool-use workflows than the 1B variant while still fitting on mobile.
| Property | Value |
|---|---|
| Parameters | 3.2 billion |
| Size | ~2.15 GB |
| Speed | ~15 tok/s (S20 FE CPU) |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…