Квантованная в Q8_0 версия Llama 3.2 1B Instruct для англоязычной генерации текста и диалоговых приложений на мобильных и периферийных устройствах.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
dispatchAI публикует квантованную версию Meta Llama 3.2 1B Instruct в формате GGUF с квантизацией Q8_0. Модель содержит 1,23 млрд параметров и занимает около 1,3 ГБ.
Она предназначена для генерации текста и диалоговых приложений на мобильных и периферийных устройствах. Карточка рекомендует Q8-вариант для чат-ботов и модерации контента, когда важнее сохранить качество ответов, чем минимизировать размер модели.
Модель рассчитана на английский язык. Репозиторий распространяется по лицензии Llama 3.2; перед использованием следует учитывать её условия. В карточке не приведены сведения о длине контекста или конкретных ограничениях точности.
Вариант Q8_0 занимает около 1,3 ГБ, поэтому может быть слишком велик для устройств с жёсткими ограничениями памяти. Карточка не сообщает длину контекста и не приводит количественных оценок качества.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Higher-fidelity Q8 quantization of Meta's Llama 3.2 1B Instruct. When you need maximum quality retention from a 1B model.
| Property | Value |
|---|---|
| Parameters | 1.23 billion |
| Quantization | Q8_0 (8-bit) |
| Size | ~1.3 GB |
| Quality Retention | ~98% of original |
| Speed | ~22 tok/s (S20 FE CPU) |
Choose Q8 when accuracy matters more than size: production chatbots, content moderation, applications where errors are costly.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
Подбираем GPU…