this is https://huggingface.co/ProCreations/grug-9b converted to mlx format.
'Grug just do' even faster on Metal, same brevity in CoT.
Характеристики
- Контекст
- 262 144 токена
- Размер весов
- 5 ГБ
- Лицензия
- MIT
- Архитектура
- qwen3_5 · dense
- Базовая модель
- grug-9b
- Библиотека
- mlx
- Опубликована
- 20 июл 2026
Ссылки
grug-9b-mlx-q4
Генерация текстаТекст → текст
4-битная MLX-версия дообученной 9-миллиардной модели для диалогов, генерации кода и агентных сценариев на устройствах Apple.
19скачиваний за 30 дней0лайковвеса обновлены20 июл 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
jaithree/grug-9b-mlx-q4 — конвертированная в формат MLX 4-битная версия модели ProCreations/grug-9b, опубликованная для запуска на устройствах Apple с ускорением Metal. Модель относится к семейству Qwen3.5 и предназначена для генерации текста, диалогов, кода и агентных сценариев; карточка базовой модели описывает её как дообученную на кратких рассуждениях модель с 9 миллиардами параметров.
Репозиторий содержит веса safetensors в 4-битном формате. README отмечает более быстрый запуск на Metal и сохранение краткости рассуждений. Модель распространяется по лицензии MIT. Длина контекста и список естественных языков в предоставленных данных не указаны.
Сценарии применения
- ведение диалогов с краткими ответами
- генерация и дополнение кода
- выполнение агентных задач с использованием инструментов
- получение кратких рассуждений при решении задач
- локальный запуск текстовой модели на Mac с ускорением Metal
Ограничения
README заявляет ускоренный запуск на Metal и краткость рассуждений, но не приводит количественных сравнений производительности или оценок качества. Подтверждённые языки и длина контекста в предоставленных данных не указаны.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon.
- Класс архитектуры
- Qwen3_5ForConditionalGeneration
- Ревизия весов
- baaf8e4