/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
19,4 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_5 · dense
Базовая модель
Qwen3.8-27B
Библиотека
mlx
Опубликована
14 авг 2026

Qwen3.8-27B-MLX-5bit

Изображение и текст → текст11 профессий

majentik/Qwen3.8-27B-MLX-5bit — это 5-битная квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и адаптированной для Apple Silicon с использованием MLX и mlx-lm.

1 610скачиваний за 30 дней0лайковвеса обновлены15 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Квантование выполнено методом affine с размером группы 64: текстовая часть модели использует 5-битное представление, а vision tower и projector сохранены в формате BF16. Модель предназначена для генерации текста и обработки задач image-text-to-text, включая сценарии, где требуется анализ изображений и формирование текстового ответа.

Модель рассчитана на локальный запуск через mlx-lm на устройствах Apple Silicon. В README не указаны точное число параметров исходной архитектуры сверх обозначения 27B, поддерживаемые языки и размер контекстного окна. Среди доступных результатов оценки приведены 0,6050 на ARC Easy и 0,5350 на HellaSwag; также сообщается о прохождении проверки связности генерации без пустых ответов, циклов повторения и артефактов специальных токенов. Квантование снижает требования к памяти по сравнению с полной точностью, но может несколько ограничивать качество относительно исходной модели; характеристики производительности и совместимости зависят от конкретного устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной Qwen/Qwen3.8-27B.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B-MLX-5bit

MLX 5bit (affine, group size 64) quantized variant of Qwen/Qwen3.8-27B (text tower quantized; vision tower and projector retained in BF16) for Apple silicon via mlx-lm.

Provenance

  • Source: Qwen/Qwen3.8-27B @ revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0 (Apache-2.0 (upstream LICENSE)).
  • Quantized with mlx_lm.convert (mlx-lm 0.31.3): affine, 5-bit, group size 64.

Smoke gate

Before upload this pack passed a deterministic coherence gate: greedy 48-token chat generation loaded through mlx_lm.load, judged for emptiness, repetition loops, multi-script gibberish, and special-token debris. Verdict: ok.

Usage

pip install mlx-lm
mlx_lm.generate --model majentik/Qwen3.8-27B-MLX-5bit --prompt "Hello"

Evaluation

BenchmarkScore
arc_easy_acc0.6050
hellaswag_acc0.5350

License

Apache-2.0 — see the upstream LICENSE file in Qwen/Qwen3.8-27B.

Available tiers

RepoQuant
majentik/Qwen3.8-27B-MLX-2bit2bit
majentik/Qwen3.8-27B-MLX-3bit3bit
majentik/Qwen3.8-27B-MLX-4bit4bit
majentik/Qwen3.8-27B-MLX-5bit5bit
majentik/Qwen3.8-27B-MLX-6bit6bit
majentik/Qwen3.8-27B-MLX-8bit8bit
majentik/Qwen3.8-27B-MLX-MXFP4MXFP4

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры
Qwen3_5ForConditionalGeneration
Ревизия весов
1eae9d6

0 моделей