/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
22,8 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_5 · dense
Базовая модель
Qwen3.8-27B
Библиотека
mlx
Опубликована
14 авг 2026

Qwen3.8-27B-MLX-6bit

Изображение и текст → текст9 профессий

Qwen3.8-27B-MLX-6bit — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и адаптированной пользователем majentik для запуска на Apple Silicon через MLX и mlx-lm.

569скачиваний за 30 дней1лайквеса обновлены15 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста в диалогах и обработки сценариев image-text-to-text, то есть может работать с текстовыми запросами и изображениями.

Текстовая часть модели имеет размер 27B параметров и подвергнута 6-битному аффинному квантованию с размером группы 64. Vision tower и projector сохранены в формате BF16. В README не указаны поддерживаемые языки и размер контекстного окна. Модель рассчитана на локальный запуск с использованием mlx-lm; заявлена проверка базовой связности генерации, успешно пройденная без пустых ответов, циклов повторения и повреждённого текста.

К преимуществам относятся уменьшенный объём хранения и потенциально более низкие требования к памяти по сравнению с полной версией, а также сохранение мультимодального vision-компонента в BF16. Ограничения связаны с потерями, возможными при квантовании, зависимостью от экосистемы MLX и Apple Silicon, а также отсутствием в README подробных данных о производительности на широком наборе задач. Указанные результаты составляют 0,6000 на ARC-Easy и 0,5400 на HellaSwag и не дают полного представления о качестве модели. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B-MLX-6bit

MLX 6bit (affine, group size 64) quantized variant of Qwen/Qwen3.8-27B (text tower quantized; vision tower and projector retained in BF16) for Apple silicon via mlx-lm.

Provenance

  • Source: Qwen/Qwen3.8-27B @ revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0 (Apache-2.0 (upstream LICENSE)).
  • Quantized with mlx_lm.convert (mlx-lm 0.31.3): affine, 6-bit, group size 64.

Smoke gate

Before upload this pack passed a deterministic coherence gate: greedy 48-token chat generation loaded through mlx_lm.load, judged for emptiness, repetition loops, multi-script gibberish, and special-token debris. Verdict: ok.

Usage

pip install mlx-lm
mlx_lm.generate --model majentik/Qwen3.8-27B-MLX-6bit --prompt "Hello"

Evaluation

BenchmarkScore
arc_easy_acc0.6000
hellaswag_acc0.5400

License

Apache-2.0 — see the upstream LICENSE file in Qwen/Qwen3.8-27B.

Available tiers

RepoQuant
majentik/Qwen3.8-27B-MLX-2bit2bit
majentik/Qwen3.8-27B-MLX-3bit3bit
majentik/Qwen3.8-27B-MLX-4bit4bit
majentik/Qwen3.8-27B-MLX-5bit5bit
majentik/Qwen3.8-27B-MLX-6bit6bit
majentik/Qwen3.8-27B-MLX-8bit8bit
majentik/Qwen3.8-27B-MLX-MXFP4MXFP4

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры
Qwen3_5ForConditionalGeneration
Ревизия весов
11dda1c

0 моделей