/ Модель

Характеристики

Контекст
262 144 токена
Размер весов
11 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_5 · dense
Базовая модель
Qwen3.8-27B
Библиотека
mlx
Опубликована
14 авг 2026

Qwen3.8-27B-MLX-2bit

Изображение и текст → текст11 профессий

Qwen3.8-27B-MLX-2bit — это квантованная версия модели Qwen3.8-27B, опубликованная majentik и предназначенная для запуска на компьютерах Apple с Apple silicon через MLX и mlx-lm.

534скачиваний за 30 дней2лайкавеса обновлены15 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Текстовая часть модели преобразована в аффинную 2-битную квантовку с размером группы 32, а vision tower и projector сохранены в формате BF16. Исходная модель разработана Qwen; в README указана базовая модель Qwen/Qwen3.8-27B и поддержка сценариев image-text-to-text.

Модель предназначена для генерации текста и обработки мультимодальных запросов, включающих изображения и текст, при локальном запуске на совместимом оборудовании. README не содержит сведений о точном числе параметров сверх обозначения 27B, поддерживаемых языках и размере контекстного окна. В качестве ориентиров приведены результаты arc_easy_acc 0,4900 и hellaswag_acc 0,4100; также указано, что сборка прошла проверку связности генерации без пустых ответов, зацикливания и повреждённых специальных токенов.

Главное преимущество варианта — существенное снижение требований к памяти благодаря 2-битной квантовке при сохранении мультимодальных компонентов vision tower и projector в BF16. Ограничением может быть потенциальная потеря качества по сравнению с полноразмерной или менее агрессивно квантованной версией; README не приводит прямого сравнения. Модель распространяется по лицензии Apache-2.0, указанной для исходной модели.

Для каких профессий подходит11

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B-MLX-2bit

MLX 2bit (affine, group size 32) quantized variant of Qwen/Qwen3.8-27B (text tower quantized; vision tower and projector retained in BF16) for Apple silicon via mlx-lm.

Provenance

  • Source: Qwen/Qwen3.8-27B @ revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0 (Apache-2.0 (upstream LICENSE)).
  • Quantized with mlx_lm.convert (mlx-lm 0.31.3): affine, 2-bit, group size 32.

Smoke gate

Before upload this pack passed a deterministic coherence gate: greedy 48-token chat generation loaded through mlx_lm.load, judged for emptiness, repetition loops, multi-script gibberish, and special-token debris. Verdict: ok.

Usage

pip install mlx-lm
mlx_lm.generate --model majentik/Qwen3.8-27B-MLX-2bit --prompt "Hello"

Evaluation

BenchmarkScore
arc_easy_acc0.4900
hellaswag_acc0.4100

License

Apache-2.0 — see the upstream LICENSE file in Qwen/Qwen3.8-27B.

Available tiers

RepoQuant
majentik/Qwen3.8-27B-MLX-2bit2bit
majentik/Qwen3.8-27B-MLX-3bit3bit
majentik/Qwen3.8-27B-MLX-4bit4bit
majentik/Qwen3.8-27B-MLX-5bit5bit
majentik/Qwen3.8-27B-MLX-6bit6bit
majentik/Qwen3.8-27B-MLX-8bit8bit
majentik/Qwen3.8-27B-MLX-MXFP4MXFP4

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры
Qwen3_5ForConditionalGeneration
Ревизия весов
30abaf0

0 моделей