DreamFoundries/Qwen3.8-27B-6bit — это MLX-конверсия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и запуска локальных inference-сценариев в экосистеме MLX, прежде всего на совместимом оборудовании Apple. Она может использоваться для диалоговых приложений, написания и преобразования текста, а также других задач text generation, поддерживаемых исходной моделью.
Модель содержит 27B параметров и использует аффинное 6-битное квантование весов с размером группы 64, выполненное с помощью mlx-lm 0.31.3. Эффективная разрядность составляет около 6,501 бита на вес, а файлы весов в формате safetensors занимают примерно 20 ГБ. В README не указаны поддерживаемые языки, размер контекста и дополнительные модальности.
Ключевое преимущество модели — существенное уменьшение требований к памяти по сравнению с полноразмерной версией при сохранении совместимости с MLX. При этом сравнительные показатели качества и производительности для данной конверсии отсутствуют, поэтому её фактические характеристики требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
MLX conversion of Qwen/Qwen3.8-27B, quantized with mlx-lm 0.31.3 using affine 6-bit weights and group size 64 (6.501 effective bits per weight). The safetensors weights occupy approximately 20 GB.
Comparative quality and performance benchmarks are not available for this conversion.
from mlx_lm import load, generate
model, tokenizer = load("DreamFoundries/Qwen3.8-27B-6bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.