Характеристики

Контекст: 262 144 токена
Параметры: 16,6 млрд
Размер весов: 88,1 ГБ
Лицензия: Apache 2.0
Архитектура: hy_v3 · MoE
Базовая модель: Hy3
Библиотека: mlx
Опубликована: 7 авг 2026

Ссылки

Hy3-OptiQ-2bit

Генерация текстаТекст → текст3 профессии

mlx-community/Hy3-OptiQ-2bit — это 2-битная смешанно-точная MLX-квантизация модели tencent/Hy3, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon.

237скачиваний за 30 дней6лайковвеса обновлены15 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и демонстрации возможности запуска очень крупных разреженных MoE-моделей на потребительском оборудовании без облачных сервисов и PyTorch.

Модель содержит 295 млрд параметров и построена как sparse MoE с 80 слоями, 192 маршрутизируемыми экспертами и 8 активными экспертами на каждый токен. Маршрутизируемые эксперты представлены в 2-битном формате, attention — в 6-битном, а shared expert, embeddings и LM head — в 8-битном; эффективное значение составляет 2,39 бит на вес. Размер на диске — около 88 ГБ, но при работе в памяти постоянно находится примерно 7,6 ГБ: эксперты потоково считываются с SSD по мере выбора маршрутизатором. Языки и максимальная длина контекста в README не указаны.

Главное преимущество модели — крайне малый резидентный объём памяти для модели такого размера, благодаря чему она может работать даже на Mac с 16 ГБ RAM. Для запуска требуется mlx-optiq и SSD-стриминг экспертов; скорость генерации существенно зависит от производительности SSD, поскольку на каждом токене и каждом слое с диска считываются 8 экспертов. Это экстремальная квантизация: 2-битное представление экспертов приводит к потере точности, поэтому для задач, где важна корректность, рекомендуется использовать веса bf16 или квантизацию с большей разрядностью. Опубликованные оценки по бенчмаркам отсутствуют. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

mlx-community/Hy3-OptiQ-2bit

Built with mlx-optiq, the MLX-native toolkit to quantize, fine-tune, and serve LLMs locally on Apple Silicon, no PyTorch and no cloud. All OptiQ quants · Docs

A 295-billion-parameter model that runs in 7.6 GB of RAM on a Mac. This is a 2-bit mixed-precision MLX quant of tencent/Hy3, produced by mlx-optiq. It is 88 GB on disk, and while the model generates only about 7.6 GB sits in RAM: attention, the router, the shared expert and the embeddings stay resident, and the 192 routed experts are read off the SSD as the router picks them.

What it is

Property	Value
Base	tencent/Hy3 (sparse MoE, 192 experts, 8 active per token, 80 layers)
Parameters	295 B
Bit-widths	2-bit routed experts; 6-bit attention; 8-bit shared expert, embeddings and LM head
Achieved bits-per-weight	2.39
On disk	88 GB
Resident while running	~7.6 GB (routed experts streamed)

No Capability Score is published for this quant. Running the six-benchmark suite against a model that decodes off SSD would take days, and at 2 bits on the routed experts the point of the artifact is different: that a 295 B MoE runs at all on consumer Apple Silicon.

Run it

Hy3 is not an architecture stock mlx-lm knows, so import optiq once to register it:

pip install "mlx-optiq>=0.4.15"

The routed experts are far too large to sit resident, so serve it with SSD expert streaming. optiq serve turns this on by itself for a MoE quant that would not fit in RAM (--stream-experts forces it):

optiq serve --model mlx-community/Hy3-OptiQ-2bit

That gives you an OpenAI and Anthropic compatible endpoint with mixed-precision KV cache, tool-call healing and prompt caching. Only the routed experts stream per token, so the footprint stays near 7.6 GB regardless of how large the model on disk is.

A fast SSD matters more than RAM here. Every token reads 8 experts per layer from disk, so decode speed tracks read throughput.

Notes

This is an extreme quant. Two bits on the routed experts is lossy, and anything where accuracy matters should use the bf16 weights or a higher-bit quant. What this one demonstrates is a model of this size running on a Mac, at a resident footprint that fits a 16 GB machine.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: HYV3ForCausalLM
Ревизия весов: b04a426