Характеристики

Контекст: 262 144 токена
Лицензия: Своя лицензия
Архитектура: qwen3_5_moe · dense
Базовая модель: Qwen3.5-122B-A10B-int4-AutoRound
Опубликована: 24 июн 2026

Ссылки

Qwen3.5-122B-A10B-int4-fp8-hybrid

Генерация текстаТекст → текст13 профессий

bleysg/Qwen3.5-122B-A10B-int4-fp8-hybrid — гибридный квантованный чекпойнт модели Qwen3.5-122B-A10B, созданный на основе весов Intel/Qwen3.5-122B-A10B-int4-AutoRound и официального Qwen/Qwen3.5-122B-A10B-FP8.

116 тыс.скачиваний за 30 дней9лайковвеса обновлены24 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и оптимизирована для запуска на NVIDIA DGX Spark с GB10, SM121 и 128 ГБ унифицированной памяти через vLLM, прежде всего для эффективного декодирования с ограниченной пропускной способностью памяти и поддержки speculative decoding.

Маршрутизируемые эксперты и attention представлены в формате INT4 GPTQ/AutoRound, а 144 слоя общих экспертов, постоянно используемых при обработке каждого токена, преобразованы из BF16 в FP8 E4M3 с размером блока 128. Embeddings, norms и выходная голова сохранены от INT4-базы. По данным README, такая компоновка повышает скорость базового декодирования без speculative decoding на GB10 с 28,2 до 36,0 токена в секунду, или примерно на 28%, однако преимущество уменьшается при высокой доле принятых спекулятивных токенов.

Для работы требуется специализированный проект qwen3.5-122B-A10B-on-spark, профиль dense и патч vLLM 0.23 с поддержкой смешанной схемы INT4/FP8; стандартная версия vLLM не умеет корректно загружать этот чекпойнт. В README не указаны языки, длина контекста и поддерживаемые модальности, поэтому модель следует рассматривать как текстовую. Производная работа наследует условия лицензирования исходной Qwen3.5-122B-A10B и Intel AutoRound; конкретные условия определяются лицензиями upstream-моделей.

Для каких профессий подходит13

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.5-122B-A10B — hybrid INT4 + FP8 (DGX Spark)

A hybrid-quantized checkpoint of Qwen3.5-122B-A10B for bandwidth-optimal decode on the NVIDIA DGX Spark (GB10 / SM121, 128 GB unified) under vLLM. Routed experts and attention stay INT4; the BF16 shared experts (dense — read on every token) are replaced with calibrated FP8 from the official FP8 release.

Composition

Routed experts + attention: INT4 (GPTQ / AutoRound) — from Intel/Qwen3.5-122B-A10B-int4-AutoRound.
Shared experts: FP8 E4M3 block-128 — from Qwen/Qwen3.5-122B-A10B-FP8.
Embeddings / norms / head: unchanged from the INT4 base.

144 shared-expert layers convert BF16→FP8 — an always-on bandwidth lever worth +28 % at base / no-spec decode on GB10 (28.2 → 36.0 tok/s), diminishing under high-acceptance speculative decode (see the project's amortization law).

Usage

Built for and served by qwen3.5-122B-A10B-on-spark (--profile dense). It requires that project's vLLM 0.23 hybrid-FP8 dispatch patch — an INCConfig.maybe_update_config override that dispatches Fp8LinearMethod for the FP8 shared-expert layers. Stock vLLM will not dispatch the mixed INT4/FP8 scheme.

Provenance & credit

Recipe (hybrid INT4+FP8, INT8 lm-head, MTP) and build script: albond/DGX_Spark_Qwen3.5-122B-A10B-AR-INT4. Built with build-hybrid-checkpoint.py, which merges FP8 non-expert tensors into the INT4 checkpoint.

License

Derived work — inherits the upstream Qwen3.5-122B-A10B and Intel AutoRound terms. See the base-model repositories linked above.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3_5MoeForConditionalGeneration
Ревизия весов: 7251e8b