Характеристики

Контекст: 2 048 токенов
Параметры: 355 млн
Лицензия: Apache 2.0
Архитектура: qwen3_moe · MoE
Библиотека: transformers
Опубликована: 17 июл 2026

Ссылки

tiny-qwen3-moe-w8a8-int8

Генерация текстаТекст → текст3 профессии

amd/tiny-qwen3-moe-w8a8-int8 — небольшая модель архитектуры Qwen3MoeForCausalLM, разработанная и подготовленная Advanced Micro Devices (AMD).

1 697скачиваний за 30 дней0лайковвеса обновлены17 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это текстовая авторегрессионная модель: принимает текст и генерирует текст. Модель предназначена не для прикладной генерации, а для структурных проверок и smoke-тестов в vLLM, в частности для покрытия INT8 fused-MoE пути AMD Quark и модульного Triton-ядра INT8 MoE.

Модель случайно инициализирована и не наследует веса базовой модели, поэтому её выводы не имеют смыслового качества. Она использует архитектуру Mixture-of-Experts с восемью экспертами. Веса каналов внимания и маршрутизируемых MoE-экспертов квантизованы в INT8 по каналам, статически и симметрично; активации квантизованы в INT8 по токенам, динамически и симметрично. Маршрутизатор MoE и lm_head сохранены в исходной точности, включая bf16 для маршрутизатора. Размер модели, длина контекста и поддерживаемые языки в README не указаны.

Запуск предусмотрен через vLLM; заявлена поддержка AMD MI300, MI350 и MI355 (gfx942/gfx950), а также NVIDIA с SM 7.5 и выше. Основное преимущество модели — возможность проверять совместимость и работу квантизированного fused-MoE контура, но для содержательной генерации, оценки качества или продуктивного использования она непригодна. Модель распространяется по лицензии Apache-2.0; модификации принадлежат Advanced Micro Devices, Inc. и датированы 2026 годом.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.7Разработка и данныеDevOps, облако и эксплуатация IT-системAI помогает развёртывать, наблюдать и оптимизировать цифровые системы и облачную инфраструктуру.20 задач7 196моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Overview

Model Architecture: Qwen3MoeForCausalLM (tiny, randomly initialized)
- Input: Text
- Output: Text
Supported Hardware Microarchitecture: AMD MI300 / MI350 / MI355 (gfx942 / gfx950), NVIDIA (SM ≥ 7.5)
Inference Engine: vLLM
Model Optimizer: AMD-Quark
- Weight quantization: INT8, per-channel, static, symmetric
- Activation quantization: INT8, per-token, dynamic, symmetric
- Quantized layers: attention (self_attn) and the routed MoE experts. The MoE router (mlp.gate) and lm_head are kept in the original precision.

This is a tiny, randomly-initialized Qwen3-MoE model quantized to W8A8-INT8, used purely as vLLM CI coverage for the Quark INT8 fused-MoE path (QuarkW8A8Int8MoEMethod), which dispatches through the modular Triton INT8 MoE kernel. It is not intended to produce meaningful text.

Note: the router (mlp.gate) is intentionally left in bf16. Its weight is [num_experts, hidden] and num_experts (8) is not a multiple of 16, which would trip AITER's INT8 linear-kernel shape assertion. Routers are normally left in high precision anyway.

Model Creation

Built and quantized with AMD-Quark: per-channel INT8 weights (static) + per-token INT8 activations (dynamic), symmetric, on a tiny qwen3_moe model. Attention and routed experts are quantized; mlp.gate and lm_head are excluded. vocab_size matches the tokenizer so token ids stay within the embedding table.

Usage in vLLM

vllm serve amd/tiny-qwen3-moe-w8a8-int8 --enforce-eager

Because the weights are random, outputs are not meaningful — this model is a structural / smoke-test fixture only.

License

Apache-2.0. The tiny model is randomly initialized and derives no weights from any base model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3MoeForCausalLM
Ревизия весов: cfcda08