Характеристики

Контекст: 262 144 токена
Параметры: 1,7 млрд
Лицензия: Apache 2.0
Архитектура: qwen3_5 · dense
Базовая модель: Qwen3.8-2B-Distill
Опубликована: 24 авг 2026

Ссылки

Qwen3.8-Distilled-2B-NPU2

Изображение и текст → текст7 профессий

Atomic-Germ/Qwen3.8-Distilled-2B-NPU2 — это квантованная версия модели empero-ai/Qwen3.8-2B-Distill, подготовленная разработчиком Atomic-Germ для инференса на NPU AMD XDNA.

3 660скачиваний за 30 дней3лайкавеса обновлены30 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель скомпилирована для среды выполнения FastFlowLM версии 1.0.1 и поставляется в формате Q4NX, а не GGUF. Указанная лицензия — Apache-2.0.

Модель предназначена для языковых и визуально-языковых задач, включая диалоговое взаимодействие и обработку изображений с текстом. Она основана на 2B-модели, использует квантованные веса model.q4nx размером 2,32 ГБ и включает отдельные vision-веса vision_weight.q4nx. В составе репозитория также находятся конфигурация FastFlowLM, токенизатор и шаблон чата. Заявлена поддержка английского языка; сведения о других языках, размере контекста и точной архитектуре в карточке отсутствуют.

Ключевое преимущество модели — адаптация для локального запуска на AMD XDNA NPU через FastFlowLM, что может снизить требования к памяти и повысить эффективность инференса по сравнению с полноразмерными весами. Ограничения связаны с использованием специфичного формата Q4NX и зависимости от FastFlowLM, поэтому модель не предназначена для непосредственного запуска как GGUF. Поддерживаемые устройства, фактическая производительность, качество на отдельных задачах и дополнительные языки не указаны.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-Distilled-2B-NPU2-NPU2

OpenFlowLM Q4NX conversion of empero-ai/Qwen3.8-2B-Distill for AMD XDNA NPU inference.

This repository contains a quantized Q4NX port of the model, compiled for the OpenFlowLM (OFLM) runtime. It is not a GGUF file.

Item	Value
Source model	`Aempero-ai/Qwen3.8-2B-Distill`
Source GGUF	`Qwen3.8-2B-Distill-Q8_0.gguf`
Weights	`model.q4nx` (2.29 GB)
Modality	language / vision
OFLM version	`0.1.0`
Converted	2026-09-27

Install and run

This repository works with oflm-add, a small installer that copies the model into the OpenFlowLM user directory and registers the tag. It never modifies the system OpenFlowLM install.

pip install oflm-add or uv tool install oflm-add

uv tool install oflm-add
oflm-add Atomic-Germ/Qwen3.8-Distilled-2B-NPU2-NPU2 --family qwen3.5 --xclbin-from Qwen3.8-Distilled-2B-NPU2-NPU2
OFLM_CONFIG_PATH="$HOME/.config/oflm/model_list.json" OFLM_XCLBIN_PATH="$HOME/.config/oflm" oflm run Qwen3.8-Distilled-2B-NPU2-NPU2

Files

File	Description
`model.q4nx`	Quantized weights (Q8_0 / Q4_1 / BF16)
`config.json`	OFLM runtime configuration
`tokenizer.json`	Tokenizer vocabulary
`tokenizer_config.json`	Tokenizer configuration
`chat_template.jinja`	Chat template
`vision_weight.q4nx`	Vision model

Source model card

See the original model card: Atomic-Germ/Qwen3.8-2B-Distill-NPU2

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов: 479cd34