/ Модель
Каталог

Характеристики

Контекст
40 960 токенов
Параметры
3,7 млрд
Размер весов
9,1 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_next · dense
Базовая модель
Qwen3-4B
Опубликована
11 авг 2026

Ссылки

Hugging Face

qwen3-4b-gdn-hybrid-stage2a-kd

arianraje
Генерация текстаТекст → текст3 профессии

Промежуточный чекпойнт дистилляции, преобразующий Qwen3-4B в гибрид Qwen3 с gated DeltaNet для генерации текста.

24скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Экспериментальный чекпойнт этапа 2a исследования по преобразованию Qwen3-4B в гибридную архитектуру с gated DeltaNet и восстановлению её возможностей дистилляцией. В 27 из 36 слоёв полное внимание заменено на GDN при сохранении одного слоя внимания на четыре; чекпойнт содержит около 3,7 млрд параметров и использует архитектуру Qwen3NextForCausalLM. Он предназначен для генерации текста и диалоговых сценариев, а также служит промежуточной точкой перед дистилляцией на длинном контексте.

На этапе 2a проведена дистилляция forward-KL на 600 млн токенов с контекстом 4k: в README приведены значения KL 0,1449, совпадения top-1 0,851 и perplexity 12,83 на Wikitext-2. Контекст модели по метаданным — 40960 токенов; для загрузки README указывает transformers версии 4.57 или новее. Базовая модель — Qwen/Qwen3-4B, лицензия Apache-2.0. Это промежуточный исследовательский чекпойнт, и опубликованные метрики не подтверждают качество для широкого практического применения.

Сценарии применения

  • эксперименты с гибридной архитектурой внимания и DeltaNet
  • сравнение качества языковой модели до и после дистилляции
  • исследование дистилляции языковых моделей на контексте 4k
  • тестирование генерации текста и диалогов на промежуточном чекпойнте

Ограничения

Это промежуточный чекпойнт этапа 2a, предназначенный как вход для последующей дистилляции на длинном контексте; README приводит метрики только для оценки на Wikitext-2 и согласования с учителем. Для обслуживания через vLLM требуется небольшой registry shim с исправлениями, описанными в проекте.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

qwen3-4b-gdn-hybrid-stage2a-kd

Stage-2a endpoint — chunked full-vocab forward-KL KD @4k, 600M tokens (LR 2e-4/2e-5 probe-picked). Val KL 0.5588 -> 0.1449, top-1 agree 0.851, wikitext-2 PPL 12.83 (teacher 12.09). Input to stage-2b long-context KD.

Part of a study converting full-attention Qwen3-4B into a GDN (gated DeltaNet) hybrid (27 of 36 layers converted, uniform 1:4 retention) and recovering capability via staged distillation, culminating in on-policy distillation (OPD): student rollouts scored per-token by the frozen teacher under reverse KL. Checkpoints are stock Qwen3NextForCausalLM — load with AutoModelForCausalLM (transformers >= 4.57). vLLM serving needs a small registry shim (all-dense MoE + tied-embeddings fixes) from the project repo.

Pipeline: surgery/init -> stage-1 hidden-state alignment (100M tok) -> stage-2a forward-KL KD @4k (600M) -> stage-2b long-context KD @32k (294M) -> stage-3 OPD (200M gen tokens, horizon 512->16k, token-keyed LR). Teacher/reference: Qwen/Qwen3-4B (thinking mode).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3NextForCausalLM
Ревизия весов
b867871

0 моделей

    Создать бенчмарк