/ Модель
Каталог

Характеристики

Контекст
40 960 токенов
Параметры
3,7 млрд
Размер весов
9,1 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_next · dense
Базовая модель
Qwen3-4B
Опубликована
11 авг 2026

Ссылки

Hugging Face

qwen3-4b-gdn-hybrid-stage1-align

arianraje
Генерация текстаТекст → текст3 профессии

Промежуточный чекпойнт исследования по преобразованию Qwen3-4B в гибрид GDN для генерации текста и оценки восстановления возможностей модели.

30скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Экспериментальный чекпойнт этапа 1 проекта по преобразованию Qwen3-4B в гибридную архитектуру с gated DeltaNet (GDN). В 27 из 36 слоёв полное внимание заменено на GDN при сохранении каждого четвёртого слоя внимания; чекпойнт использует архитектуру Qwen3NextForCausalLM и формат safetensors. На этом этапе модель обучалась выравнивать скрытые состояния по 100 млн токенов; README приводит значение perplexity 29,52 после этапа и ошибку выравнивания на валидации.

Модель предназначена как промежуточный исследовательский чекпойнт для изучения преобразования архитектуры и последующего восстановления возможностей дистилляцией. Это не завершённая версия всей цепочки: после данного этапа предусмотрены дополнительные этапы дистилляции. Модель содержит около 3,7 млрд параметров, принимает текст, поддерживает контекст до 40 960 токенов и предназначена для генерации текста и диалогов. Основана на Qwen/Qwen3-4B, лицензия Apache-2.0.

Сценарии применения

  • изучение преобразования языковой модели с полным вниманием в гибрид GDN
  • оценка выравнивания скрытых состояний после замены слоёв внимания
  • исследование дистилляции языковых моделей
  • эксперименты с генерацией текста на архитектуре Qwen3Next

Ограничения

Это чекпойнт только первого этапа выравнивания, а не завершённая модель всей цепочки дистилляции; README отмечает выброс ошибки для слоя 16. Для обслуживания в vLLM требуется дополнительный registry shim из проектного репозитория.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

qwen3-4b-gdn-hybrid-stage1-align

Stage-1 endpoint — per-layer hidden-state alignment, 100M tokens (LR 3e-3 from sweep). PPL 71,887 -> 29.52; val rel-MSE 0.0087 mean / 0.0013 median; layer 16 is the known outlier (rehabilitated by KD, see stage-2a diagnostics).

Part of a study converting full-attention Qwen3-4B into a GDN (gated DeltaNet) hybrid (27 of 36 layers converted, uniform 1:4 retention) and recovering capability via staged distillation, culminating in on-policy distillation (OPD): student rollouts scored per-token by the frozen teacher under reverse KL. Checkpoints are stock Qwen3NextForCausalLM — load with AutoModelForCausalLM (transformers >= 4.57). vLLM serving needs a small registry shim (all-dense MoE + tied-embeddings fixes) from the project repo.

Pipeline: surgery/init -> stage-1 hidden-state alignment (100M tok) -> stage-2a forward-KL KD @4k (600M) -> stage-2b long-context KD @32k (294M) -> stage-3 OPD (200M gen tokens, horizon 512->16k, token-keyed LR). Teacher/reference: Qwen/Qwen3-4B (thinking mode).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3NextForCausalLM
Ревизия весов
2ac2380

0 моделей

    Создать бенчмарк