/ Модель
Каталог

Характеристики

Контекст
40 960 токенов
Параметры
3,7 млрд
Размер весов
9,1 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_next · dense
Базовая модель
Qwen3-4B
Опубликована
2 сен 2026

Ссылки

Hugging Face

qwen3-4b-gdn-hybrid-stage1-align-dtfix

arianraje
Генерация текстаТекст → текст3 профессии

Экспериментальный чекпойнт Qwen3-4B с гибридной архитектурой GDN для генерации текста и исследования поэтапной дистилляции.

70скачиваний за 30 дней0лайковвеса обновлены2 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

arianraje/qwen3-4b-gdn-hybrid-stage1-align-dtfix — экспериментальный чекпойнт, созданный в рамках исследования преобразования Qwen3-4B с полным вниманием в гибридную архитектуру GDN (gated DeltaNet). В 27 из 36 слоёв заменено внимание на GDN при сохранении каждого четвёртого слоя; веса дообучены поэтапной дистилляцией и выравниванием скрытых состояний. Модель имеет около 3,7 млрд параметров, архитектуру Qwen3NextForCausalLM и контекст 40 960 токенов; для загрузки README рекомендует AutoModelForCausalLM в Transformers версии 4.57 или выше.

Этот чекпойнт соответствует первому этапу выравнивания скрытых состояний: обучение на 100 млн токенов с длиной последовательности 4k и указанным в карточке learning rate 3e-3. В README приведены результаты на наборе тестов на рассуждение и здравый смысл, а также perplexity на WikiText-2. Это исследовательский промежуточный чекпойнт для изучения преобразования архитектуры и восстановления возможностей модели, а не универсально проверенная готовая система. Лицензия — Apache-2.0.

Сценарии применения

  • генерация текста в диалоговом формате
  • эксперименты с гибридной архитектурой GDN
  • оценка дистилляции языковой модели
  • сравнение качества преобразованной модели с исходной Qwen3-4B

Ограничения

Это экспериментальный чекпойнт первого этапа исследования; результаты отдельных тестов отличаются от исходной модели, а perplexity на WikiText-2 хуже указанного результата исходного stage-1. Для загрузки требуется Transformers версии 4.57 или выше согласно README.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

qwen3-4b-gdn-hybrid-stage1-align-dtfix

Stage-1 endpoint (dt_bias fixed) — per-layer hidden-state alignment, 100M tokens @4k, LR 3e-3 (identical recipe to qwen3-4b-gdn-hybrid-stage1-align). Val rel-MSE 0.0041 mean (original 0.0087; layer-16 outlier 0.126 -> 0.011), wikitext-2 PPL 34.1 (original 29.5). 0-shot likelihood battery vs the original stage-1 on the same harness: PIQA 75.5 vs 63.8, HellaSwag 58.0 vs 56.5, ARC-Easy 75.6 vs 48.6, ARC-Challenge 49.2 vs 32.6, Winogrande 59.2 vs 60.6 (likelihood_battery_cmu.json; teacher 74.9/68.5/78.5/53.8/65.8).

Part of a study converting full-attention Qwen3-4B into a GDN (gated DeltaNet) hybrid (27 of 36 layers converted, uniform 1:4 retention) and recovering capability via staged distillation. Checkpoints are stock Qwen3NextForCausalLM — load with AutoModelForCausalLM (transformers >= 4.57).

-dtfix series. transformers' Qwen3Next port initializes the GDN time-step bias with dt_bias.fill_(1.0); with A_log = log U(0,16) and the decay g = -A * softplus(a + dt_bias) that gives retention exp(-dt*A) < 1e-3 for 2/3 of heads at init — the recurrent state starts dead and the gradient into dt_bias/A_log is too small to recover it (the original qwen3-4b-gdn-hybrid-* series carries this through every stage). This series re-runs the pipeline from a surgery that uses the fla GatedDeltaNet reference init (dt ~ LogUniform(1e-3, 0.1), dt_bias = softplus^-1(dt); median retention 0.94). Everything else (inheritance map, data recipe, trainer, LRs, budgets) is unchanged.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3NextForCausalLM
Ревизия весов
50439ba

0 моделей

    Создать бенчмарк