/ Модель
Каталог

Характеристики

Контекст
40 960 токенов
Параметры
3,7 млрд
Размер весов
9,1 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_next · dense
Базовая модель
Qwen3-4B
Опубликована
2 сен 2026

Ссылки

Hugging Face

qwen3-4b-gdn-hybrid-init-dtfix

arianraje
Генерация текстаТекст → текст3 профессии

Экспериментальный начальный чекпойнт преобразования Qwen3-4B в гибрид GDN для изучения архитектуры и дальнейшего восстановления возможностей дистилляцией.

68скачиваний за 30 дней0лайковвеса обновлены2 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

arianraje/qwen3-4b-gdn-hybrid-init-dtfix — экспериментальный чекпойнт, созданный в рамках исследования преобразования Qwen3-4B в гибридную архитектуру GDN (gated DeltaNet). В модели 27 из 36 слоёв преобразованы в GDN, остальные сохраняют полное внимание; преобразование выполнено с равномерным сохранением одного из каждых четырёх слоёв и наследованием весов исходной модели. Это начальный чекпойнт этапа преобразования, а не завершённая модель после восстановления возможностей дистилляцией.

Исправленная инициализация смещения временного шага GDN использует схему из эталонной реализации fla: при запуске медианное удержание состояния составляет 0,94. В описании также приведено сравнение активаций на Wikitext: у этого чекпойнта не обнаружено «мёртвых» голов из 864, тогда как в исходной серии их было 281. Модель содержит около 3,7 млрд параметров, принимает текст и предназначена для генерации текста и диалогового использования. Контекст — до 40 960 токенов; для загрузки указана библиотека Transformers версии 4.57 или новее.

Базовая модель — Qwen/Qwen3-4B; чекпойнт распространяется по лицензии Apache-2.0. Поскольку это промежуточный этап исследования изменения архитектуры, его возможности не следует считать восстановленными или сопоставимыми с исходной Qwen3-4B без отдельной оценки.

Сценарии применения

  • изучение преобразования языковых моделей с полным вниманием в гибрид GDN
  • исследование инициализации временных шагов в gated DeltaNet
  • эксперименты с последующей дистилляцией Qwen3-4B
  • генерация текста и диалоговые пробы в исследовательской среде

Ограничения

Это промежуточный чекпойнт преобразования, а не завершённая модель после дистилляции; качество и сохранение возможностей исходной Qwen3-4B в README не подтверждены. Для загрузки требуется Transformers версии 4.57 или новее.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельI.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

qwen3-4b-gdn-hybrid-init-dtfix

Surgery/init checkpoint (dt_bias fixed) — uniform 1:4 GDN conversion of Qwen3-4B with plain weight inheritance, dt_bias from the fla reference init (surgery_report.json gdn_decay_init; gdn_decay_stats.json = activation-level retention on wikitext: 0/864 dead heads vs 281/864 for the original series).

Part of a study converting full-attention Qwen3-4B into a GDN (gated DeltaNet) hybrid (27 of 36 layers converted, uniform 1:4 retention) and recovering capability via staged distillation. Checkpoints are stock Qwen3NextForCausalLM — load with AutoModelForCausalLM (transformers >= 4.57).

-dtfix series. transformers' Qwen3Next port initializes the GDN time-step bias with dt_bias.fill_(1.0); with A_log = log U(0,16) and the decay g = -A * softplus(a + dt_bias) that gives retention exp(-dt*A) < 1e-3 for 2/3 of heads at init — the recurrent state starts dead and the gradient into dt_bias/A_log is too small to recover it (the original qwen3-4b-gdn-hybrid-* series carries this through every stage). This series re-runs the pipeline from a surgery that uses the fla GatedDeltaNet reference init (dt ~ LogUniform(1e-3, 0.1), dt_bias = softplus^-1(dt); median retention 0.94). Everything else (inheritance map, data recipe, trainer, LRs, budgets) is unchanged.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3NextForCausalLM
Ревизия весов
d64e127

0 моделей

    Создать бенчмарк