/ Модель
Каталог

Характеристики

Контекст
40 960 токенов
Параметры
3,7 млрд
Размер весов
9,1 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3_next · dense
Базовая модель
Qwen3-4B
Опубликована
11 авг 2026

Ссылки

Hugging Face

qwen3-4b-gdn-hybrid-init

arianraje
Генерация текстаТекст → текст3 профессии

Экспериментальный начальный чекпойнт Qwen3-4B с гибридной GDN-архитектурой для исследований структурного преобразования языковых моделей.

28скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Экспериментальный начальный чекпойнт, созданный в рамках исследования преобразования Qwen3-4B в гибридную архитектуру с gated DeltaNet. Разработчик преобразовал 27 из 36 слоёв внимания по схеме равномерного сохранения каждого четвёртого слоя GDN; при создании чекпойнта унаследовано 99,88% весов исходной модели, обучение ещё не проводилось. Это промежуточная точка конвейера дистилляции, предназначенная для изучения восстановления возможностей модели после структурного преобразования, а не для обычного применения.

Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3NextForCausalLM и принимает текст для генерации текста. Контекст — до 40 960 токенов по метаданным. Чекпойнт хранится в safetensors и распространяется по лицензии Apache-2.0; для загрузки через Transformers требуется версия 4.57 или новее. README сообщает крайне высокую начальную perplexity на Wikitext-2, поэтому качество генерации до этапов обучения непригодно для практических задач.

Сценарии применения

  • изучение преобразования слоёв внимания Qwen3-4B в gated DeltaNet
  • исследование начального качества гибридной языковой модели до обучения
  • сравнение чекпойнтов до и после дистилляции

Ограничения

Это чекпойнт до обучения: README сообщает perplexity около 71 887 на Wikitext-2, поэтому модель не готова для практического использования. Для vLLM требуется дополнительная настройка реестра из проекта.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443моделиII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

qwen3-4b-gdn-hybrid-init

Surgery/init checkpoint — uniform 1:4 GDN conversion of Qwen3-4B with plain weight inheritance (99.88% of params inherited), before any training. Wikitext-2 PPL ~71,887 at init; kernel-level parity at the teacher noise floor (G1).

Part of a study converting full-attention Qwen3-4B into a GDN (gated DeltaNet) hybrid (27 of 36 layers converted, uniform 1:4 retention) and recovering capability via staged distillation, culminating in on-policy distillation (OPD): student rollouts scored per-token by the frozen teacher under reverse KL. Checkpoints are stock Qwen3NextForCausalLM — load with AutoModelForCausalLM (transformers >= 4.57). vLLM serving needs a small registry shim (all-dense MoE + tied-embeddings fixes) from the project repo.

Pipeline: surgery/init -> stage-1 hidden-state alignment (100M tok) -> stage-2a forward-KL KD @4k (600M) -> stage-2b long-context KD @32k (294M) -> stage-3 OPD (200M gen tokens, horizon 512->16k, token-keyed LR). Teacher/reference: Qwen/Qwen3-4B (thinking mode).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3NextForCausalLM
Ревизия весов
df351ac

0 моделей

    Создать бенчмарк