/ Модель

Характеристики

Контекст
40 960 токенов
Параметры
3,7 млрд
Размер весов
8,8 ГБ
Лицензия
Apache 2.0
Архитектура
qwen3 · dense
Базовая модель
Qwen3-4B
Библиотека
transformers
Опубликована
17 сен 2026

ImmuneCoT-Qwen3-4B-ablation-poe-no-base

Генерация текстаТекст → текст3 профессии

Производная модели OP12138/qwen3-4b-ablation-poe-no-base. Абляционная диалоговая модель на базе Qwen3-4B для воспроизведения эксперимента ImmuneCoT по объединению ветвей безопасности без поправки на базовое распределение.

170скачиваний за 30 дней0лайковвеса обновлены17 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели Easonnoway/ImmuneCoT-Qwen3-4B-ablation-poe-no-base на Hugging Face совпадает с карточкой OP12138/qwen3-4b-ablation-poe-no-base, поэтому описание составлено по ней.

ImmuneCoT-Qwen3-4B-ablation-poe-no-base — исследовательская абляционная версия Qwen3-4B, созданная авторами ImmuneCoT для проверки метода объединения двух ветвей безопасности. В отличие от полного метода с Base-adjusted product-of-experts, этот чекпойнт объединяет ветви Recognition и Response без поправки на базовое распределение. Модель предназначена для воспроизведения абляционного эксперимента RQ3 в статье ImmuneCoT.

Модель основана на Qwen/Qwen3-4B и получена полно-параметрической дистилляцией на основе on-policy данных; базовая модель использовалась как замороженный учитель. Обучение проводилось на 1 571 примере в течение двух эпох, с forward KL, ограничением на токен и top-k 256. Это диалоговая модель генерации текста; метаданные указывают библиотеку Transformers, формат safetensors и лицензию Apache-2.0.

Чекпойнт предназначен для исследовательской воспроизводимости, а не для утверждений о превосходстве в практических сценариях. Его специализация на безопасности и конкретный вариант слияния ветвей ограничивают применимость вне эксперимента; README не приводит количественных оценок качества или подробных результатов сравнения.

Сценарии применения

  • воспроизведение абляции RQ3 из исследования ImmuneCoT
  • сравнение вариантов объединения ветвей распознавания и ответа в задачах безопасности
  • эксперименты с дистилляцией и генерацией безопасных диалоговых ответов

Ограничения

Это экспериментальная абляционная версия для воспроизводимости исследования; количественные оценки качества и сравнительные результаты в карточке не приведены. Метод слияния не включает поправку на базовое распределение, поэтому результаты могут отличаться от полного метода ImmuneCoT.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ImmuneCoT-Qwen3-4B-ablation-poe-no-base (RQ3 ablation)

Ablation variant: poe_no_base (naive fusion, no Base-adjustment). The full ImmuneCoT method fuses the two safety branches with a Base-adjusted product-of-experts Q_imm(v) ∝ q̃_rec(v)·q̃_res(v)/q_B(v). This checkpoint uses the naive fusion Q_no-base(v) ∝ q̃_rec(v)·q̃_res(v) — the same branch weights (λ_rec=0.5, λ_res=0.7) but no division by the base distribution — isolating whether the gains come from combining Recognition+Response at all, or specifically from the Base-adjusted PoE term.

  • Base model: Qwen3-4B (frozen teacher, full-parameter on-policy distillation)
  • Data: iasd_data_decontam_v1.json (1571 samples), 2 epochs (198 steps)
  • Objective: forward KL + per-token clip β=1.0 + top-k 256
  • Fusion: poe_no_base (P_immune = log Pd' + log Pr', no − log P_Ref)

Intended use: research reproducibility for the ImmuneCoT paper's RQ3 ablation.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3ForCausalLM
Ревизия весов
7460c24

0 моделей