Характеристики

Лицензия: Apache 2.0
Базовая модель: Qwen3-4B
Библиотека: transformers
Опубликована: 18 сен 2026

Ссылки

qwen3-4b-ablation-poe-no-base

Генерация текстаТекст → текст3 профессии

Абляционная диалоговая модель на базе Qwen3-4B для воспроизведения эксперимента ImmuneCoT по объединению ветвей безопасности без поправки на базовое распределение.

159скачиваний за 30 дней0лайковвеса обновлены18 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ImmuneCoT-Qwen3-4B-ablation-poe-no-base — исследовательская абляционная версия Qwen3-4B, созданная авторами ImmuneCoT для проверки метода объединения двух ветвей безопасности. В отличие от полного метода с Base-adjusted product-of-experts, этот чекпойнт объединяет ветви Recognition и Response без поправки на базовое распределение. Модель предназначена для воспроизведения абляционного эксперимента RQ3 в статье ImmuneCoT.

Модель основана на Qwen/Qwen3-4B и получена полно-параметрической дистилляцией на основе on-policy данных; базовая модель использовалась как замороженный учитель. Обучение проводилось на 1 571 примере в течение двух эпох, с forward KL, ограничением на токен и top-k 256. Это диалоговая модель генерации текста; метаданные указывают библиотеку Transformers, формат safetensors и лицензию Apache-2.0.

Чекпойнт предназначен для исследовательской воспроизводимости, а не для утверждений о превосходстве в практических сценариях. Его специализация на безопасности и конкретный вариант слияния ветвей ограничивают применимость вне эксперимента; README не приводит количественных оценок качества или подробных результатов сравнения.

Сценарии применения

воспроизведение абляции RQ3 из исследования ImmuneCoT
сравнение вариантов объединения ветвей распознавания и ответа в задачах безопасности
эксперименты с дистилляцией и генерацией безопасных диалоговых ответов

Ограничения

Это экспериментальная абляционная версия для воспроизводимости исследования; количественные оценки качества и сравнительные результаты в карточке не приведены. Метод слияния не включает поправку на базовое распределение, поэтому результаты могут отличаться от полного метода ImmuneCoT.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.9Разработка и данныеСтатистика, эксперименты и причинный анализAI помогает планировать эксперименты и делать статистически обоснованные выводы о связях и эффектах.18 задач2 881модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ImmuneCoT-Qwen3-4B-ablation-poe-no-base (RQ3 ablation)

Ablation variant: poe_no_base (naive fusion, no Base-adjustment). The full ImmuneCoT method fuses the two safety branches with a Base-adjusted product-of-experts Q_imm(v) ∝ q̃_rec(v)·q̃_res(v)/q_B(v). This checkpoint uses the naive fusion Q_no-base(v) ∝ q̃_rec(v)·q̃_res(v) — the same branch weights (λ_rec=0.5, λ_res=0.7) but no division by the base distribution — isolating whether the gains come from combining Recognition+Response at all, or specifically from the Base-adjusted PoE term.

Base model: Qwen3-4B (frozen teacher, full-parameter on-policy distillation)
Data: iasd_data_decontam_v1.json (1571 samples), 2 epochs (198 steps)
Objective: forward KL + per-token clip β=1.0 + top-k 256
Fusion: poe_no_base (P_immune = log Pd' + log Pr', no − log P_Ref)

Intended use: research reproducibility for the ImmuneCoT paper's RQ3 ablation.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 158796b