Характеристики

Контекст: 262 144 токена
Параметры: 3,5 млрд
Размер весов: 92,4 ГБ
Архитектура: bailing_hybrid · MoE
Базовая модель: Ling-3.0-flash
Библиотека: transformers
Опубликована: 16 авг 2026

Ссылки

Ling-3.0-flash-REAP176-46B-A5B

Генерация текстаТекст → текст3 профессии

Экспериментальная сильно прореженная версия Ling-3.0-flash для генерации диалогового текста и тестирования REAP на MoE-моделях.

150скачиваний за 30 дней0лайковвеса обновлены21 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

bloomer010/Ling-3.0-flash-REAP176-46B-A5B — экспериментальная производная модели inclusionAI/Ling-3.0-flash, созданная методом REAP (Router-weighted Expert Activation Pruning). В модели оставлено 176 из 512 маршрутизируемых экспертов в каждом слое; удалено 65,6% экспертов. Метаданные указывают 3,5 млрд параметров, тогда как README приводит 46 млрд общих и 5,1 млрд активных параметров.

Модель предназначена для генерации текста в диалоговом формате и экспериментов с разреженными MoE-моделями. Для отбора экспертов использовалась калибровка на 1 млн токенов из UltraChat, WikiText и кода; дообучение или восстановительное обучение после прореживания не проводилось. Указанная длина контекста — 262 144 токена. Модель сохранена в BF16 Safetensors и использует архитектуру BailingMoeV3ForCausalLM; для загрузки README указывает необходимость trust_remote_code=True.

Автор README предупреждает о сильной деградации и заметном дрейфе ответов, особенно вне калибровочных данных, а также сообщает, что модель мало проверялась и может работать не так, как ожидается. Лицензия в предоставленных данных не указана.

Сценарии применения

эксперименты с прореживанием экспертов в MoE-моделях
тестирование генерации текста после удаления экспертов
изучение влияния REAP на диалоговые ответы

Ограничения

README предупреждает о сильной деградации качества, заметном дрейфе вне калибровочных данных и недостаточном тестировании. Для загрузки требуется trust_remote_code=True; сведения о лицензии в предоставленных данных отсутствуют.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Ling-3.0-flash REAP176 (46B total / 5.1B active)

[176 of 512 routed experts kept per layer - 65.6% of experts pruned; 176 = 22 expert groups of 8, the group-size-divisible step nearest the 174 target] from inclusionAI/Ling-3.0-flash.

🚨 This is essentially a lobotomized model and it does not work as expected. 🚨

It remains public in case anyone is interested in using it for experimentation or testing. This was the most heavily pruned REAP of the bunch that was performed against Ling 3.0 Flash.

The following REAPs are less degraded and likely worth testing (if your hardware allows):

Method: one-shot REAP (Router-weighted Expert Activation Pruning) - experts scored by router-gate-value × output-L2-norm over calibration data, lowest-scoring deleted. No fine-tuning, no recovery training.

Calibration: 1M tokens, 50/25/25 ultrachat / wikitext / code

This is a very heavily pruned/reaped model and is still mostly untested.

BF16 safetensors. Loads with trust_remote_code=True (custom bailing_hybrid / BailingMoeV3 code). Deepest published cut of the sweep - expect noticeably more drift than the 288/320/384 siblings when used out-of-domain. Research artifact; quantized builds live in the sibling -GGUF repo.

2026-08-21: chat_template.jinja updated to support reasoning_effort (low = no thinking, high = thinking, default unchanged).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Репозиторий недоступен на Hugging Face.

Класс архитектуры: BailingMoeV3ForCausalLM
Ревизия весов: a4a94d7