Характеристики

Контекст: 262 144 токена
Параметры: 3,5 млрд
Архитектура: bailing_hybrid · MoE
Базовая модель: Ling-3.0-flash
Библиотека: transformers
Опубликована: 15 авг 2026

Ссылки

Ling-3.0-flash-REAP384-97B-A5B

Генерация текстаТекст → текст3 профессии

Экспериментальная разреженная версия Ling-3.0-flash для генерации диалогового текста с уменьшенным числом экспертов MoE.

127скачиваний за 30 дней0лайковвеса обновлены21 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Экспериментальная версия Ling-3.0-flash от Inclusion AI, в которой методом REAP удалена четверть маршрутизируемых экспертов. В каждом слое оставлено 384 из 512 экспертов; модель имеет 97 млрд параметров всего и 5,1 млрд активных параметров. Это гибридная MoE-модель для генерации диалогового текста, основанная на inclusionAI/Ling-3.0-flash.

Эксперты отбирались однократно по значению router gate, умноженному на L2-норму выхода, на калибровочных данных объёмом 1 млн токенов из UltraChat. Дополнительного дообучения или восстановления после удаления экспертов не проводилось. Модель рассчитана на чат-сценарии; шаблон чата поддерживает параметр reasoning_effort. Указанное для базовой модели окно контекста составляет 262144 токена. Для загрузки нужны Transformers, формат BF16 Safetensors и пользовательский код архитектуры BailingMoeV3 с trust_remote_code=True.

Модель предназначена для экспериментов с разрежением MoE и оценки влияния pruning на качество диалоговой генерации. Карточка называет её исследовательским артефактом; квантованные сборки вынесены в отдельный репозиторий. Лицензия в предоставленных данных не указана.

Сценарии применения

генерация ответов в диалоговом чат-боте
эксперименты с удалением экспертов из MoE-моделей
сравнение качества разреженных и исходных языковых моделей

Ограничения

После удаления 25% маршрутизируемых экспертов модель не проходила дообучение или восстановление качества. Для загрузки требуется включить trust_remote_code=True и использовать пользовательский код архитектуры BailingMoeV3.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is an experimental REAP.

Ling-3.0-flash REAP384 (97B total / 5.1B active)

[384 of 512 routed experts kept per layer - 25% of experts pruned] from inclusionAI/Ling-3.0-flash (124B total / 5.1B active).

Method: one-shot REAP (Router-weighted Expert Activation Pruning) - experts scored by router-gate-value × output-L2-norm over calibration data, lowest-scoring deleted. No fine-tuning, no recovery training.

Calibration: 1M tokens of ultrachat (chat-only calibration)

BF16 safetensors. Loads with trust_remote_code=True (custom bailing_hybrid / BailingMoeV3 code). Research artifact - quantized builds live in the sibling -GGUF repo.

2026-08-21: chat_template.jinja updated to support reasoning_effort (low = no thinking, high = thinking, default unchanged).

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Репозиторий недоступен на Hugging Face.

Класс архитектуры: BailingMoeV3ForCausalLM
Ревизия весов: 9c0ff98