Характеристики

Контекст: 40 960 токенов
Параметры: 2,6 млрд
Лицензия: Apache 2.0
Архитектура: qwen3_moe · MoE
Базовая модель: Qwen3-30B-A3B
Опубликована: 15 июл 2026

Ссылки

Hugging Face

Qwen3-30B-A3B-SparseMoBE16-minimal-lr02

AverageMetaheuristicsEnjoyer

Генерация текстаТекст → текст

Экспериментальный сжатый вариант Qwen3-30B-A3B для генерации текста и диалогов с контекстом до 40 960 токенов.

17скачиваний за 30 дней0лайковвеса обновлены15 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Экспериментальный чекпойнт AverageMetaheuristicsEnjoyer на базе Qwen/Qwen3-30B-A3B. Это причинная языковая модель семейства Qwen3 с архитектурой MoE; в репозитории указано 2,6 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев. Контекст — до 40 960 токенов.

Чекпойнт получен с применением метода sparse_mobe: проекции gate_proj и up_proj в слоях 0–48 сжаты с num_B=16, а down_proj оставлена плотной. Используются активация tanh и минимальный вариант метода без LISTA-приоров; README описывает его как эксперимент по сжатию и настройке параметров. Для загрузки указаны Transformers, bfloat16 и trust_remote_code=True. Лицензия — Apache-2.0.

README не содержит результатов оценки качества, поэтому пригодность сжатия для конкретных задач не подтверждена опубликованными тестами. Модель сохраняет ограничения базовой языковой модели, включая возможность ошибок и выдуманных ответов.

Сценарии применения

генерация ответов в диалоговом интерфейсе
составление и продолжение текстов
эксперименты со сжатием MoE-языковых моделей
оценка влияния разреженного сжатия на генерацию текста

Ограничения

В README нет результатов оценки качества, поэтому свойства сжатого чекпойнта не подтверждены тестами. Сохраняются общие ограничения языковых моделей, включая ошибки и выдуманные ответы.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

sparse_qwen3_30b_b16_minimal_lr02

num_B compression-stress sweep (B=16). Sparse-MoBE minimal (simplex relaxed, LISTA priors stripped) at its LR optimum (lr=0.02). Pairs with mobe_b16 / nosoftmax_b16 to test whether relaxing the simplex helps more as the shared dictionary tightens. See docs/findings_log.md.

Method: sparse_mobe
Base model: Qwen/Qwen3-30B-A3B
Compressed: gate_proj, up_proj over layers 0-48 (down_proj kept dense)
Settings: sparse_mobe, num_B=16, activation=tanh

See config.toml and training.json for the full run configuration and per-layer reconstruction stats.

Evaluation

No eval results attached.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "AverageMetaheuristicsEnjoyer/Qwen3-30B-A3B-SparseMoBE16-minimal-lr02",
    trust_remote_code=True,
    torch_dtype="bfloat16",
    device_map="auto",
)
tok = AutoTokenizer.from_pretrained("AverageMetaheuristicsEnjoyer/Qwen3-30B-A3B-SparseMoBE16-minimal-lr02", trust_remote_code=True)

The factored experts are reconstructed at runtime via the bundled Qwen3SparseMoBEForCausalLM.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: Qwen3SparseMoBEForCausalLM
Ревизия весов: 88fbebb