/ Модель

Характеристики

Контекст
40 960 токенов
Параметры
18,2 млрд
Лицензия
Apache 2.0
Архитектура
qwen3_moe · MoE
Базовая модель
Qwen3-235B-A22B
Библиотека
transformers
Опубликована
2 мая 2025

Qwen-3-150B

Генерация текстаТекст → текст3 профессии

Экспериментальная разреженная Qwen3 MoE с удалёнными экспертами, предназначенная для генерации текста и диалогов, но пока непригодная к использованию.

17скачиваний за 30 дней5лайковвеса обновлены3 мая 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Delta-Vector/Qwen-3-150B — экспериментальная разреженная языковая модель на архитектуре Qwen3 MoE, созданная на основе Qwen/Qwen3-235B-A22B. По карточке, модель получена удалением наименее активных экспертов в каждом слое по результатам калибровки на разнообразных данных; README указывает, что автор планирует дополнительно обучить её на небольшом наборе инструкций, чтобы восстановить качество.

Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные указывают 18,2 млрд параметров, контекст до 40 960 токенов, поддержку чата и интерфейса вызова инструментов. В репозитории используются Transformers и формат safetensors.

Автор сообщает, что текущая версия непригодна к использованию, поэтому её качество для практических задач не подтверждено. Лицензия — Apache 2.0.

Сценарии применения

  • эксперименты с прореживанием экспертов в MoE-моделях
  • изучение влияния удаления экспертов на генерацию текста
  • исследование восстановления качества языковой модели после прореживания

Ограничения

Автор сообщает, что текущая версия непригодна к использованию; качество после планируемого дообучения в README не подтверждено.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Same methodology as Kalomaze's 16B experiment : https://huggingface.co/kalomaze/Qwen3-16B-A3B/

  • measure the probability that any given expert will activate (over a personal set of fairly diverse calibration data), per layer
  • prune some of the least used experts per layer (with reordered router and indexing per layer)

Currently it is unusable but i am working on training it over a small SFT of claude Instruct data to "heal" it per say.

https://wandb.ai/new-eden/Prune-Experiments/runs/45utvk5c?nw=nwuserdeltavector

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3MoeForCausalLM
Ревизия весов
7199e31

0 моделей