Характеристики

Лицензия: MIT
Библиотека: pytorch
Опубликована: 24 июл 2026

Ссылки

W2-31B-A3B-dLLM-Base-preview

Генерация текстаТекст → текст3 профессии

Базовая диффузионная языковая модель WhaletechAI с разреженной MoE-архитектурой для генерации текста на китайском и английском языках.

2скачиваний за 30 дней6лайковвеса обновлены31 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

WhaletechAI W2-31B-A3B-dLLM-Base-preview — базовая языковая модель от WhaletechAI для генерации текста. Это диффузионный трансформер (DiT) с разреженной архитектурой MoE: 31,1 млрд параметров всего и 3,2 млрд активных параметров; на каждом токене задействуются 8 из 144 маршрутизируемых экспертов и один общий эксперт. Архитектура включает 48 слоёв, скрытое измерение 2048, GQA с 32 головами запросов и 4 головами ключей и значений, RoPE и словарь из 129 024 токенов.

Модель итеративно уточняет текст посредством денойзинга и может генерировать 8–32 токена за шаг. Доступны веса BF16 и вариант с INT4-квантизацией маршрутизируемых экспертов W4A16. В метаданных указаны китайский и английский языки, библиотека PyTorch и лицензия MIT. Карточка описывает базовую модель, но не приводит оценок качества или подробностей ограничений применения.

Сценарии применения

генерация текста на китайском языке
генерация текста на английском языке
эксперименты с диффузионными языковыми моделями
исследование разреженных MoE-моделей

Ограничения

Карточка не приводит оценок качества и не описывает ограничения применения; производительность и пригодность для конкретных задач следует проверять отдельно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

W2-31B-A3B-dLLM-Base

Highlights

31.1B total parameters with a 3.2B active parameter path
Generates 8–32 tokens per step before self-distillation.
The model natively self-edits through iterative denoising.
Sparse MoE design with 8 routed experts and 1 shared expert active per token
Grouped-query attention with QK normalization
BF16 and routed-expert W4A16 weight variants

Model Overview

Type: Native Diffusion Transformer (DiT) large language model
Architecture: Sparse Mixture-of-Experts (MoE)
Total Parameters: 31.1B
Activated Parameters: 3.2B
Hidden Dimension: 2,048
Layers: 48
Attention: GQA with 32 query heads and 4 key-value heads
Experts: 8 activated out of 144 routed experts, plus 1 shared expert
Position Embedding: RoPE
Embeddings and Output Head: Untied
Vocabulary Size: 129,024

Model Weights

BF16 weights: repository root
INT4 routed-expert weights (W4A16): int4/

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · pytorch

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: c710676