/ Модель

Характеристики

Контекст
262 144 токена
Параметры
22,3 млрд
Лицензия
Apache 2.0
Архитектура
qwen3_5_text · dense
Библиотека
transformers
Опубликована
11 сен 2026

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NVFP4-W4A16-T400

Генерация текстаТекст → текст15 профессий

Это квантизированная версия модели Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, опубликованная esatapedico и созданная на основе модели DavidAU, которая, в свою очередь, происходит от Qwen/Qwen3.8-27B.

666скачиваний за 30 дней0лайковвеса обновлены15 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и развёртывания через vLLM или совместимые движки serving compressed-tensors. Настройка TWIN-TURBO ориентирована на сокращение числа токенов рассуждений при сохранении сопоставимого качества ответов.

Модель использует архитектуру Qwen3_5ForCausalLM с 64 слоями, гибридной GatedDeltaNet, 16 полными attention-слоями, MTP head для speculative decoding и контекстом до 262144 токенов. Поддерживается генерация на английском языке и, согласно метаданным, мультиязычные сценарии. Контрольная точка имеет размер около 19 ГБ и поставляется в формате compressed-tensors nvfp4-pack-quantized. Квантизация выполнена по схеме W4A16 с группами размера 16, FP8 E4M3-масштабами и только для весов; калибровочные данные не использовались. Ключевые компоненты, включая lm_head, vision tower, MTP head и отдельные элементы DeltaNet, сохранены в BF16.

Сильными сторонами являются существенное уменьшение размера весов, совместимость с vLLM, сохранение мультимодального vision tower и MTP-компонента, а также возможность работы с длинным контекстом. Ограничения связаны с зависимостью от поддержки compressed-tensors NVFP4 в serving-движке и особенностями конфигурации: заявлена проверка при tensor parallel 2 и контексте 2048 токенов, а FP8 KV-cache включается параметром запуска, а не хранится в контрольной точке. Модель распространяется по лицензии Apache-2.0.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NVFP4-W4A16-T400

NVFP4 checkpoint of DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, quantized for vLLM serving. NVFP4 here means W4A16 with FP8 scales, group size 16, weight only, 400 tensors. No calibration data was used.

HF repo: esatapedico/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NVFP4-W4A16-T400

At a glance

FieldValue
Formatcompressed-tensors nvfp4-pack-quantized
QuantizationW4A16, group size 16, FP8 E4M3 scales, weight only, 400 NVFP4 tensors
Kept in BF16lm_head, vision tower, MTP head, DeltaNet conv1d and in_proj_a/b
Calibrationnone
BaseDavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored (Qwen3.8-27B, Apache 2.0)

Quantized set covers the MLP on all 64 layers, Q, K, V, O on the 16 full attention layers, the token embeddings, and the DeltaNet in_proj_qkv/z/out_proj tensors. The lm_head stays at full precision on purpose: vLLM runs the output head unquantized regardless, and no vLLM release loads a compressed-tensors NVFP4 head, so quantizing it only breaks serving with zero runtime gain. Vision tower, MTP head, and the DeltaNet conv1d plus in_proj_a/b dynamics stay at full precision following the JC1DA exception pattern.

Serving

Built for vLLM and engines consuming vLLM-compatible compressed-tensors checkpoints, following the JC1DA-style exception pattern. Verified serving: tensor parallel 2, 2048 context, 9 GB per GPU with ample KV headroom, coherent generation. Serve with --quantization compressed-tensors semantics (auto-detected from the config); FP8 KV remains a runtime flag, not checkpoint bytes. Keep vision intact and MTP for speculative decoding; no GGUF inside this repo.

Checkpoint

  • Single model.safetensors about 19 GB
  • config.json quantization_config.format=nvfp4-pack-quantized, quant_method=compressed-tensors, Qwen3_5ForCausalLM, 64 layers, hybrid GatedDeltaNet, 262144 context, MTP head
  • tokenizer.json intact, chat template intact

Provenance

Derivative of DavidAU/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored (Apache 2.0) which itself derives from Qwen/Qwen3.8-27B. The TWIN-TURBO tune targets reduced thinking tokens with matched output quality. Exception pattern follows the JC1DA INT4-W4A16 reference. A companion GGUF-parent checkpoint with the conservative 256-tensor recipe lives at esatapedico/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NVFP4.

License

apache-2.0

Card written with AI assistance.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen3_5ForCausalLM
Ревизия весов
b678fbb

0 моделей