MXFP4-квантизованная мультимодальная модель Qwen для диалога и анализа изображений с упором на быстрый инференс.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Solstice-AI публикует MXFP4-квантизованную и упакованную версию мультимодальной модели Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, исходную модель и слияние GAIN создал DavidAU. Это плотная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration, предназначенная для диалога и обработки изображений; метаданные указывают поддержку английского и китайского языков, чата и интерфейса вызова инструментов.
Весовая версия использует формат OCP Microscaling FP4 (MXFP4) с динамическим групповым масштабированием и `compressed-tensors`. Она ориентирована на высокую пропускную способность при инференсе на современных ускорителях; в README приведён пример запуска через vLLM с ограничением контекста 262144 токена. Репозиторий также содержит GGUF BF16 и safetensors форматы.
Лицензия — Apache-2.0. Квантизация может влиять на точность по сравнению с исходной моделью; README не приводит результатов сравнительных оценок. Карточка заявляет uncensored-версию, поэтому ответы могут не иметь обычных ограничений содержания.
MXFP4-квантизация может снижать точность относительно исходных весов; в README нет результатов сравнительной оценки. Карточка помечает модель как uncensored, поэтому ответы могут включать контент без обычных ограничений.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
OCP Microscaling FP4 (MXFP4) format via compressed-tensors with dynamic group scaling, optimized for high throughput inference across modern accelerators.
vllm serve Solstice-AI/Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-MXFP4 \
--tensor-parallel-size 1 \
--max-model-len 262144
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Готовая квантизация поддерживается только для текстовых LLM.