Carlosian/Qwen3.5-35B-A3B-Abliterated-GGUF — набор квантованных сборок модели Carlosian/Qwen3.5-35B-A3B-Abliterated в формате GGUF.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель разработана Carlosian и предназначена для локального запуска через llama.cpp, Ollama и LM Studio; задача библиотеки — генерация текста.
Это MoE-модель с общим размером 35B параметров и, судя по названию, примерно 3B активных параметров на токен. Доступны варианты квантования от Q2_K до Q8_0: Q2_K рассчитан на минимальные требования к видеопамяти, Q3 — на ограниченные ресурсы, Q4_K_M указан как рекомендуемый вариант по умолчанию, а Q5–Q8 ориентированы на более высокое качество. Более подробные сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны.
Сильная сторона набора — широкий выбор уровней квантования для разных аппаратных ограничений и сценариев локального использования. При этом квантование может снижать качество по сравнению с исходной моделью, особенно в наиболее компактных вариантах; конкретные требования к памяти, производительность и результаты оценивания не приведены. Модель помечена как abliterated и uncensored, однако практические последствия этого описания не раскрыты. Лицензия указана как other, без дополнительных условий в README.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Quantized GGUF builds of Carlosian/Qwen3.5-35B-A3B-Abliterated for llama.cpp / Ollama / LM Studio.
| Quant | Typical use |
|---|---|
| Q2_K | smallest / extreme low VRAM |
| Q3_K_S / Q3_K_M | low VRAM |
| Q4_0 / Q4_K_S / Q4_K_M | recommended default (Q4_K_M) |
| Q5_K_S / Q5_K_M | higher quality |
| Q6_K | near-lossless |
| Q8_0 | highest quality quant |
Built with llama.cpp on Thunder Compute (A100). Generated 2026-07-20. Uploaded incrementally per-quant to manage disk (35B MoE ladder is large).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.