I.5Создание и редактирование текста

Qwen-3.5-4B-Auto-ASVD — структурно факторизованная и дообученная языковая модель Kodjaoglanian на основе Qwen/Qwen3.5-4B. Она предназначена для генерации текста и диалогов; архитектура — плотная причинная Transformer-модель Qwen3.5 с гибридными слоями внимания и Gated DeltaNet. Веса сохранены в bfloat16, размер модели — 3,4 млрд параметров, длина контекста — до 262 144 токенов. При сокращении структуры автор применил Hessian-aware оценку чувствительности, Activation-Aware SVD и последующее восстановительное LoRA-дообучение на Wikitext-2. По README, факторизованы 64 матрицы проекций, а общее число параметров уменьшено примерно на 6,86% относительно целевых матриц; адаптеры объединены с весами, поэтому отдельный адаптер и специальные инференс-ядра не требуются. Модель использует стандартный интерфейс причинной языковой модели через Transformers. Карточка указывает английский язык. Базовая модель семейства Qwen описана как мультимодальная, но для этого репозитория подтверждены только текстовая генерация и чат, поэтому возможности понимания изображений или вызова инструментов не следует считать установленными. README предупреждает о возможном снижении качества на медицинских, юридических и специализированных задачах без дополнительной настройки. Лицензия — Apache-2.0.

unsloth/Qwen3.5-4B-GGUF — компактная мультимодальная модель семейства Qwen3.5, разработанная командой Qwen и подготовленная в формате GGUF компанией Unsloth. Она предназначена для локального запуска, а также для задач, связанных с обработкой текста и изображений: рассуждений, программирования, визуального понимания и агентских сценариев. Модель поддерживает 201 язык и диалект. Это каузальная языковая модель с vision-энкодером и гибридной архитектурой, объединяющей Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Указанные характеристики делают её ориентированной на эффективный инференс с относительно низкими требованиями к ресурсам, однако фактическая скорость и доступный контекст зависят от используемого движка и оборудования. Сильные стороны модели — сочетание текстовых и визуальных возможностей, широкий языковой охват, длинный контекст и пригодность для локального развертывания и дообучения с помощью Unsloth. Ограничения, включая качество на конкретных языках, типах изображений и прикладных задачах, в README подробно не описаны и требуют самостоятельного тестирования. Модель распространяется по лицензии Apache 2.0.

ZuzeTt/Qwen3.5-4B-imatrix-GGUF — мультимодальная causal language model с vision encoder из семейства Qwen3.5, разработанная командой Qwen. Модель основана на Qwen/Qwen3.5-4B-Base и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet и разреженной Mixture-of-Experts с механизмом Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Репозиторий содержит артефакты в формате GGUF, полученные с использованием llama.cpp; README также указывает совместимость исходной модели с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большое контекстное окно, компактный размер и архитектурная оптимизация для производительного инференса. Ограничения конкретной imatrix-квантизации, включая точность, требования к памяти и поддерживаемые варианты квантования, в README подробно не указаны. Лицензия — Apache 2.0.

FreedomAISVR/Qwen3.5-4B-Instruct-NVFP4-GGUF — квантованная в NVFP4 версия мультимодальной инструкционной модели Qwen3.5-4B от команды Qwen компании Alibaba. Репозиторий содержит GGUF-веса текстовой модели и отдельный проектор изображений SigLIP в формате F16; для инференса автор описывает использование llama.cpp. Модель рассчитана на диалог, выполнение инструкций, генерацию текста и кода, рассуждения и понимание изображений. Поддерживает английский, китайский и другие языки; режим рассуждений по умолчанию отключён и может быть включён настройкой enable_thinking=true. Модель имеет 4 млрд параметров, 32 слоя трансформера, гибридное внимание GQA и MLA с чередованием SSM Mamba-2, скрытую размерность 2560. Квантование NVFP4 использует около 4,74 бита на вес и ориентировано на ускорение на графических процессорах NVIDIA Blackwell; README рекомендует традиционные форматы для более старых GPU, AMD и CPU. Лицензия — Apache-2.0. Карточка не сообщает длину контекста и количественную оценку качества.

Qwen3.5-4B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen компании Alibaba. Модель предназначена для локального и серверного инференса, включая агентские сценарии с вызовом инструментов, генерацию кода, OCR, разбор документов и визуальные вопросы и ответы. Она поддерживает работу с текстом, изображениями и видео. Модель содержит около 4 млрд параметров и использует гибридную архитектуру Gated DeltaNet и Gated Attention. Заявлено контекстное окно 262 тыс. токенов с возможностью расширения более чем до 1 млн токенов, словарь из 248 тыс. токенов и поддержка 201 языка. Формат MTP интегрирует multi-token prediction для ускорения спекулятивного декодирования без отдельной draft-модели. Доступны варианты от BF16/F16 до квантованных Q2_K–Q8_0; размер наиболее компактных файлов начинается примерно от 1,96 ГБ. Сильные стороны модели — компактный размер, мультимодальность, длинный контекст и возможность запуска на потребительском оборудовании; для 4-битной квантизации заявлено около 3 ГБ видеопамяти. Ограничения включают возможное снижение качества при агрессивной квантизации и то, что заявленные показатели производительности приведены в README без независимой проверки. Распространение модели указано по лицензии Apache 2.0.

FastFlowLM/Qwen3.5-4B-NPU2 — мультимодальная причинная языковая модель с энкодером зрения, основанная на Qwen/Qwen3.5-4B. Модель разработана командой Qwen и предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated Delta Networks со sparse Mixture-of-Experts и блоками Gated Attention. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальность, большой контекст, высокая языковая и визуальная универсальность, а также акцент на эффективный инференс с низкой задержкой и умеренными вычислительными затратами. Ограничения, включая качество на отдельных языках, требования к оборудованию и особенности варианта NPU2, в README не уточняются. Лицензия — Apache 2.0.

jc-builds/Qwen3.5-4B-Q4_K_M-GGUF — это 4-битная квантованная версия базовой модели Qwen/Qwen3.5-4B, разработанной Alibaba Cloud. Квантование Q4_K_M и упаковка в формат GGUF выполнены для запуска на устройствах пользователя, в частности на iPhone, iPad и компьютерах Mac с Apple Silicon, через llama.cpp. Модель распространяется по лицензии Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, следования инструкциям и использования инструментов. Она поддерживает режим reasoning с тегами <think> и ChatML-формат запросов. В README заявлены мультимодальные возможности с ранним объединением зрительных данных, однако vision encoder предоставляется отдельно. Указана поддержка 201 языка и диалекта, включая английский, китайский, японский, корейский, русский и другие языки. Архитектура представляет собой гибрид Gated DeltaNet и полноразмерного softmax-внимания в соотношении 3:1: из 32 слоёв восемь блоков содержат по три слоя DeltaNet и одному attention-слою. Модель имеет около 4 миллиардов параметров, размер файла составляет примерно 2,6 ГБ, а нативное контекстное окно — 262 144 токена; для расширения контекста заявлена совместимость с YaRN. Гибридная архитектура рассчитана на снижение потребления памяти, что делает модель подходящей для локального и мобильного вывода. Ограничениями являются потеря точности из-за 4-битного квантования, высокие требования к оперативной памяти для длинного контекста и то, что заявленные мультимодальные функции требуют отдельного vision encoder.

Qwen3.5-9B-AWQ — это квантованная в формате AWQ версия модели Qwen/Qwen3.5-9B, опубликованная пользователем nicklas373. Конвертация выполнена с помощью llm-compressor версии 0.10.0.1 с использованием наборов данных Salesforce/wikitext и lmms-lab/COCO-Caption2017. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и задач понимания изображений в рамках мультимодальной архитектуры. Базовая модель представляет собой causal language model с vision encoder, однако приведённая конфигурация запуска через vLLM ориентирована на текстовый режим и включает специализированные chat template, reasoning parser и tool-call parser. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально более эффективный инференс при сохранении возможностей базовой модели. Ограничения включают зависимость от совместимого стека инференса и необходимость специальной настройки vLLM; фактическая работоспособность мультимодального режима для данной конвертации в README описана неоднозначно. Лицензия в предоставленных данных не указана. Для запуска рекомендуется vLLM с quantization compressed-tensors, tokenizer базовой модели Qwen/Qwen3.5-9B и параметрами, приведёнными в README.

QuantTrio/Qwen3.5-9B-AWQ — квантованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантование выполнено методом, не использующим обучающие данные. README не уточняет состав команды, выполнившей квантование. Модель предназначена для генерации и понимания текста и изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Это каузальная языковая модель с vision-энкодером, поддерживающая 201 язык и диалект. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Размер файлов модели составляет около 12 ГиБ. Ключевое преимущество — сочетание мультимодальности, длинного контекста и сниженных требований к памяти благодаря формату AWQ, что делает модель подходящей для локального и серверного инференса. Ограничения включают зависимость от актуальных версий vLLM и Transformers, необходимость CUDA 12.8 и возможные проблемы совместимости или настройки среды; количественные результаты бенчмарков в предоставленных данных отсутствуют. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT8 — производная версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; модель предназначена для совместного использования с Transformers, vLLM, SGLang и KTransformers. По идентификатору это вариант с представлением AWQ-BF16-INT8, однако подробности процедуры квантования в предоставленных данных не описаны. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она рассчитана на рассуждения, программирование, агентские сценарии, визуальное понимание, обработку документов и другие мультимодальные задачи. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Размер языковой части — 9 млрд параметров, используется 32 слоя, размер скрытого представления — 4096, а нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Сильными сторонами являются мультимодальность, большой контекст, высокая заявленная эффективность инференса и широкая языковая поддержка. Ограничения конкретной квантованной сборки, требования к оборудованию, точные характеристики vision encoder и результаты именно этой версии в предоставленном README не указаны. Модель распространяется по лицензии Apache-2.0.

Hyper-AI/Qwen3.5-9B-fp8 — квантизированная FP8-версия мультимодальной модели Qwen3.5-9B, основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для задач понимания и генерации текста, визуального анализа и сценариев vision-language, включая рассуждение, программирование, работу с изображениями и агентские приложения. Квантизация выполнена с использованием lightvl — инструментария, разработанного автором репозитория; модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers, а запуск через vLLM заявлен как поддерживаемый. Это causal language model с vision encoder и 9 млрд параметров. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts; языковая часть содержит 32 слоя, скрытое измерение 4096 и поддерживает контекст длиной 262 144 токена с расширением до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и характеристики визуального энкодера для этой версии отдельно не раскрыты. Основные преимущества версии — снижение потребления памяти примерно с 19 до 12 ГБ и заявленное ускорение примерно на 30% по сравнению с исходной моделью, что делает её более подходящей для локального и высокопроизводительного инференса. Ограничения связаны с использованием FP8-квантизации: фактическая точность и совместимость могут зависеть от оборудования и программного стека, а в README не приведены подробные результаты сравнения именно с неквантизированной версией. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанная ByteShape с использованием метода ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при низкой разрядности. Модель предназначена для локального запуска через llama.cpp или LM Studio и поддерживает работу с изображениями; для vision-сценариев llama.cpp автоматически загружает vision projector. Модель ориентирована на текстовые и мультимодальные задачи, включая генерацию текста, рассуждения, программирование, решение математических задач, следование инструкциям и function calling. Доступны варианты для GPU и CPU с разрядностью от 2,81 до 5,10 bits per weight и размером примерно от 3,15 до 5,72 ГБ. GPU-варианты используют сочетание KQ- и IQ-квантизации, а CPU-варианты — преимущественно KQ-квантизацию; это позволяет выбирать баланс между скоростью, требованиями к памяти и качеством. Сильными сторонами являются малый размер, возможность запуска на широком спектре оборудования, включая Raspberry Pi, поддержка изображений и несколько вариантов квантизации. Ограничения связаны с потерями качества, возможными при низкой разрядности, зависимостью производительности от оборудования и отсутствием поддержки этой модели в Ollama на момент публикации README. README не указывает языки и размер контекстного окна. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen3.5-9B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, опубликованная Mungert и основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для генерации и понимания текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она совместима с llama.cpp и экосистемой инструментов, поддерживающих формат GGUF. Модель содержит около 9 млрд параметров и объединяет языковую модель с vision encoder. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; языковая часть включает 32 слоя, скрытую размерность 4096 и промежуточную размерность feed-forward-блоков 12288. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Особенность этой сборки — модифицированная квантизация GGUF: для отдельных важных слоёв вручную повышается точность сверх стандартной конфигурации IMatrix. Это увеличивает размер файла, но, по заявлению автора, может улучшать точность при низкой разрядности, особенно для моделей с MoE. Конкретные результаты тестирования данной сборки и доступные варианты квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

Это квантованная в NVFP4 версия Qwen3.5-9B-Instruct от команды Qwen компании Alibaba, опубликованная FreedomAISVR в формате GGUF. Модель предназначена для генерации текста по инструкциям; вместе с файлом мультимодального проектора поддерживает обработку изображений и видео. В основе — гибридная архитектура Mamba2 и Attention, 9 млрд параметров и контекст до 262 тыс. токенов; предусмотрена поддержка Multi-Token Prediction и управления режимом рассуждений. Для запуска README приводит примеры с llama.cpp и llama-cpp-python. Квантование NVFP4 рассчитано на ускорение на GPU NVIDIA Blackwell и занимает меньше места, чем исходные веса; карточка указывает 4,73 бита на вес. Для обработки изображений и видео требуется отдельный проектор F16. Языки карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-9B-MLX-4bit — 4-битная MLX-квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная компанией Atomic Chat на основе оригинальных весов с использованием матрицы важности для повышения близости к полноточной модели. Модель предназначена для локального и полностью офлайн-использования на устройствах Apple Silicon через MLX и поддерживает генерацию текста, а также работу с изображениями. Она может применяться для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания. Модель содержит около 9,7 млрд параметров, имеет 32 слоя, контекст до 262 144 токенов, словарь размером 248 320 токенов и архитектуру Qwen3_5ForConditionalGeneration с 16 attention heads и 4 KV heads. В README она описана как мультимодальная модель с ранним объединением текстовых и визуальных токенов; также заявлена эффективная гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts, хотя в сводных характеристиках указана dense decoder. Квантизация уменьшает требования к памяти и ускоряет локальный инференс, но может приводить к некоторой потере качества относительно полноточной версии. Языки явно не перечислены. Модель распространяется под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

AxionML/Qwen3.5-9B-NVFP4 — квантизированная версия мультимодальной модели Qwen3.5-9B, разработанная AxionML на базе Qwen/Qwen3.5-9B с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для открытого и коммерческого применения, локального развертывания и высокопроизводительного инференса в сценариях, связанных с обработкой текста и изображений, включая рассуждения, программирование, работу агентов и визуальное понимание. Модель представляет собой причинную языковую модель с vision encoder и поддерживает 9 млрд параметров. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; заявлены 32 слоя, скрытая размерность 4096 и контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и ограничения мультимодального ввода для этой сборки не уточнены. Линейные слои модели используют NVFP4-квантизацию весов и активаций: значения хранятся в 4-битном формате FP4 с блочным масштабированием FP8. Это уменьшает размер модели на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16 и делает модель удобной для экономичного сервинга. Ограничением является потенциальная потеря качества из-за квантизации: в приведённых результатах NVFP4-версия немного уступает исходной Qwen3.5-9B на отдельных языковых бенчмарках. Для эффективной работы требуются совместимые аппаратные и программные средства, в частности GPU NVIDIA Blackwell и стек инференса с поддержкой NVFP4, например SGLang. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование.

RedHatAI/Qwen3.5-9B-quantized.w8a8 — квантизированная версия мультимодальной модели Qwen/Qwen3.5-9B, разработанная RedHatAI. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалоговых систем, анализа изображений, ответов на вопросы, следования инструкциям и задач рассуждения. Модель содержит около 9 млрд параметров и использует INT8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Размер модели на диске составляет около 14,0 ГБ вместо 19,3 ГБ в формате BF16. Энкодер изображений, токеновые эмбеддинги и слои linear attention оставлены в BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании через vLLM; доступен также текстовый режим с пониженным потреблением памяти. Ключевое преимущество модели — существенное сокращение размера и требований к памяти при сохранении качества, близкого к исходной Qwen/Qwen3.5-9B: на приведённых тестах показатели квантизированной версии находятся практически на уровне базовой модели. Ограничения включают зависимость от совместимого стека vLLM и частичную, а не полную квантизацию компонентов. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP — мультимодальная модель семейства Qwen3.5, дообученная и собранная DavidAU совместно с Nightmedia на основе нескольких собственных дообучений Qwen3.5-9B. Это плотная архитектура с 9 млрд параметров, 32 слоями и зрительным энкодером; модель принимает текст и изображения и формирует текстовые ответы. В карточке заявлены контекст до 256 тыс. токенов, режимы рассуждения и диалога, а также интерфейс вызова инструментов. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая ролевые сценарии. По заявлению автора, она прошла многоэтапное дообучение и слияние моделей; опубликованы также варианты GGUF, включая квантизованные и MTP-сборки, но эта карточка содержит исходные веса BF16 в safetensors. Автор приводит сравнительные результаты тестов, однако они не гарантируют превосходства на любых задачах. Модель помечена как uncensored; лицензионные условия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — языковая мультимодальная модель на базе Qwen3.5-9B, опубликованная trinityomnis. В README указано, что это результат многоэтапного дообучения и слияния нескольких моделей, выполненного автором совместно с Nightmedia; среди использованных базовых моделей названа DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на английский и китайский языки, а лицензия указана как Apache-2.0. Модель предназначена для общих задач, следования инструкциям, рассуждений, программирования, творческого письма, художественной литературы и ролевых сценариев. Она поддерживает режимы thinking/reasoning и instruct, заявлена как полностью uncensored и рассчитана на контекст до 256k токенов. Включена обработка изображений, но для работы с vision требуется отдельно загрузить совместимый файл mmproj и разместить его рядом с GGUF-файлом. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction. Все варианты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; MTP-варианты дополнительно используют Q8_0 для MTP-тензоров и могут обеспечивать более высокую скорость при достаточном уровне token acceptance. В README приведены результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель превосходит указанную базовую Qwen3.5-9B и в отдельных показателях сопоставима с более крупными моделями. При этом заявленные бенчмарки не гарантируют превосходство в любых задачах, а производительность MTP зависит от температуры, параметров генерации, приложения и оборудования; при низком token acceptance обычная квантизация может быть быстрее.

Qwen3.5-text-4B-bnb-4bit — текстовая языковая модель, разработанная techwithsergiu на базе Qwen3.5-text-4B, производной от Qwen3.5-4B команды Qwen. Модель предназначена для генерации и обработки текста, диалоговых сценариев и последующего дообучения с использованием LoRA или QLoRA. Поддерживает режимы с включённым и выключенным рассуждением перед ответом. Модель содержит текстовый backbone размера 4B и использует 4-битную BNB NF4-квантизацию с double quantization; вычисления выполняются в bfloat16, а веса lm_head сохранены в bf16 для стабильности и качества вывода. Визуальная башня удалена, поэтому модель принимает только текст и не поддерживает обработку изображений. Ключевое преимущество — сниженное потребление видеопамяти: заявлено около 3,12 ГБ против 9,32 ГБ у исходной f16-модели. Контекстное окно и перечень поддерживаемых языков в README не указаны. Модель особенно ориентирована на текстовое LoRA-дообучение с Unsloth, TRL и PEFT; такая конфигурация проверена на видеокарте RTX 3070 с 8 ГБ памяти. Ограничения связаны с отсутствием мультимодальности, а документация по полноценному LoRA-дообучению на момент публикации ещё не завершена. Модель распространяется по лицензии Apache-2.0.

Hellohihihih/qwen35-v35-textmix-merged-full — полноразмерная объединённая текстовая причинная языковая модель на архитектуре Qwen3.5, созданная автором репозитория на основе Qwen/Qwen3.5-9B и адаптера LoRA Hellohihihih/qwen35-v30-textmix-lora. Веса адаптера объединены с базовыми весами, поэтому для запуска не требуется загружать PEFT-адаптер отдельно. Модель предназначена для генерации текста и диалогов; в тегах карточки указаны английский и корейский языки, ответы на вопросы и рассуждения. Это текстовая версия без кодировщиков изображений, аудио и видео, а также без мультимодального проектора. Модель содержит 7,2 млрд параметров, поддерживает контекст до 262 144 токенов и распространяется в формате safetensors через Transformers. Лицензия указана как other, поэтому условия использования следует уточнить в карточке репозитория.

Это GGUF-версия модели Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32, подготовленная mradermacher в виде квантованных весов с imatrix. По метаданным, исходная модель дообучена на базе nightmedia/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32 и предназначена для диалоговой генерации текста и следования инструкциям. В README указаны варианты квантования IQ и наличие файла imatrix для самостоятельного создания квантов; также отмечена поддержка изображений, но детали мультимодального использования в этой карточке не приведены. Модель можно применять для генерации и продолжения текста, ответов в чате, творческого письма и задач программирования, если эти возможности унаследованы от исходной модели. Метаданные указывают на контекст 256 тыс. или 1 млн токенов, однако точное значение для этой сборки не подтверждено. Языковые теги карточки: английский, китайский, японский и испанский. Репозиторий распространяется по лицензии Apache-2.0. Квантование уменьшает требования к памяти, но конкретный компромисс между размером и качеством зависит от выбранного варианта; README отмечает, что некоторые малые IQ-кванты могут быть предпочтительнее аналогичных по размеру вариантов.

MoonRide/Qwen3.6-27B-heretic-ara-GGUF — GGUF-квантизированная версия модели Qwen3.6-27B, разработанная MoonRide. Это декензурированная модификация исходной модели Qwen/Qwen3.6-27B, созданная с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с визуально-текстовыми запросами; исходная архитектура включает языковую модель с vision encoder. Модель содержит 27B параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet и Gated Attention, а также обучалась с использованием multi-step MTP. В репозитории представлены различные GGUF-квантизации; рекомендованы IQ3_XS размером около 12 ГБ и IQ3_XXS размером около 11,2 ГБ. Ключевая особенность модели — значительно сниженная склонность к отказам: в приведённом сравнении она отказала в 16 из 100 тестовых случаев против 91 из 100 у исходной Qwen3.6-27B. При этом декензурирование может влиять на поведение и безопасность модели, а квантизация способна снижать точность по сравнению с оригинальными весами; измеренное KL-расхождение составляет 0,0221. Модель распространяется по лицензии Apache-2.0.

mmangkad/Qwen3.6-27B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.6-27B, разработанной Alibaba и подготовленной с использованием NVIDIA Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers, содержит 27 млрд параметров, принимает и генерирует текстовые последовательности и поддерживает контекст длиной до 262 тысяч токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4. Модель ориентирована на работу с NVIDIA GPU, совместима с архитектурой NVIDIA Blackwell и рассчитана на запуск через SGLang в Linux. Данные о поддерживаемых языках, полном составе обучающего набора и результатах комплексной оценки не раскрыты; среди указанных оценок есть benchmark GPQA. К сильным сторонам относятся готовая к развертыванию квантизация, большой контекст и оптимизация для инференса на совместимом оборудовании NVIDIA. Ограничения включают зависимость от поддерживаемой GPU-инфраструктуры и SGLang, а также возможное воспроизведение токсичных высказываний и социальных предубеждений из обучающих данных. Модель может выдавать неточные, неполные, нерелевантные или избыточные ответы. Распространение разрешено по лицензии Apache 2.0; при использовании также необходимо учитывать условия и требования базовой модели Qwen3.6-27B.

Qwen3.6-27B-Seven-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-27B-Seven, подготовленная mradermacher. Модель предназначена для генерации и понимания текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма и ролевого взаимодействия. Доступны варианты квантования от Q2_K до Q8_0, что позволяет выбирать баланс между размером файлов, скоростью работы и качеством; размер файлов составляет примерно от 11 до 29,1 ГБ. Заявлена поддержка английского, китайского, японского и испанского языков. Для мультимодального использования предоставляются отдельные компоненты mmproj в форматах Q8_0 и f16. README не содержит точных сведений об архитектуре, числе параметров базовой модели помимо обозначения 27B, фактическом размере контекстного окна и поддерживаемых типах входных данных, поэтому эти характеристики нельзя уточнить. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как вариант с лучшим качеством среди перечисленных. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежные компромиссы квантования: более компактные варианты могут уступать по качеству более крупным, а для мультимодальной работы требуется отдельный mmproj-файл. Указание долгого контекста в тегах README не подтверждено подробными техническими параметрами.

Qwen3.6-27B-Seven-i1-GGUF — это квантизированная версия текстово-визуальной модели Qwen3.6-27B-Seven, подготовленная mradermacher на основе модели nightmedia/Qwen3.6-27B-Seven. Распространяется в формате GGUF с imatrix-квантами различного уровня сжатия, размером примерно от 11 до 22,5 ГБ. В README также указано наличие отдельных mmproj-файлов для поддержки изображений; конкретные параметры мультимодальной архитектуры не раскрыты. Заявлена поддержка английского, китайского, японского и испанского языков, а также контекста до 1M токенов, однако точные технические характеристики базовой модели в карточке не приведены. Модель предназначена для диалогов, генерации текста, программирования, математических и STEM-задач, исследовательских сценариев, творческого и художественного письма, сторителлинга и ролевых взаимодействий. К сильным сторонам относятся широкий выбор квантов, возможность подобрать баланс между размером, скоростью и качеством, а также наличие imatrix-вариантов; для некоторых конфигураций в README отдельно рекомендуются IQ-кванты и i1-Q4_K_M как быстрый вариант. Ограничения связаны с потерями качества при сильном сжатии, отсутствием подробных результатов тестирования и неполным описанием архитектуры и фактического размера контекста. Модель распространяется по лицензии Apache-2.0.

barozp/Qwen3.6-28B-REAP20-A3B-GGUF — набор GGUF-квантизаций модели, созданной на основе 0xSero/Qwen3.6-28B-REAP20-A3B, которая, в свою очередь, является вариантом Qwen3.6-35B-A3B от Qwen с удалением 20% экспертов методом REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации текста, диалоговых сценариев, программирования, рассуждений и работы со знаниями, включая локальный запуск через llama.cpp, LM Studio, Jan или Ollama. Указан английский язык. Это разреженная MoE-модель с гибридной архитектурой Qwen3.6, объединяющей Gated DeltaNet и Mixture of Experts. Она содержит около 28 млрд параметров, из которых примерно 3 млрд активны на токен; всего используется 205 экспертов, 8 из которых активируются для каждого токена. Контекст составляет до 262 144 токенов. Репозиторий предоставляет варианты от BF16 до 2-битных и IQ-квантизаций; рекомендуемый вариант Q4_K_M занимает около 17 ГБ и обеспечивает баланс качества и размера. Для него заявлены требования от 20 ГБ VRAM при полном запуске на GPU либо около 24 ГБ RAM при работе только на CPU. Сильные стороны модели — уменьшенный размер по сравнению с исходной MoE-моделью, сохранение примерно 3 млрд активных параметров на токен, широкий выбор квантизаций и совместимость с локальными инструментами на базе llama.cpp. Более сильное сжатие уменьшает требования к памяти, но может снижать качество генерации; точные результаты бенчмарков, поддержка других языков и практические ограничения качества в README не приведены. Распространение заявлено по лицензии Apache 2.0.

FreedomAISVR выпустила GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled, дообученной на базе Qwen/Qwen3.6-35B-A3B с дистилляцией рассуждений Claude 4.7 Opus. Это текстовая MoE-модель для диалогов и генерации ответов; архитектура использует 35 млрд параметров, около 3 млрд из которых активны на токен. Контекст составляет 262 144 токена, поддержка изображений отсутствует. Эксперты квантизированы в MXFP4, остальные веса — в Q8_0, веса маршрутизатора хранятся в F32; файл GGUF занимает около 18,87 ГБ. Модель можно запускать через llama.cpp, например как сервер для диалогового приложения. Лицензия — Apache 2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8-dynamic — мультимодальная модель семейства Qwen3.6 с архитектурой mixture-of-experts (MoE), разработанная RedHatAI на основе Qwen/Qwen3.6-35B-A3B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст; заявлены улучшенные возможности рассуждений, вызова инструментов и обработки визуально-языковых запросов. Точные поддерживаемые языки и размер контекстного окна в представленном README не указаны. Модель оптимизирована для инференса в vLLM с помощью динамической FP8-квантизации весов и активаций. Квантизация применяется к линейным слоям трансформерных блоков, тогда как визуальный энкодер, MoE-маршрутизатор, общие эксперты, эмбеддинги и некоторые другие компоненты сохраняются в исходной точности. Это примерно на 50% снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Поддерживаются текстовый и мультимодальный режимы, вызов инструментов, рассуждения и speculative decoding с Multi-Token Prediction. Модель распространяется по лицензии Apache 2.0; в README подтверждена валидация для vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4.

Qwen3.6-35B-A3B-Heretic-Cerebellum-GGUF — это квантизированная GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Вариант Heretic создан на основе uncensored-модификации от llmfan46 с применением Heretic v1.2.0, а смешанно-точная квантизация Cerebellum выполнена deucebucket. Модель относится к архитектуре Qwen3 и использует MoE-подход; рекомендуемый файл Q3_K_M занимает около 11,96 ГБ. Для мультимодальной работы требуется отдельный vision projector BF16 размером около 858 МБ, поддерживающий обработку изображений и видео через llama.cpp. Модель предназначена для генерации текста, рассуждений, ответов на вопросы, программирования и мультимодального описания изображений. По приведённым локальным тестам на RTX 3090 она показывает 95,48% на ARC-Challenge, 91,78% на HellaSwag, 75,42% на MMLU-Redux и pass@1 64,63% на HumanEval+. Эти результаты характеризуют конкретную квантизированную сборку и не гарантируют аналогичную производительность в других конфигурациях. Сильными сторонами являются сочетание относительно компактного размера, MoE-архитектуры, смешанной квантизации, поддержки мультимодальных сценариев и хороших результатов на задачах общего reasoning и программирования. Ограничения включают потери качества из-за квантизации, необходимость совместимого рантайма и vision projector для работы с изображениями и видео, а также отсутствие в предоставленных данных сведений о длине контекста и поддерживаемых языках. Модель распространяется по лицензии Apache-2.0.