I.5Создание и редактирование текста

MInAlA/Qwen3-4B-Instruct-2507-DPO-merged — языковая модель на архитектуре Qwen3, дообученная методом Direct Preference Optimization (DPO) на наборе предпочтений argilla/ultrafeedback-binarized-preferences. Она предназначена для диалогов и генерации текста по инструкциям. Модель содержит около 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. Модель основана на Qwen/Qwen3-4B-Instruct-2507 и сохранена в формате safetensors. Карточка не уточняет, какие языки поддерживаются, лицензию и результаты оценки качества; эти сведения здесь не приводятся.

Qwen3-4B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанная ByteShape с применением технологии ShapeLearn. Технология подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться локально с llama.cpp и Ollama на CPU и GPU. Модель относится к текстовым генеративным моделям, имеет размер исходной версии 4B параметров и представлена в вариантах KQ и IQ с разной средней разрядностью — от 2,55 до 4,74 бит на вес. KQ-варианты рекомендованы для CPU благодаря эффективности ядер GGML, а IQ-варианты — для современных Nvidia GPU. Размер файлов составляет примерно от 1,29 до 2,39 ГБ. Доступны различные компромиссы между скоростью инференса, размером и качеством; заявленные нормализованные показатели качества достигают 99,80%. Сильными сторонами являются компактность, широкий выбор вариантов под разное оборудование и оптимизация квантования с использованием ShapeLearn. Ограничения связаны с потерями качества, возможными при низкой разрядности, а также с отсутствием в README сведений о языках, размере контекста, точной архитектуре и мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено Dhptl с использованием quant-kit в формате GGUF, предназначенном для локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Модель относится к классу текстовых instruction-following и conversational-моделей и предназначена для диалогов, генерации текста, ответов на вопросы и других сценариев работы с текстом. Заявленный размер базовой модели — 4 млрд параметров. В карточке указано поддерживаемое язык — английский; сведения о контекстном окне, точной архитектуре и мультимодальности отсутствуют. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 1,55 до 3,99 ГБ. Версия Q4_K_M рекомендована как баланс размера и качества, Q3_K_M — для систем с ограниченной памятью, а Q8_0 — для максимально близкого к исходной модели качества. Квантование уменьшает требования к памяти и позволяет запускать модель на потребительском оборудовании, но варианты с более сильным сжатием могут заметно терять в качестве. Приведённые показатели сохранения качества около 97–99% заявлены без фактических результатов тестов в этой карточке, поэтому их следует воспринимать ориентировочно. Модель распространяется по лицензии Apache-2.0. Для практического использования необходимо выбрать конкретный GGUF-файл с учётом доступной оперативной памяти и допустимого компромисса между скоростью, размером и качеством.

Qwen3-4B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research, ориентированного на эффективное выполнение моделей на устройствах Apple Silicon. Модель предназначена для генерации текста в инструкционном формате и локального использования на совместимых компьютерах Apple Silicon. Она подходит для диалоговых приложений, обработки инструкций и других задач текстовой генерации. Модель имеет размер 4B параметров, относится к текстовым моделям и доступна в 8-битном формате MLX. Другие характеристики, включая поддерживаемые языки, длину контекста и точные параметры архитектуры, в README не указаны. Ключевое преимущество модели — сочетание компактного размера, 8-битной квантования и оптимизации под Apple Silicon, что делает её более подходящей для локального запуска с ограниченными ресурсами. Ограничения включают возможное снижение точности по сравнению с исходной моделью и типичные для языковых моделей риски генерации неточной, вредной или неподходящей информации. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-Q8_0-GGUF — это квантизированная версия модели Qwen3-4B-Instruct-2507, преобразованная в формат GGUF проектом ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы в диалоговых и инструкционных сценариях; запуск возможен через llama.cpp в режиме CLI или сервера, включая локальное развертывание. Из известных характеристик следует, что это модель размером 4B параметров с инструкционным назначением и квантованием Q8_0. README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста, поэтому эти свойства нельзя достоверно уточнить. Формат GGUF и совместимость с llama.cpp удобны для локального запуска на различном оборудовании, однако конкретные требования к ресурсам и производительность зависят от используемой конфигурации. Модель распространяется по лицензии Apache-2.0.

enacimie/Qwen3-4B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-4B, преобразованная в формат GGUF с использованием llama.cpp через сервис GGUF-my-repo. Исходная модель разработана командой Qwen, а данный репозиторий предназначен для запуска в экосистеме llama.cpp. Модель относится к классу text-generation и работает с текстовыми входными и выходными данными. Ключевая характеристика этой версии — квантизация Q4_K_M, уменьшающая требования к памяти по сравнению с полноразмерной моделью. Размер базовой модели составляет 4B параметров. Модель можно использовать локально через llama-cli или llama-server, в том числе для генерации текста и развёртывания локального сервера inference. В README приведён пример контекста длиной 2048 токенов, однако максимальный размер контекста, поддерживаемые языки и подробности архитектуры не указаны. Лицензия — Apache-2.0.

Qwen3-4B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-4B, разработанная Red Hat (Neural Magic). Это авторегрессионная текстовая модель архитектуры Qwen3ForCausalLM: принимает текст и генерирует текст. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. В модели применена квантизация весов до INT4, выполненная с использованием алгоритма GPTQ и библиотеки llm-compressor. Квантизируются веса линейных операторов в блоках трансформера; используется асимметричная поканально-групповая схема с размером группы 64. Формат W4A16 снижает число бит на параметр с 16 до 4, что примерно на 75% уменьшает размер на диске и требования к памяти GPU. В README не указаны поддерживаемые языки и точный максимальный контекст, однако при оценке использовалась длина контекста до 40 960 токенов. Модель оптимизирована для эффективного развертывания с backend vLLM, включая OpenAI-совместимый режим обслуживания. Квантизация снижает требования к ресурсам, но может влиять на качество по сравнению с исходной Qwen3-4B; конкретные результаты оценки в представленном README не приведены. Лицензия — Apache 2.0, при этом использование должно соответствовать применимым законам и нормативным требованиям.

AxionML/Qwen3.5-0.8B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-0.8B, разработанная AxionML для открытого и готового к развёртыванию использования. Модель представляет собой каузальную языковую модель с vision-энкодером и поддерживает обработку текста и изображений. Она предназначена для генерации и понимания текста, визуального анализа, рассуждений, программирования и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя и имеет нативный контекст длиной до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Версия NVFP4 создана с помощью NVIDIA TensorRT Model Optimizer: веса и активации линейных слоёв представлены в 4-битном формате FP4, что уменьшает размер на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся небольшой размер, экономичное хранение и инференс, длинный контекст и мультимодальность. К ограничениям относятся возможная потеря качества из-за агрессивной 4-битной квантизации и зависимость производительности от совместимого оборудования и программного стека; модель ориентирована прежде всего на GPU с поддержкой NVFP4, включая архитектуру NVIDIA Blackwell. Доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

DazzlingShadow публикует вариант Qwen3.5-122B-A10B с изменённым профилем отказов (abliteration). В приведённом сравнении частота отказов снизилась с 88 до 16 из 100 запросов при KL-дивергенции 0,0233 относительно исходной модели. Это мультимодальная модель для диалога, генерации текста и понимания изображений; карточка описывает её как причинную языковую модель с визуальным энкодером и разреженной архитектурой Mixture-of-Experts с Gated Delta Networks. Всего 122 млрд параметров, активируется 10 млрд; контекстное окно — 262 144 токена с возможностью расширения до 1 010 000. Исходная модель заявляет поддержку 201 языка и диалекта, однако карточка не уточняет, какие языки сохраняются в этом производном варианте. Модель доступна в формате Safetensors и предназначена для Transformers и совместимых серверов инференса. Лицензия — Apache-2.0. Снижение отказов не гарантирует их полного отсутствия; производительность и совместимость зависят от используемого фреймворка и ресурсов.

txn545/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия языковой модели Qwen3.5-122B-A10B от Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Это авторегрессионная модель на архитектуре Transformers с разреженной экспертной архитектурой: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Модель принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Языки README не уточняет. Модель предназначена для развертывания в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Квантизация весов и активаций линейных операторов в MoE-блоках выполнена в формате NVFP4 и ориентирована на инференс через SGLang на GPU NVIDIA Blackwell под Linux. Указанная версия квантизации создана с помощью nvidia-modelopt v0.43.0.dev52+g35e60991c; для запуска требуется актуальная версия SGLang с поддержкой соответствующих изменений. Сильной стороной модели являются крупный общий объём параметров, мультимодальный ввод, длинный контекст и оптимизация для аппаратного ускорения NVIDIA. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также возможные неточности, токсичные ответы и усиление предубеждений, присутствовавших в исходных данных обучения. Сведения о полном обучающем и тестовом наборах, а также подробные языковые характеристики не раскрыты. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование с учётом условий базовой модели Qwen3.5-122B-A10B.

Qwen3.5-2B-MTP-GGUF — набор GGUF-файлов, подготовленный prithivMLmods на основе Qwen3.5-2B от команды Qwen компании Alibaba. Это компактная плотная мультимодальная модель примерно на 2 млрд параметров с поддержкой текста, изображений и видео. Модель ориентирована на локальный запуск на потребительском оборудовании и доступна в вариантах от Q2_K до BF16, а также с отдельными мультимодальными проекторами mmproj. Архитектура включает 24 слоя с гибридным сочетанием Gated DeltaNet и Gated Attention, скрытым размером 2048, 8 Q-heads и 2 KV-heads с размерностью головы 256. Заявлены словарь на 248 тысяч токенов, поддержка 201 языка и нативное контекстное окно 262 тысячи токенов с возможностью расширения свыше 1 млн токенов через YaRN. Формат MTP добавляет несколько выходных голов для предсказания будущих токенов и может ускорять спекулятивное декодирование без отдельной draft-модели. Модель предназначена для мультиязычных чат-ботов, визуальных вопросов и ответов, OCR, разбора документов, агентских сценариев, вызова инструментов и генерации кода для интерфейсов. Среди заявленных характеристик — режим пошагового рассуждения, поддержка vLLM, Ollama и llama.cpp, а также показатели 78,6% на IFEval, 66,5% на MMLU-Pro с включённым режимом рассуждения, 84,5% на OCRBench и 75,6% на VideoMME. Преимуществами являются малый размер, мультимодальность и широкий контекст; итоговое качество, скорость и требования к памяти зависят от выбранного типа квантизации, а для работы с изображениями и видео требуются соответствующие файлы mmproj. Распространяется по лицензии Apache 2.0.

QuantTrio/Qwen3.5-397B-A17B-AWQ — квантизированная AWQ-версия модели Qwen3.5-397B-A17B, разработанной командой Qwen и распространяемой через Hugging Face. Репозиторий содержит веса и конфигурацию в формате Transformers, полученные методом data-free quantization без калибровочного набора данных. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это каузальная языковая модель со зрительным энкодером, поддерживающая мультимодальные входы. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Общее число параметров составляет 397 млрд, из них 17 млрд активируются при обработке запроса; указаны 60 слоёв и размер скрытого представления 4096. Заявлена поддержка 201 языка и диалекта. В README для запуска через vLLM рекомендуется максимальная длина контекста 32768 токенов. Сильные стороны модели — мультимодальность, широкий языковой охват, высокая вычислительная эффективность разреженной MoE-архитектуры и поддержка вызова инструментов и режимов рассуждения в совместимой инфраструктуре. Ограничения включают очень крупный размер файлов — около 228 ГиБ, высокие требования к GPU-инфраструктуре и зависимость от экспериментальных или предварительных версий vLLM и Transformers; для эффективного запуска также требуется CUDA 12.8 и корректная настройка экспертного параллелизма. Лицензия — Apache 2.0.

litert-community/Qwen3.5-4B — это конвертированная версия текстовой части модели Qwen3.5-4B, разработанной Alibaba, в формат LiteRT-LM для локального вывода на устройствах через runtime Google LiteRT. Модель предназначена для генерации текста, диалогов и других сценариев on-device inference на мобильных и периферийных устройствах. В поставляемый пакет не входят vision tower и MTP-головы, поэтому данная версия работает только с текстом; функции tool calling и обработки изображений не включены. Архитектура гибридная: 24 слоя GatedDeltaNet с линейным вниманием и 8 слоёв полного внимания. Линейные слои используют постоянное по размеру свёрточное и рекуррентное состояние, благодаря чему потребление памяти слабо растёт с длиной контекста; KV-кэш сохраняется только для слоёв полного внимания, с бюджетом 4096 токенов. Доступны варианты int8 размером 4,10 ГБ и Mixed INT4 размером 2,57 ГБ. INT4 рассчитан на устройства с ограниченной оперативной памятью, но немного уступает int8 на математических задачах GSM8K. Модель демонстрирует проверенную совместимость с PyTorch-оригиналом, корректную работу на CPU и GPU, включая Metal, а также поддержку многоходовых диалогов. Для использования требуется LiteRT-LM версии не ниже 0.15.0. Поставляемый пакет использует упрощённый ChatML-шаблон без визуальных и инструментальных секций, поэтому совместимость со стандартным шаблоном Qwen3.5 ограничена. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-4B-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-4B, подготовленный командой Atomic Chat. Модель предназначена для локального и полностью автономного запуска задач генерации текста, включая диалоги, рассуждения, программирование и агентские сценарии. В репозитории представлены только текстовые версии без визуального проектора, поэтому изображения не поддерживаются, хотя базовая модель относится к мультимодальным моделям Text и Image. Модель содержит около 4,7 млрд параметров и 32 слоя; заявлены контекст до 262 144 токенов и словарь размером 248 320 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая версии с importance matrix, которая призвана уменьшить потери качества при низкой разрядности. Вариант Q4_K_M указан как оптимальный баланс размера, скорости и качества; файлы занимают примерно от 1,9 до 4,5 ГБ. Сильные стороны модели — возможность офлайн-использования, широкий выбор квантизаций и относительно небольшие требования к памяти. К ограничениям относятся потеря качества в наиболее компактных вариантах, отсутствие поддержки изображений в данном репозитории и необходимость применять шаблон чата Qwen3.5 через параметр --jinja, иначе возможна некорректная генерация диалоговых реплик. Приведённые в README результаты являются опубликованными оценками базовой Qwen3.5-4B, а не независимыми измерениями Atomic Chat. Лицензия — Apache-2.0.

AxionML/Qwen3.5-4B-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная AxionML на основе Qwen/Qwen3.5-4B. Модель предназначена для открытого использования, развёртывания и высокопроизводительного inference-сервинга, включая сценарии визуального понимания, рассуждений, программирования и агентских задач. Это causal language model с vision encoder и архитектурой, сочетающей Gated Delta Networks и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя, скрытую размерность 2560 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют NVFP4-квантизацию весов и активаций с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер хранения и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся сочетание мультимодальности, длинного контекста и сниженные требования к памяти, что делает модель подходящей для эффективного локального и серверного развёртывания на совместимом оборудовании. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и необходимость аппаратной и программной поддержки NVFP4, в частности соответствующих GPU и средств инференса. Модель распространяется по лицензии Apache 2.0 и разрешена для коммерческого и некоммерческого использования.

Qwen3.5-9B-AWQ-INT4 — квантизированная версия языковой модели Qwen3.5-9B, разработанной командой Qwen. Это текстовая генеративная модель для работы с английским языком, включая генерацию и продолжение текста, диалоговые сценарии и другие задачи, поддерживаемые базовой моделью через библиотеку Transformers. Модель использует 4-битное квантование весов по схеме AWQ (INT4 weight-only), благодаря чему занимает примерно 7,7 ГБ на диске и требует меньше памяти, чем полноразмерная версия. Для запуска указан контекст до 32 768 токенов и совместимость с vLLM. README не содержит подробностей о внутренней архитектуре базовой модели, точном количестве параметров сверх обозначения 9B, мультимодальности или результатах сравнительных тестов. Ключевое преимущество модели — сниженное потребление памяти при сохранении назначения исходной Qwen3.5-9B. Ограничения включают поддержку только английского языка, а также возможное снижение точности и качества по сравнению с исходной моделью из-за 4-битного квантования. Модель распространяется по лицензии Apache License 2.0 как производная работа Qwen3.5-9B; для использования необходимо учитывать требования лицензии и атрибуции.

RedHatAI/Qwen3.5-9B-FP8-dynamic — это квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе Qwen/Qwen3.5-9B. Модель принимает текст и изображения, генерирует текст и предназначена для задач диалога, следования инструкциям, рассуждений и обработки визуально-текстовых запросов. Для развёртывания предусмотрена интеграция с vLLM; доступен также режим только языковой модели с меньшими требованиями к памяти. В модели применена динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Активации квантизуются во время вывода с использованием масштабирования по тензору, без калибровочных данных. Размер модели на диске сокращён с 19,3 до 14,0 ГБ, примерно на 27%. В README указана возможность запуска через vLLM с параметром максимальной длины контекста 262144 токена, однако отдельные сведения о языках модели не приведены. По опубликованным оценкам, квантованная версия сохраняет около 98,4–99,9% результатов исходной модели на тестах GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond. Основные преимущества — уменьшенный объём хранения и потенциально более эффективный инференс при сохранении близкого к исходному качества. Ограничение заключается в небольшом снижении показателей на всех приведённых тестах; фактические требования к аппаратному обеспечению и производительность зависят от конфигурации. Модель распространяется по лицензии Apache-2.0.

ZuzeTt/Qwen3.5-9B-imatrix-GGUF — мультимодальная каузальная языковая модель с vision-энкодером из семейства Qwen, разработанного командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Указана лицензия Apache-2.0. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для квантования использовался llama.cpp; при подготовке указано вычисление более чем 400 фрагментов с n_ctx=1024, однако конкретный уровень квантования в README не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, высокая заявленная эффективность архитектуры, большой контекст и широкая языковая поддержка. Ограничения заключаются в отсутствии подробных сведений о фактических характеристиках именно данной квантованной сборки, включая точный формат и уровень квантования, требования к памяти и результаты независимого тестирования. README также описывает совместимость с Transformers, vLLM, SGLang и KTransformers.

CodeShield/Qwen3.5-9B-Instruct — инструкционная текстовая генеративная модель семейства Qwen, опубликованная на Hugging Face под организацией CodeShield. Модель предназначена для диалогового взаимодействия и генерации текста по инструкциям; для работы предполагается использование библиотеки Transformers. Из идентификатора модели следует размер порядка 9 млрд параметров и ориентация на instruction-tuning, однако подробности архитектуры, обучения и состава данных в доступных материалах не описаны. Модель может применяться для ответов на вопросы, ведения диалога, создания и преобразования текстов, а также в составе приложений на базе conversational AI. Лицензия, поддерживаемые естественные языки и длина контекста в предоставленных данных не указаны. README содержит шаблонную автоматически созданную карточку без результатов оценки и конкретных рекомендаций по использованию, поэтому модель следует дополнительно проверять на качество, безопасность и соответствие задачам перед применением.

AMAImedia выпустила эту сборку в рамках платформы NOESIS; это текстовая версия NeoHorse-1-9B, объединённая из Qwen/Qwen3.5-9B и TokenRhythm/NeoHorse-1-9B. Модель использует плотную архитектуру Qwen3.5 для генерации текста и диалога, а репозиторий содержит GGUF и safetensors; метаданные указывают 7,2 млрд параметров и контекст до 262 144 токенов. Исходный NeoHorse дообучен для работы с агентными сценариями, инструментами, кодом и инструкциями, а в README для этой сборки также описана абляция отказов (abliteration). Модель ориентирована на многоязычный текстовый вывод, включая английский, русский, китайский и другие языки из метаданных. Она подходит для локального диалога, следования инструкциям, задач программирования и текстовых агентных систем с инструментами. Заявленные результаты NeoHorse относятся к исходной модели; README не приводит отдельной оценки качества именно этой сборки. Это текстовая сборка без весов зрения, а запуск примеров для перепакованного релиза на GPU не проверен. Лицензия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — квантизированная GGUF-версия модели на базе Qwen3.5-9B, разработанная автором bernquant совместно с Nightmedia. Модель создана в результате многоэтапного дообучения и слияния нескольких fine-tune-моделей на локальном оборудовании. Она ориентирована на повышение общего интеллекта, следование инструкциям, рассуждения, программирование, творческое письмо, художественную литературу, ролевые сценарии и другие универсальные задачи. Заявлена как полностью uncensored и heretic-модель с ослабленным отказом от запросов. Модель поддерживает английский и китайский языки, имеет контекстное окно до 256 тысяч токенов и активированную обработку изображений. Для работы с vision требуется отдельный файл mmproj. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction; NEO Imatrix-квантизация заявлена как улучшающая точность, особенно в длинном контексте. MTP-варианты могут обеспечивать более высокую скорость генерации, но чувствительны к температуре, repetition penalty и уровню token acceptance; при низком acceptance обычная версия может работать быстрее. Сильными сторонами заявлены компактный размер 9B, высокая производительность на ряде тестов, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность локального запуска в стандартных приложениях с поддержкой GGUF. Приведённые бенчмарки показывают высокие результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако автор отдельно отмечает, что превосходство над более крупными моделями не гарантируется для всех задач. Ограничениями являются зависимость скорости и качества от выбранной квантизации и оборудования, необходимость отдельного mmproj для изображений и возможное снижение эффективности MTP при неподходящих параметрах. Лицензия — Apache-2.0.

Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это мультимодальная языковая модель на базе Qwen3.5-9B, разработанная HauhauCS и преобразованная TheCluster в формат MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и видео, а также для сценариев, где требуется модель без встроенных отказов на запросы. Модель содержит 9 миллиардов плотных параметров и 32 слоя. Она использует гибридную архитектуру с линейным вниманием Gated DeltaNet и полным softmax-вниманием в соотношении 3:1, поддерживает Multi-Token Prediction и контекст длиной 262 тысячи токенов с возможностью расширения до 1 миллиона через YaRN. Заявлены нативная мультимодальность для текста, изображений и видео, словарь на 248 тысяч токенов и поддержка 201 языка, включая английский, китайский и русский. Ключевая особенность — агрессивное удаление отказов: согласно карточке, модель не отказывается отвечать на запросы, сохраняя заявленные возможности исходной модели. При этом она может иногда добавлять краткие дисклеймеры в конце ответа. Модель квантизована в формате mxfp4 с эффективностью 4,821 бит на вес, поэтому её характеристики следует оценивать с учётом квантизации. Для использования доступны отдельные рекомендуемые параметры генерации для режимов с рассуждением и без него. Модель распространяется по лицензии Apache 2.0.

Vishva007/Qwen3.5-9B-W4A16-AutoRound-GPTQ — квантизированная версия модели Qwen/Qwen3.5-9B, подготовленная Vishva007 с использованием метода AutoRound от Intel. Модель предназначена для генерации текста, задач рассуждения и обработки изображений с текстом, включая визуальное понимание и OCR. Она поддерживает архитектуру и возможности базовой модели Qwen3.5-9B; точный размер контекста и перечень языков в README не указаны. Используется квантизация W4A16: веса представлены в 4-битном формате, а активации сохраняются в 16-битной точности. Применены симметричная квантизация с размером группы 32, 1200 итераций оптимизации и 512 калибровочных образцов при длине последовательности 4096. По заявлению автора, это снижает потребление памяти примерно на 50% по сравнению с FP16-версией и подходит для развёртывания на потребительских и средних GPU. Vision Tower сохранён в BF16 для сохранения качества визуального анализа и OCR, а модули Multi-Token Prediction — в исходной BF16-точности. Модель поддерживает Multi-Token Prediction и спекулятивное декодирование в совместимых серверных средах, включая vLLM, что может повысить пропускную способность. Совместимость заявлена для transformers и бэкендов, поддерживающих веса AutoRound в формате GPTQ, включая vLLM, SGLang и AutoGPTQ. Ограничения связаны с зависимостью от совместимого программного обеспечения и аппаратной поддержки квантизации; количественные результаты тестов качества в README не приведены. Лицензия — Apache-2.0.

Qwen3.6-14B-A3B-FableVibes-mlx-q4 — это 4-битная MLX-квантизированная версия модели tvall43/Qwen3.6-14B-A3B-FableVibes, подготовленная для локального запуска на компьютерах Apple Silicon. Исходная модель основана на REAP-pruned Qwen3.6-35B-A3B, дистиллирована с использованием QLoRA и reasoning-трасс Claude Fable 5. Она предназначена для генерации текста, решения задач и сценариев, требующих пошагового рассуждения, с выводом рассуждений в формате <think>...</think>. Модель использует гибридную архитектуру Qwen3.5 с линейным вниманием GatedDeltaNet, полным attention и разреженным MoE. Она содержит около 14 млрд параметров, из которых примерно 3 млрд активируются на каждом токене; используется 90 экспертов, 8 из которых выбираются для обработки токена. Квантизация выполнена в 4 бита с group size 64, размер модели составляет около 7,2 ГБ. Разреженность MoE обеспечивает высокую скорость декодирования — около 46 токенов в секунду на M4, а модель рассчитана на запуск на Mac с 16 ГБ памяти. Ограничением является некоторое снижение точности строгого рассуждения из-за 4-битной квантизации; для более высокой точности доступен вариант с квантизацией q6. Лицензия — Apache 2.0.

hampsonw/Qwen3.6-27B-AWQ-BF16-INT4-mtp-bf16 — вариант модели Qwen3.6-27B, созданный на основе чекпойнта cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 версии 26.05.01. Модель представляет собой каузальную языковую модель с энкодером изображений, разработанную в экосистеме Qwen. Она ориентирована на генерацию текста, программирование, агентные сценарии, работу с репозиториями и задачами, требующими визуально-текстового понимания. Модель содержит около 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура включает Gated DeltaNet, Gated Attention, FFN и механизм multi-token prediction (MTP); размер модели указан как 26,37 ГБ. Основная часть весов сжата до INT4 в формате AWQ/compressed-tensors, что снижает требования к памяти. Тензоры MTP заменены на необжатые BF16 из базовой модели и предназначены для speculative decoding в vLLM. Это может повысить эффективность генерации при использовании поддерживаемой конфигурации vLLM, однако чекпойнт требует совместимого программного стека и настройки MTP. README не приводит количественных результатов бенчмарков и подробностей об ограничениях качества мультимодального ввода. Лицензия — Apache-2.0.

btbtyler09/Qwen3.6-27B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия модели Qwen/Qwen3.6-27B, разработанной командой Qwen. Модель представляет собой плотную мультимодальную систему примерно с 27 млрд параметров, предназначенную для генерации и понимания текста, работы с изображениями и ускоренного вывода с использованием MTP (Multi-Token Prediction). Контрольная точка опубликована с лицензией Apache-2.0. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, чередующихся в соотношении 3:1. Размер скрытого представления составляет 5120, размер промежуточного слоя — 17408, максимальная длина контекста — 262 144 токена. В состав входят полноразмерный 27-блочный ViT-энкодер для обработки изображений и MTP-модуль для speculative decoding. Языки и специализированные языковые возможности отдельно не указаны. Линейные модули текстового декодера квантизованы в INT8 с помощью GPTQ, тогда как vision-энкодер, MTP, эмбеддинги, нормы и выходная голова сохранены в BF16 или FP16. Размер модели составляет около 32 ГБ вместо примерно 50 ГБ в BF16. По заявленным измерениям, ухудшение perplexity на wikitext-2-raw-v1 составляет всего 0,07%, что указывает на близкое к исходному качество. Модель подходит для мультимодального сервинга и длинного контекста, однако для запуска рекомендуется vLLM; прямое использование через GPTQModel и transformers на момент публикации не поддерживается, а для некоторых версий vLLM может потребоваться исправление ошибки разбора конфигурации.

Qwen3.6-27B-Jörmungandr — экспериментальный вариант Qwen, созданный nightmedia слиянием NuSLERP нескольких моделей семейства Qwen3.6 и Qwen3.5, а также Tess-4-27B. Это плотная модель класса Qwen3_5ForConditionalGeneration с 27 млрд параметров; репозиторий содержит веса safetensors и использует библиотеку Transformers. Метаданные указывают на поддержку визуальных входов и диалогового режима. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая создание историй и ролевые сценарии. В README приведены результаты бенчмарков и оценки для нескольких вариантов квантования, но они не заменяют независимую оценку качества. Карточка не сообщает длину контекста; поддерживаемые языки по метаданным — английский, китайский, японский и испанский. Модель распространяется по лицензии Apache-2.0.

mradermacher/Qwen3.6-27B-Miraculix-i1-GGUF — набор квантизированных GGUF-версий модели Qwen3.6-27B-Miraculix, разработанной nightmedia и преобразованной и опубликованной mradermacher. Модель имеет размер 27B параметров, предназначена для запуска в совместимых локальных средах, поддерживает instruction-tuned и conversational-сценарии, а также заявлена как vision-модель при наличии соответствующих mmproj-файлов в статическом репозитории. Модель ориентирована на генерацию текста, программирование, математические и STEM-задачи, исследовательские сценарии, рассуждения, многоязычное общение и творческое письмо, включая создание сюжетов, сцен и ролевые взаимодействия. В метаданных указаны английский, китайский, японский и испанский языки. Также заявлена поддержка длинного контекста до 256K и 1M токенов, однако точные характеристики контекстного окна в README не подтверждены отдельно. Репозиторий предоставляет варианты квантизации от i1-Q2_K до i1-Q6_K размером примерно от 11 до 22,5 ГБ. Квантизации IQ могут обеспечивать лучшее качество при сопоставимом размере, а i1-Q4_K_M отмечена как быстрая и рекомендуемая; Q4_0 описана как быстрая, но с низким качеством. Конкретные требования к памяти, производительность, результаты тестирования и ограничения качества не приведены. Лицензия — Apache-2.0.

mlx-community/Qwen3.6-35B-A3B-4bit-DWQ — это MLX-совместимая 4-битная версия модели Qwen3.6-35B-A3B, опубликованная сообществом mlx-community. Исходную модель разработала команда Qwen компании Alibaba Cloud. Она предназначена для локального запуска и генерации текста, диалогов, а также мультимодальных сценариев с обработкой изображений и видео; репозиторий поддерживает использование через MLX и mlx-lm. Модель имеет архитектуру Mixture of Experts с 35 млрд параметров, из которых на один токен выбираются 8 из 256 экспертов. Конфигурация включает гибридные linear attention и full attention, 40 слоёв и максимальную длину контекста 262 144 токена. Исходная модель поддерживает текстовые и визуальные входы; для производного MLX-файла заявлена 4-битная квантизация, уменьшающая размер до примерно 20,7 ГБ и предназначенная прежде всего для запуска на совместимом оборудовании Apple Silicon. Сильная сторона варианта — существенно сниженные требования к памяти по сравнению с полной моделью и возможность локального использования через MLX. Ограничения включают зависимость от MLX-совместимой инфраструктуры и потенциальную потерю качества из-за квантизации; в карточке производного репозитория подробные результаты тестов, перечень поддерживаемых языков и отдельные ограничения не указаны. Для исходной Qwen3.6-35B-A3B указана лицензия Apache-2.0, однако отдельная лицензия производного репозитория mlx-community явно не приведена.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored. Квантизацию выполнил mradermacher. Модель предназначена для генерации и обработки текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и исследовательских экспериментов. В метаданных заявлена поддержка английского, китайского, японского и испанского языков, а также conversational, instruction-tuned и multilingual-сценариев. Доступны варианты с разными уровнями квантизации — от Q2_K размером 13,3 ГБ до Q8_0 размером 37,9 ГБ, включая IQ4_XS, Q4_K_M и другие форматы. Для мультимодального использования предоставляются дополнительные файлы mmproj. Более качественные варианты требуют больше памяти, тогда как компактные быстрее и экономичнее, но могут сильнее терять качество; конкретные характеристики архитектуры, максимального контекста и производительности в README не указаны. Лицензия — Apache-2.0.