II.2Создание и понимание программного кода

PocketDoc_Dans-PersonalityEngine-V1.2.0-24b-GGUF — квантизированная GGUF-версия модели Dans-PersonalityEngine-V1.2.0-24b, разработанной PocketDoc и подготовленной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, программирования, математических и логических задач, работы с инструментами, а также обсуждения тем химии, биологии и климата. Указан английский язык. Модель содержит 24 млрд параметров в исходной версии; опубликованы варианты квантизации Q4, Q5, Q6 и Q8 с размером файлов примерно от 14,83 до 25,05 ГБ. Поддерживается запуск через llama.cpp, LM Studio и другие совместимые проекты. В README не указаны точная архитектура исходной модели, размер контекстного окна и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются широкий набор задач, ориентация на диалоги, ролевые сценарии, художественное письмо, код и рассуждения, а также наличие вариантов с разным компромиссом между качеством и требованиями к памяти. Ограничения включают зависимость характеристик от выбранной квантизации и значительные требования к дисковому пространству и памяти. Модель распространяется по лицензии Apache-2.0.

bunnycore/Qwen2.5-1.5B-Matrix — объединённая языковая модель, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой использована Qwen/Qwen2.5-1.5B-Instruct; в объединение также вошли варианты Qwen2.5 для математики и программирования и Josiefied-Qwen2.5-1.5B-Instruct-abliterated-v1. Модель имеет архитектуру Qwen2ForCausalLM и 1,5 млрд параметров. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции, задачи по программированию и математике. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Модель доступна в формате safetensors для библиотеки Transformers. Сочетание нескольких специализированных моделей расширяет набор задач, для которых её можно применять, но README не приводит сравнительных оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

Карточка модели sagar-rasakonda/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

FastFlowLM/Qwen3-0.6B-NPU2 — языковая модель семейства Qwen3, разработанная командой Qwen; в README она указана как производная от базовой модели Qwen/Qwen3-0.6B. Это причинная языковая модель для генерации и продолжения текста, диалогов, следования инструкциям, решения математических и логических задач, генерации кода, творческого письма, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и обычного ответа в рамках одного запроса. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, и включает 28 слоёв. Используется Grouped Query Attention с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. В README заявлена поддержка более 100 языков и диалектов, однако для данной карточки явно указан язык English. Модель относится к текстовой модальности; сведения о поддержке изображений, аудио или видео отсутствуют. Сильными сторонами являются компактный размер, возможность выбора между более глубоким рассуждением и эффективной генерацией, а также ориентация на диалоги, инструкции, мультиязычные задачи и работу в агентных сценариях. Ограничения включают небольшой объём параметров по сравнению с крупными моделями и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и специфических характеристик варианта NPU2. Для использования рекомендуется актуальная версия библиотеки Transformers; также указана совместимость с vLLM и SGLang. Лицензия — Apache-2.0.

TeichAI/Qwen3-14B-DeepSeek-v3.2-Speciale-Distill — плотная языковая модель семейства Qwen3 на 14 млрд параметров, дообученная TeichAI на наборах рассуждений DeepSeek v3.2 Speciale. Она предназначена для генерации текста в диалоге, решения математических задач, программирования и исследовательских запросов. Модель принимает текст и выдаёт текст; метаданные указывают контекст до 40 960 токенов и поддержку интерфейса вызова инструментов. Модель основана на unsloth/Qwen3-14B и распространяется в формате safetensors. В карточке перечислены обучающие наборы OpenCodeReasoning, 1000x и openr1-math. Указаны английский язык и лицензия не приведена в предоставленных данных. Возможности и качество рассуждений, кодирования и вызова инструментов независимо не подтверждены.

AxionML/Qwen3.5-0.8B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-0.8B, разработанная AxionML для открытого и готового к развёртыванию использования. Модель представляет собой каузальную языковую модель с vision-энкодером и поддерживает обработку текста и изображений. Она предназначена для генерации и понимания текста, визуального анализа, рассуждений, программирования и агентских сценариев. Модель содержит около 0,8 млрд параметров, 24 слоя и имеет нативный контекст длиной до 262 144 токенов. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Версия NVFP4 создана с помощью NVIDIA TensorRT Model Optimizer: веса и активации линейных слоёв представлены в 4-битном формате FP4, что уменьшает размер на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся небольшой размер, экономичное хранение и инференс, длинный контекст и мультимодальность. К ограничениям относятся возможная потеря качества из-за агрессивной 4-битной квантизации и зависимость производительности от совместимого оборудования и программного стека; модель ориентирована прежде всего на GPU с поддержкой NVFP4, включая архитектуру NVIDIA Blackwell. Доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

Qwen3.5-397B-A17B-VQ-2.4bpw — векторно-квантизированная версия модели Qwen3.5-397B-A17B, опубликованная TheDrainFlorist на базе исходной модели Qwen/Qwen3.5-397B-A17B. Модель предназначена для генерации текста, рассуждений, работы с кодом и, при использовании совместимого mlx-vlm, обработки изображений. Она ориентирована прежде всего на запуск на компьютерах Apple Silicon с unified memory, включая одну систему с 128 ГБ памяти. Модель использует формат MLX и квантизацию с эффективностью 2,4 бита на параметр; размер артефакта составляет около 110,8 GiB. По заявлению автора, она проверена с контекстом до 30 031 токена, потребляет около 110,8 GiB резидентной памяти и достигает примерно 19–22 токенов в секунду при декодировании на M4 Max. Для текстового режима требуется mlx-lm с поддержкой model_file, а для изображений — mlx-vlm версии 0.6.16 или новее. В метаданных указан английский язык. Сильные стороны модели — возможность локального запуска очень крупной Qwen-модели на одной 128-ГБ машине, отсутствие необходимости в патчах и сравнительно низкий размер благодаря векторной квантизации. В README приведены измеренные значения perplexity: 2,7655 на указанном корпусе Wikitext и 2,6383 на смешанном корпусе кода. Ограничения включают высокие требования к памяти, зависимость от совместимых версий MLX-инструментов и необходимость выделить почти весь доступный объём памяти; приведённые метрики нельзя напрямую переносить на другие корпуса и сценарии. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это GGUF-версия модели на базе DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель создана в результате многоэтапной дообученной настройки и слияния нескольких моделей Qwen3.5 9B; в разработке также участвовал Nightmedia. Предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. Заявлена как полностью uncensored и ориентированная на минимизацию отказов. Модель поддерживает контекст до 256k токенов, английский и китайский языки, а также обработку изображений. Для работы с изображениями требуется отдельный файл mmproj, размещённый в одной папке с GGUF-файлом. Доступны обычные и MTP-квантизации в форматах GGUF. NEO IMATRIX заявлена как технология, улучшающая точность квантизированных версий и работу с длинным контекстом, а MTP-варианты могут ускорять генерацию за счёт многотокенного предсказания. К сильным сторонам относятся высокая заявленная производительность на ряде тестов общего назначения, улучшенное следование инструкциям, режимы thinking и instruct, а также возможность запуска в стандартных приложениях, поддерживающих GGUF. Ограничения включают зависимость скорости от аппаратного обеспечения и параметров генерации; MTP-версии могут работать хуже обычных при низком уровне принятия предсказанных токенов, сложных творческих задачах или температуре выше 1. Модель не обязательно превосходит более крупные версии во всех задачах. Лицензия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это производная модель семейства Qwen3.5-9B, основанная на DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Она создана автором модели совместно с Nightmedia с использованием многоэтапной донастройки и слияния нескольких моделей на локальном оборудовании. Модель предназначена для общего диалогового использования, следования инструкциям, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и instruct, а также полностью uncensored-поведение. Поддерживаются английский и китайский языки. Модель имеет контекст до 256k токенов и активированное зрение: для обработки изображений требуется отдельный файл mmproj. GGUF-квантизации совместимы со стандартными приложениями для запуска локальных моделей. Доступны обычные GGUF и MTP-GGUF-варианты с NEO IMATRIX-квантизацией, которая, по заявлению автора, повышает точность и качество работы в длинном контексте. MTP-варианты могут ускорять генерацию благодаря multi-token prediction, но их эффективность зависит от оборудования, настроек и показателя token acceptance; при низком acceptance обычные варианты могут работать быстрее. Сильными сторонами заявлены высокая производительность для модели такого размера, улучшенное следование инструкциям, рассуждения и результаты на ряде тестов. Ограничения включают зависимость скорости и качества от выбранной квантизации, аппаратного обеспечения и параметров генерации, а также отсутствие гарантии превосходства над более крупными моделями во всех задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Theseus-i1-GGUF — квантизированная версия модели Qwen3.5-9B-Theseus, подготовленная mradermacher на основе модели nightmedia. Распространяется в формате GGUF и предназначена для локального запуска и инференса в совместимых инструментах. В репозитории представлены imatrix-квантизации различных типов и размеров, включая варианты от i1-Q2_K до i1-Q6_K, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Модель ориентирована на генерацию текста, диалоги, программирование, математические и STEM-задачи, рассуждения, творческое письмо, создание историй и ролевые сценарии. Заявлена поддержка английского, китайского, японского и испанского языков. README указывает на мультимодальность и наличие vision-возможностей, однако конкретные характеристики обработки изображений не раскрыты. Также упоминается контекст до 256k или 1M токенов, но точное поддерживаемое значение для этой сборки не указано. К сильным сторонам относятся широкий выбор квантизаций, включая варианты с imatrix, возможность подбора компактной конфигурации и заявленная универсальность задач. Ограничения включают экспериментальный характер исходной модели, возможное снижение качества на низких уровнях квантизации и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp8 — квантизированная MLX-версия модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive, основанной на Qwen3.5-9B. Модель конвертирована в формат MLX командой TheCluster; исходная базовая модель разработана HauhauCS на основе Qwen. Лицензия — Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео, включая диалоговые приложения, анализ контента, программирование и задачи рассуждения. Это плотная модель с 9 млрд параметров и 32 слоями, использующая гибридную архитектуру Gated DeltaNet с линейным вниманием и полноразмерным softmax-вниманием в соотношении 3:1. Она поддерживает Multi-Token Prediction, контекст до 262 тысяч токенов с возможностью расширения до 1 млн с помощью YaRN, словарь на 248 тысяч токенов и 201 язык. Ключевая особенность варианта — усиленное удаление отказов от выполнения запросов; в README заявлены отсутствие отказов в тесте из 465 запросов и отсутствие потери возможностей, однако независимые результаты не приведены. Агрессивная настройка может быть нежелательной для сценариев, требующих строгих защитных ограничений. Квантизация mxfp8 с размером группы 32 и показателем 8,626 bpw снижает требования к памяти, но потенциально может влиять на точность по сравнению с исходной моделью. Для режима рассуждения рекомендованы temperature 0.6, top_p 0.95 и top_k 20, для нережима рассуждения — temperature 0.7, top_p 0.8 и top_k 20.

Qwen3.5-abliterated-MAX-AIO-GGUF — экспериментальная серия моделей, разработанная prithivMLmods на основе Qwen3.5 от Alibaba. Репозиторий содержит GGUF-варианты размеров 0,8B, 2B, 4B и 9B, а также ссылки на вариант 27B. Модели предназначены для локального и периферийного развертывания с использованием llama.cpp и других совместимых средств инференса. Серия ориентирована на генерацию текста, рассуждения, программирование, математические задачи и мультимодальные сценарии с обработкой изображений и текста. Согласно README, модели используют гибридную архитектуру Gated DeltaNet, поддерживают контекст до 262K токенов, словарь для 201 языка и переключаемые режимы рассуждения. Для мультимодального применения доступны отдельные файлы mmproj, а для разных требований к памяти — варианты BF16, F16, F32 и Q8_0. Ключевая особенность — модификация alignment и снижение количества отказов следовать инструкциям, что может быть полезно для исследовательских задач, создания датасетов и приложений, требующих менее ограниченного поведения. При этом такие изменения ослабляют стандартные защитные механизмы, поэтому модели требуют самостоятельной оценки безопасности. Заявленные улучшения производительности основаны на сообщественных тестах и не подтверждены официальными оценками. Лицензия — Apache-2.0.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP — мультимодальная модель генерации текста, разработанная AEON-7 на базе AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16. Модель предназначена для диалогов, анализа и генерации текста, программирования и других сценариев, поддерживаемых Qwen3.6. Заявлены языки English, Chinese и multilingual. Модель опубликована в формате NVFP4 с поддержкой Multi-Token Prediction (MTP) и speculative decoding. Архитектура использует гибридный стек Gated DeltaNet (GDN) и attention, а также мультимодальный режим. Размер модели — 27B параметров. В конфигурации развертывания указан контекст до 229 376 токенов. Формат NVFP4 снижает требования к памяти и рассчитан на ускорители NVIDIA Blackwell, включая DGX Spark/GB10 и дискретные RTX, при использовании совместимого контейнера vLLM. Поддерживаются native MTP и внешний DFlash drafter; заявлены функции reasoning и вызова инструментов через соответствующие парсеры vLLM. К сильным сторонам относятся большой контекст, мультимодальность, оптимизация для Blackwell, ускоренное декодирование и uncensored/abliterated-настройка. Ограничения включают зависимость от специализированных версий vLLM, аппаратных и конфигурационных требований, а также то, что модель помечена как устаревшая: автор рекомендует вместо неё Qwen3.8 Ultimate Uncensored NVFP4-MIXED. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP — мультимодальная модель с 27 млрд параметров на архитектуре Qwen3.5, дообученная DavidAU совместно с участниками проекта на базе Qwen/Qwen3.6-27B. Она предназначена для диалогов общего назначения, следования инструкциям, решения задач, рассуждений, программирования и работы с изображениями. В карточке также заявлены возможности творческого письма и ролевого общения. Модель принимает текст и изображения и генерирует текст; в метаданных отмечены интерфейс вызова инструментов и поддержка зрения. Обучение включало несколько этапов дообучения и слияния, а также данные для рассуждений и письма. Указаны английский и китайский языки. Репозиторий использует Transformers и формат safetensors; лицензия — Apache 2.0. Автор сообщает об улучшениях следования инструкциям и рассуждений, однако приведённые сравнительные результаты являются заявлениями карточки и не гарантируют качество на конкретных задачах. Упомянуты также варианты GGUF-квантования с отдельными рекомендациями по настройкам MTP, но в текущих метаданных форматом репозитория указан safetensors.

sudo-0x2a/Qwen3.6-27B-NVFP4-GPTQ — квантованная версия базовой модели Qwen/Qwen3.6-27B, подготовленная автором репозитория sudo-0x2a. Это текстогенерационная модель с поддержкой визуальных компонентов, предназначенная прежде всего для локального запуска и инференса на высокопроизводительном потребительском оборудовании. Тестирование проводилось на одной NVIDIA RTX 5090 с использованием vLLM и FP8 для KV-кэша. Модель использует смешанную точность: слои внимания, линейного внимания и MLP квантованы в NVFP4, а vision-компоненты, MTP, lm head и embeddings сохранены в BF16. При квантовании применялись SmoothQuant и GPTQ, калибровка выполнена на 512 образцах с длиной последовательности 8192. По приведённым локальным оценкам модель показывает 85,0 на подмножестве MMLU-Pro и GPQA Diamond, 57,0 на SWE-bench Verified Easy и 84,0 на подмножестве MMMU Pro; результаты напрямую сопоставимы с BF16-оценками ограниченно, поскольку получены в разных средах. Главное преимущество — существенное снижение требований к памяти при сохранении широких возможностей базовой модели, включая работу с текстом, кодом и визуальными задачами. При этом надёжность работы с длинным контекстом не гарантируется: из-за сильного квантования чувствительных linear attention layers возможна деградация на больших длинах последовательности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-V1.1-FF711-Darker-Hero-GAIN-H2.0 — дообученная Дэвидом AU мультимодальная модель семейства Qwen3.5 с плотной архитектурой на 27 млрд параметров, основанная на Qwen/Qwen3.6-27B. Карточка описывает метод GAIN, также называемый COLD FUSION: динамическая настройка обучения на уровне отдельных примеров. Модель предназначена для диалогов, рассуждений, программирования, творческого письма и работы с изображениями; метаданные указывают поддержку vision и интерфейс вызова инструментов. Автор заявляет о сокращённых блоках рассуждений, следовании инструкциям и сохранении производительности при низкой точности, однако приведённые в README сравнения и показатели являются заявлениями автора. В примерах упоминается режим без фильтрации и контент NSFW; модель может выдавать ненормативную лексику и материалы для взрослой аудитории. Карточка также сообщает о снижении частоты отказов. Указана лицензия Apache-2.0. В метаданных перечислены английский и китайский языки; других языков карточка не подтверждает.

Qwen3.6-27B-V2-abliterated-uncensored-TQ3_1S-GGUF — мультимодальная модель Lemura Labs на основе Qwen3.6-27B, объединённая с производной Jackrong/Qwopus3.6-27B-v2, затем изменённая методом abliteration и квантованная в GGUF TQ3_1S. Она принимает текст и изображения при подключении отдельного файла mmproj.gguf и предназначена для диалогов, рассуждений, программирования и анализа изображений. Модель содержит 27 млрд параметров, использует гибридную архитектуру с GatedDeltaNet и полным attention; заявленная длина контекста — 262 144 токена. Указанная в карточке языковая поддержка включает английский и китайский, а также мультиязычность. В README сообщается, что abliteration снизила частоту отказов в тесте автора с 91 до 4 из 100 при KL-дивергенции 0,0176; эти результаты являются заявлением разработчика. Для инференса именно квантованных весов требуется форк llama.cpp-tq3 с поддержкой TQ3_1S; для обработки изображений необходим отдельный vision-проектор mmproj.gguf. Лицензия — Apache-2.0.

Mojo24x7/Qwen3.6-35B-A3B-npuaware-rk3588-GGUF — это GGUF-квантизация модели Qwen3.6-35B-A3B, разработанная для ускорения на NPU Rockchip RK3588. Сборка использует backend RKNPU2 в rk-llama.cpp и предназначена для генерации текста, включая работу с документами, кодом, логами и другим длинным контекстом. Модель имеет гибридную архитектуру: 30 блоков Gated-DeltaNet/SSM, 10 полноценных attention-блоков и один MTP-блок. Указана поддержка английского языка. Размер файла Q35-npuaware.gguf составляет 14,89 GiB, средняя точность хранения — 3,60 бит на вес; заявленный контекст — до 32768 токенов. Ключевая особенность сборки — NPU-aware размещение весов: экспертные тензоры переведены в Q3_K и выполняются на CPU, тогда как основные attention- и SSM-проекции сохраняют NPU-совместимые типы Q4_0, Q8_0 и Q6_K. На Radxa ROCK 5B+ с RK3588 и 16 ГБ памяти заявлены показатели 20,4 токена/с для prefilling и 4,8 токена/с для decode, что превосходит сравниваемую квантизацию UD-IQ4_XS при меньшем размере файла. Для работы требуется специальная сборка rk-llama.cpp с backend RKNPU2 и корректными параметрами запуска. Модель особенно подходит для длинных одиночных запросов, но менее эффективна для продолжительных диалогов: из-за рекуррентной архитектуры последующие сообщения требуют повторной обработки большей части контекста. Поддержка 256 экспертов с выбором 8 экспертов на токен обеспечивает MoE-структуру; уменьшение числа активных экспертов до 4 ускоряет decode, но снижает качество. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Qwable-Holo3-Qwopus — экспериментальная мультимодальная модель, созданная автором nightmedia слиянием NuSLERP нескольких моделей на базе Qwen3.6-35B-A3B, включая Holo3, Qwopus и Qwable. В метаданных указана архитектура семейства Qwen3.5 MoE и класс Qwen3_5MoeForConditionalGeneration; репозиторий содержит веса safetensors. Базовая модель имеет 35 млрд параметров, но в карточке нет отдельного подтверждения размера итоговой сборки или длины её контекста. Модель предназначена для диалога и следования инструкциям, работы с изображениями, рассуждений, программирования, математики и творческого письма. В README описано переключение режимов быстрого ответа и глубокого рассуждения с помощью шаблона чата. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Автор приводит сравнительные результаты нескольких вариантов квантования и показатели perplexity, памяти и скорости токенов. Модель распространяется по лицензии AGPL-3.0. Автор отмечает, что использованный шаблон чата — ранняя версия и модель не проверялась с его актуальной версией; поэтому поведение переключателей рассуждения может зависеть от шаблона и конфигурации.

Qwen3.6-35B-A3B-Uncensored-Genesis-Final-NVFP4-GGUF — квантизированная в формате NVFP4 GGUF версия модели LuffyTheFox. NVFP4-квантизацию и интеграцию MTP выполнил jan1k; базовая модель разработана HauhauCS. Модель распространяется по лицензии Apache-2.0. Это мультимодальная модель для генерации текста и работы с изображениями, ориентированная на диалоговые сценарии, программирование, точные задачи, творческое взаимодействие и roleplay. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется дополнительный файл mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf. Модель предназначена для запуска через llama.cpp и поддерживает контекст до 128K токенов. Архитектура — Mixture of Experts: около 35 млрд общих параметров, примерно 3 млрд активных на токен, 8 маршрутизируемых экспертов и 1 общий эксперт. Доступен вариант с MTP для speculative decoding, способный ускорять генерацию. К сильным сторонам относятся сравнительно низкая вычислительная нагрузка на токен, поддержка reasoning и мультимодальности, а также оптимизация для GPU NVIDIA Ampere, Ada Lovelace и Blackwell. Ограничения включают зависимость от совместимого программного обеспечения и оборудования, необходимость отдельного vision-проектора для изображений и отсутствие в карточке независимых бенчмарков качества.

Qwen3.6-40B-DeckardUncensored-OpusDistilled-W4A16-AWQ — мультимодальная vision-language модель на базе DavidAU/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking, разработанная philbert440. Она предназначена для генерации и анализа текста и изображений, прежде всего для творческого письма и программирования. По описанию, модель относится к серии Deckard-40B Uncensored и ориентирована на сценарии, где требуется высокая производительность и отсутствие встроенных отказов по соображениям безопасности. Модель содержит около 40 миллиардов параметров и использует квантизацию W4A16-AWQ: 4-битные веса при активациях FP16. Формат основан на weight-only квантизации AWQ и compressed-tensors. Модель совместима с 1Cat-vLLM на видеокартах Tesla V100 с архитектурой SM70, а также со стандартным vLLM на системах с Ampere и новее. README не указывает максимальный размер контекста и полный перечень поддерживаемых языков. К сильным сторонам относятся мультимодальность, ориентация на творческие и кодовые задачи, уменьшенное потребление памяти благодаря квантизации и возможность запуска на Tesla V100. Ограничения включают потерю точности, возможную для 4-битной квантизации, зависимость от совместимого программного стека и отсутствие защитных отказов: разработчик прямо возлагает на пользователя ответственность за законное и этичное применение. Модель распространяется по лицензии Apache-2.0.

leonsarmiento/Qwen3.8-27B-3bit-mtp-mlx — это 3-битная MLX-квантизация мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач text-to-text и image-text-to-text, включая диалоговую работу с текстом и изображениями, генерацию кода и другие сценарии локального запуска на устройствах Apple через совместимые MLX-инструменты. В основу входит dense hybrid-attention VLM с 64 слоями: 48 слоями linear attention и 16 слоями full attention, контекстом до 262K токенов и сохранённой vision tower. Поддерживаемые языки в README не указаны. Основная часть слоёв использует 3-битное affine-квантование с group_size=64; embedding layers и lm_head имеют 4-битное квантование, а vision tower — 8-битное. Размер модели составляет около 13,04 ГБ в трёх шардах. Отличительная особенность — встроенный Multi-Token Prediction (MTP) слой, позволяющий включать спекулятивное декодирование без отдельной модели-черновика. В oMLX с включённым MTP заявлено ускорение генерации примерно на 30,7% в однопоточном режиме и до 90,9 токена в секунду при пакетной генерации 4×, однако требуется около 15,69 ГБ пиковой памяти. Сильными сторонами являются мультимодальность, большой контекст, относительно небольшой размер для класса 27B и высокая скорость декодирования при использовании oMLX. Ограничения включают повышенное потребление памяти при активном MTP, отсутствие поддержки ускорения MTP в LM Studio и снижение качества на задачах, требующих интенсивного рассуждения: для таких сценариев рекомендуется отключать MTP. Лицензия — Apache-2.0.

Qwen3.8-27B-Abliterated — модифицированная мультимодальная модель на базе Qwen3.8-27B, разработанная Grimxlock. Она предназначена для диалогов, генерации и анализа текста и изображений, следования инструкциям, программирования, рассуждений и многоязычных сценариев. В README указано, что базовая модель имеет размер 27 млрд параметров и работает в формате BF16; для использования заявлены Transformers, AutoProcessor и AutoModelForMultimodalLM. Точные поддерживаемые языки и размер контекстного окна не указаны. Модель создана методом targeted activation steering / ablation: из residual stream, attention- и MLP-компонентов удалялось или перенаправлялось направление, связанное с отказами. В заявленном тесте на 450 вредоносных запросах модель не отказала ни разу, при этом не было зафиксировано вырожденных ответов. По сравнению с исходной моделью отмечено небольшое ухудшение perplexity и результатов capability-бенчмарка: пройдено 14 из 15 заданий вместо 15 из 15; единственная ошибка была в простом числовом вопросе о седьмом числе Фибоначчи. Основное преимущество модели — сохранение заявленных способностей к письму, структурированному рассуждению, следованию инструкциям, программированию и многоязычной работе при существенно сниженном числе отказов. Ограничения включают возможное снижение точности и отсутствие стандартного защитного поведения, поэтому модель требует ответственного применения и дополнительного контроля результатов. В README указана лицензия Apache-2.0; поскольку это производная модель, базовые веса Qwen3.8-27B также подчиняются исходным условиям Qwen.

AEON-7 выпустил раннюю BF16-версию Qwen3.8-27B, полученную аблитерацией базовой модели Qwen/Qwen3.8-27B для более прямых ответов и ослабления отказов. Это плотная мультимодальная модель с архитектурой семейства Qwen3.5 и примерно 27 млрд параметров; текстовая генерация — основная задача, также заявлена поддержка изображений. Карточка описывает запуск через Transformers и проверку сервинга через vLLM на NVIDIA H200; указанное в примере ограничение контекста — 16 384 токена, а для подходящего оборудования README упоминает исходное окно до 262 000 токенов. Модель предназначена для диалогов, следования инструкциям, программирования, многошаговых рассуждений и вызова инструментов. Ослабление отказов делает ответы более прямыми, но авторы предупреждают, что это ранний выпуск, а на очень длинных запросах возможны повторы и потеря связности. Визуальная башня и голова MTP оставлены без изменений относительно базы. Лицензия — Apache-2.0; веса доступны в формате safetensors, BF16.

Qwen3.8-27B-Axon-MLQT — квантованная версия Qwen3.8-27B в формате GGUF, подготовленная Jaesoo Park из AXON Sovereign Intelligence Lab. Модель предназначена для диалоговой генерации текста и запуска локально через llama.cpp, Ollama или llama-cpp-python; в карточке также заявлены сценарии рассуждения и программирования. Весовая матрица упакована в тритовые значения {-1, 0, +1}; итоговый файл занимает 6,43 ГБ. README сообщает о тестировании на потребительской видеокарте, но приведённые показатели производительности и сохранения качества являются заявлениями автора. Модель основана на Qwen/Qwen3.8-27B; лицензия — Apache-2.0. Метаданные указывают на диалоговые возможности и задачу генерации текста.

taurusduan/Qwen3.8-27B-GSQ-RCO-GGUF — это набор GGUF-квантизаций базовой модели Qwen3.8-27B, разработанный Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска языковой модели, включая мультимодальные сценарии с обработкой изображений через поставляемый vision projector. Файлы совместимы с llama.cpp, Ollama и LM Studio. В набор входят четыре неравномерные квантизации с эффективной разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ. GSQ выполняет посттренировочную скалярную квантизацию, а RCO распределяет типы квантизации по отдельным тензорам с учётом их чувствительности и общего ограничения на размер. Для мультимодального режима используется отдельный проектор mmproj с vision encoder и projector в формате BF16 размером около 0,9 ГБ. Также доступны варианты с Multi-Token Prediction head для speculative decoding в llama.cpp; они примерно на 0,35 ГБ больше. Рекомендуемым вариантом назван IQ3_S: по данным README, он сохраняет качество базовой модели на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая чуть больше одной пятой размера BF16-модели. Более компактные варианты подходят для экономии памяти, но могут иметь больший компромисс по качеству. Модель и методы квантизации распространяются по лицензии Apache 2.0. Языки и максимальная длина контекста в README не указаны.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-FP8 — мультимодальная языковая модель, разработанная OptimizeLLM на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации и анализа текста, технических и диалоговых сценариев, работы с инструментами, а также обработки изображений и видео. Она ориентирована на использование через vLLM и поддерживает спекулятивное декодирование MTP. В основе лежит плотная модель размером 27,8 млрд параметров с 64 слоями и гибридной архитектурой, объединяющей линейное и полное внимание. Веса квантизированы в FP8 E4M3 с блочным масштабированием 128×128, при этом vision tower, MTP-головы, lm_head, embed_tokens и некоторые проекции сохранены в BF16. Размер модели составляет около 30 ГБ; используются официальный токенизатор Qwen3.8-27B и мультимодальные входы изображений и видео. Длина контекста в README не указана. Ключевая особенность — abliteration с помощью HERETIC, удаляющая склонность базовой модели отказывать в ответах. Поэтому модель подходит для сценариев, где требуется отвечать на технические вопросы, включая темы информационной безопасности, которые исходная модель могла бы отклонять. При этом abliteration не делает модель нейтральной: она может сохранять исходные мировоззренческие и политические склонности, а отсутствие отказов повышает требования к контролю применения. Для запуска рекомендуется GPU с достаточным объёмом памяти; заявлено размещение на одной карте 96 ГБ, а в vLLM требуется ограничить max-num-seqs до 32. Производительность измерялась на RTX PRO 6000 Blackwell и составляла около 122 токенов в секунду при MTP=4, но зависит от нагрузки. Модель распространяется по лицензии Apache-2.0. README не содержит полного перечня поддерживаемых языков и точного размера контекста.

HaberstrohSystems/Qwen3.8-27B-int4-g128-sym-autoround — квантованная версия нативно мультимодальной модели Qwen3.8-27B, опубликованная HaberstrohSystems и предназначенная для запуска на одной видеокарте Intel Arc Pro B70 с 32 ГБ памяти. Модель поддерживает работу с текстом и изображениями, вызов инструментов и обслуживается через Transformers или vLLM с парсером qwen3_coder. Модель содержит 27 млрд параметров; языковая часть имеет 64 слоя, скрытое измерение 5120, 24 query-heads и 4 KV-heads. Заявленный нативный контекст составляет 262 144 токена, а в приведённой конфигурации обслуживания используется до 131 072 токенов. Языковая часть сжата до INT4 методом AutoRound в формате W4A16 с размером группы 128 и симметричной схемой; веса занимают около 17,69 GiB. Чувствительные компоненты языковой модели и vision tower сохранены в 16-битном виде, поэтому обработка изображений не подвергается квантованию. Указан английский язык. Сильными сторонами являются мультимодальность, большой контекст, поддержка рассуждений с уровнями xhigh, medium и low, вызов инструментов и возможность запуска на одной Intel Arc Pro B70. Ограничения включают заметную задержку при включённом рассуждении xhigh, ускоренный рост контекста из-за сохранения блоков рассуждений и существенное падение производительности при длинных контекстах и многопользовательской нагрузке. Лицензия — Apache 2.0.

Qwen3.8-27B-MXFP8 — это квантизированная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем chriswritescode на базе модели Qwen/Qwen3.8-27B. Квантизация выполнена с помощью NVIDIA TensorRT Model Optimizer 0.45.0 по схеме MXFP8 (OCP microscaling FP8, размер блока 32). Модель предназначена для задач генерации текста и изображений с текстом, включая диалоговые сценарии, работу с кодом, мультимодальный анализ и использование инструментов через совместимые серверы инференса. Размер контрольной точки составляет 32 ГБ в восьми сегментах. Квантизированы линейные слои языковой модели, тогда как vision tower, отдельные компоненты гибридного внимания, embed_tokens, lm_head и встроенная MTP-голова сохранены в BF16. KV-кэш не квантизирован; поддерживается speculative decoding через MTP. Заявленный контекст — до 262 144 токенов при конфигурации vLLM из README. Точные языки и полный набор модальностей базовой модели в README не описаны, однако указана проверка на многоязычных данных и наличие vision tower. По результатам специального сравнения с BF16-версией модель показала более низкую дивергенцию, чем официальная Qwen3.8-27B-FP8, однако эти измерения характеризуют близость распределений, а не качество выполнения прикладных задач; публичные task-бенчмарки для этой контрольной точки не проводились. Практическое ограничение — аппаратная зависимость MXFP8: нативная поддержка заявлена для Blackwell (SM100+). В vLLM модель работает на SM80+ через Marlin с вычислениями в BF16, тогда как SGLang без специального пути конвертации требует SM100+. Лицензия Apache 2.0, унаследованная от базовой модели.

RadixArk/Qwen3.8-27B-NVFP4 — квантизированная производная модели Qwen3.8-27B, разработанной Qwen. Квантизация выполнена RadixArk с использованием NVIDIA Model Optimizer по смешанной схеме NVFP4 W4A4; RadixArk не обучала и не дообучала исходную модель. Модель предназначена для развертывания в системах AI-агентов, чат-ботах, RAG-системах и других приложениях искусственного интеллекта. Это плотная мультимодальная Transformer-модель с 27 млрд параметров. Она принимает текст, изображения и видео, а генерирует текст; заявленная нативная длина контекста — до 262 144 токенов. Для MLP-слоёв и lm_head используется динамическая NVFP4 W4A4-квантизация с размером группы 16, веса внимания представлены в FP8, а тензоры MTP и vision сохраняют исходную точность BF16. Модель ориентирована на запуск через SGLang в Linux на GPU NVIDIA Blackwell; данный checkpoint был создан и проверен на GB300. К преимуществам относятся готовая низкобитная конфигурация, поддержка мультимодального ввода, длинного контекста и сценариев работы с инструментами, а также заявленные результаты 97,27% на GSM8K и 73,81% на подмножестве Terminal-Bench 2.1. Эти оценки получены в текстовом режиме на конфигурации из четырёх GPU NVIDIA B300/GB300 и не гарантируют аналогичные результаты в других условиях. Модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому перед использованием необходимы проверка и защитные меры. Распространяется по Apache License 2.0; сведения о возможностях, обучении и ограничениях унаследованы от исходной модели Qwen3.8-27B.