II.2Создание и понимание программного кода

QuantTrio/Qwen3.5-4B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; квантизация выполнена без использования калибровочных данных. Модель предназначена для задач понимания и генерации текста, работы с изображениями, рассуждений, программирования и агентских сценариев. Модель представляет собой причинную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступны интеграции с Transformers, vLLM, SGLang и KTransformers, а также поддержка tool calling и reasoning parser в vLLM. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер и оптимизация AWQ для более эффективного инференса. Ограничения связаны с необходимостью совместимого программного и аппаратного окружения: в README указаны vLLM версии не ниже 0.16.0rc2.dev447, экспериментальная версия Transformers, CUDA 12.8 и дополнительные исправления конфигурации. Конкретные значения производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

ZuzeTt/Qwen3.5-4B-imatrix-GGUF — мультимодальная causal language model с vision encoder из семейства Qwen3.5, разработанная командой Qwen. Модель основана на Qwen/Qwen3.5-4B-Base и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet и разреженной Mixture-of-Experts с механизмом Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Репозиторий содержит артефакты в формате GGUF, полученные с использованием llama.cpp; README также указывает совместимость исходной модели с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большое контекстное окно, компактный размер и архитектурная оптимизация для производительного инференса. Ограничения конкретной imatrix-квантизации, включая точность, требования к памяти и поддерживаемые варианты квантования, в README подробно не указаны. Лицензия — Apache 2.0.

AxionML/Qwen3.5-4B-NVFP4 — мультимодальная модель для работы с текстом и изображениями, разработанная AxionML на основе Qwen/Qwen3.5-4B. Модель предназначена для открытого использования, развёртывания и высокопроизводительного inference-сервинга, включая сценарии визуального понимания, рассуждений, программирования и агентских задач. Это causal language model с vision encoder и архитектурой, сочетающей Gated Delta Networks и разреженный Mixture-of-Experts. Модель содержит около 4 млрд параметров, 32 слоя, скрытую размерность 2560 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют NVFP4-квантизацию весов и активаций с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер хранения и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. К сильным сторонам относятся сочетание мультимодальности, длинного контекста и сниженные требования к памяти, что делает модель подходящей для эффективного локального и серверного развёртывания на совместимом оборудовании. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и необходимость аппаратной и программной поддержки NVFP4, в частности соответствующих GPU и средств инференса. Модель распространяется по лицензии Apache 2.0 и разрешена для коммерческого и некоммерческого использования.

Qwen3.5-9B-AWQ — это квантованная в формате AWQ версия модели Qwen/Qwen3.5-9B, опубликованная пользователем nicklas373. Конвертация выполнена с помощью llm-compressor версии 0.10.0.1 с использованием наборов данных Salesforce/wikitext и lmms-lab/COCO-Caption2017. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и задач понимания изображений в рамках мультимодальной архитектуры. Базовая модель представляет собой causal language model с vision encoder, однако приведённая конфигурация запуска через vLLM ориентирована на текстовый режим и включает специализированные chat template, reasoning parser и tool-call parser. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально более эффективный инференс при сохранении возможностей базовой модели. Ограничения включают зависимость от совместимого стека инференса и необходимость специальной настройки vLLM; фактическая работоспособность мультимодального режима для данной конвертации в README описана неоднозначно. Лицензия в предоставленных данных не указана. Для запуска рекомендуется vLLM с quantization compressed-tensors, tokenizer базовой модели Qwen/Qwen3.5-9B и параметрами, приведёнными в README.

lovedheart/Qwen3.5-9B-FP8 — мультимодальная причинная языковая модель с визуальным энкодером, основанная на Qwen3.5-9B и разработанная командой Qwen. Она предназначена для генерации и анализа текста и изображений, рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В архитектуре сочетаются Gated DeltaNet, Gated Attention и разреженная Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель обучалась на стадиях предварительного и последующего обучения и совместима с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся мультимодальность, длинный контекст, высокая эффективность архитектуры и широкое языковое покрытие. README не приводит подробных ограничений, требований к аппаратному обеспечению или результатов независимого тестирования для данной FP8-сборки, поэтому фактическая производительность и качество могут зависеть от среды запуска и сценария использования. Указана лицензия Apache 2.0.

Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанная ByteShape с использованием метода ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при низкой разрядности. Модель предназначена для локального запуска через llama.cpp или LM Studio и поддерживает работу с изображениями; для vision-сценариев llama.cpp автоматически загружает vision projector. Модель ориентирована на текстовые и мультимодальные задачи, включая генерацию текста, рассуждения, программирование, решение математических задач, следование инструкциям и function calling. Доступны варианты для GPU и CPU с разрядностью от 2,81 до 5,10 bits per weight и размером примерно от 3,15 до 5,72 ГБ. GPU-варианты используют сочетание KQ- и IQ-квантизации, а CPU-варианты — преимущественно KQ-квантизацию; это позволяет выбирать баланс между скоростью, требованиями к памяти и качеством. Сильными сторонами являются малый размер, возможность запуска на широком спектре оборудования, включая Raspberry Pi, поддержка изображений и несколько вариантов квантизации. Ограничения связаны с потерями качества, возможными при низкой разрядности, зависимостью производительности от оборудования и отсутствием поддержки этой модели в Ollama на момент публикации README. README не указывает языки и размер контекстного окна. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen3.5-9B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, опубликованная Mungert и основанная на Qwen/Qwen3.5-9B-Base. Модель предназначена для генерации и понимания текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она совместима с llama.cpp и экосистемой инструментов, поддерживающих формат GGUF. Модель содержит около 9 млрд параметров и объединяет языковую модель с vision encoder. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; языковая часть включает 32 слоя, скрытую размерность 4096 и промежуточную размерность feed-forward-блоков 12288. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Особенность этой сборки — модифицированная квантизация GGUF: для отдельных важных слоёв вручную повышается точность сверх стандартной конфигурации IMatrix. Это увеличивает размер файла, но, по заявлению автора, может улучшать точность при низкой разрядности, особенно для моделей с MoE. Конкретные результаты тестирования данной сборки и доступные варианты квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR публикует квантованную в NVFP4 модель Qwen3.5-9B-Instruct в формате GGUF. Это мультимодальная модель семейства Qwen на 9 млрд параметров для диалога и выполнения инструкций; карточка указывает поддержку генерации текста, понимания изображений, рассуждений и генерации кода. В архитектуре сочетаются GQA и MLA, чередование блоков SSM (Mamba-2), а для изображений используется визуальный энкодер SigLIP ViT с мультимодальным проектором. Режим рассуждений по умолчанию выключен. Квантование NVFP4 рассчитано прежде всего на ускорение инференса на GPU NVIDIA Blackwell с 4-битными тензорными ядрами. В репозитории есть текстовая модель размером 5,31 ГБ и проектор изображений F16 размером 0,92 ГБ. Для запуска с изображениями README описывает использование llama.cpp и отдельного файла проектора. Метаданные указывают лицензию Apache-2.0. Модель подходит для диалоговых помощников, ответов на вопросы об изображениях, программирования и многоязычных текстовых задач. README рекомендует традиционные форматы квантования для оборудования до поколения Blackwell, GPU AMD и CPU; качество и скорость этой сборки на иных конфигурациях не охарактеризованы. Языковая поддержка включает английский, китайский и другие языки, но основной язык для этой сборки не выделен.

AtomicChat/Qwen3.5-9B-MLX-4bit — 4-битная MLX-квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная компанией Atomic Chat на основе оригинальных весов с использованием матрицы важности для повышения близости к полноточной модели. Модель предназначена для локального и полностью офлайн-использования на устройствах Apple Silicon через MLX и поддерживает генерацию текста, а также работу с изображениями. Она может применяться для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания. Модель содержит около 9,7 млрд параметров, имеет 32 слоя, контекст до 262 144 токенов, словарь размером 248 320 токенов и архитектуру Qwen3_5ForConditionalGeneration с 16 attention heads и 4 KV heads. В README она описана как мультимодальная модель с ранним объединением текстовых и визуальных токенов; также заявлена эффективная гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts, хотя в сводных характеристиках указана dense decoder. Квантизация уменьшает требования к памяти и ускоряет локальный инференс, но может приводить к некоторой потере качества относительно полноточной версии. Языки явно не перечислены. Модель распространяется под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

vrfai/Qwen3.6-27B-FP8 — мультимодальная модель для работы с текстом и изображениями, созданная на основе Qwen/Qwen3.6-27B. Исходную модель разработала команда Qwen (Alibaba Group), а FP8-квантизацию выполнил vrfai с использованием llm-compressor от vLLM Project. Модель предназначена для диалогов, генерации и анализа текста, программирования, а также задач, требующих обработки визуальной информации. Поддерживаются режимы с рассуждением и без него; README не содержит полного перечня языков и точных характеристик исходной модели, включая размер контекста. Используется статическая квантизация W8A8 FP8: веса и активации основных компонентов представлены в FP8 с симметричной по-тензорной схемой, при этом чувствительные компоненты, включая vision encoder, DeltaNet/linear-attention, merger и lm_head, сохранены в BF16. Формат compressed-tensors обеспечивает поддержку в vLLM. Такой подход снижает требования к памяти при сохранении качества лучше, чем более агрессивная NVFP4-квантизация; заявленный размер модели составляет около 34 ГБ. Для работы требуется GPU NVIDIA Ampere, Hopper или Blackwell с поддержкой SM 89+, рекомендовано использование vLLM или Transformers. Модель распространяется по лицензии Apache-2.0. Ограничениями являются необходимость совместимого современного NVIDIA GPU, использование trust_remote_code в приведённых примерах и отсутствие в предоставленном README подробных результатов бенчмарков, точного контекстного окна и полного описания языковой поддержки.

webhie/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Alibaba/Qwen. Квантизация выполнена с помощью Intel AutoRound по пресету auto-round-best, оптимизированному для сохранения максимальной точности при INT4. Модель предназначена для генерации текста, диалоговых сценариев, программирования, работы с изображениями и задач, поддерживающих vision-ввод. README не содержит сведений о языках модели, но указывает pipeline image-text-to-text и библиотеку Transformers. Используется схема W4A16: веса представлены в 4-битном формате, активации — в FP16; group size равен 128, квантизация симметричная. Базовая модель имеет 27 млрд параметров, а размер квантизированной версии составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Веса vision-энкодера MoonViT сохраняются в исходной точности BF16/FP16. Сохранённая MTP-голова Multi-Token Prediction поддерживает speculative decoding в vLLM; заявлены принятие черновых токенов на уровне около 85–90% и примерно двукратное ускорение генерации, однако эти показатели измерены на RTX 5090 и зависят от конфигурации. К сильным сторонам относятся уменьшенное примерно втрое потребление памяти, поддержка изображений без дополнительной обработки, совместимость с vLLM и сохранение MTP для ускоренной генерации. Ограничения включают необходимость совместимой версии vLLM для MTP, наличие специальных требований к окружению и зависимость производительности от оборудования. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-OptiQ-4bit — это квантизированная версия языковой модели Qwen3.6-35B-A3B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локальной генерации текста на компьютерах Apple Silicon через MLX, без PyTorch и облачных сервисов. Она подходит для диалога, рассуждений, программирования, извлечения информации из длинного контекста, вызова инструментов и агентских сценариев. Модель использует смешанную точность: большинство параметров представлены в 4-битном формате, а чувствительные слои — в 8-битном. Всего квантизировано 510 слоёв, размер группы — 64; 392 слоя имеют 8-битную, а 118 — 4-битную точность. Размер модели на диске составляет около 22,1 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. Поддерживаются текстовые задачи; конкретные языки и размер контекста в README не указаны. К сильным сторонам относятся чувствительно-ориентированная квантизация, локальная работа на Apple Silicon и результаты, превосходящие равномерную 4-битную квантизацию по суммарному Capability Score, особенно в вызове функций и извлечении данных из длинного контекста. Ограничениями являются требования к памяти из-за размера около 22,1 ГБ, привязка к экосистеме MLX и Apple Silicon, а также небольшое снижение результатов в отдельных тестах по сравнению с равномерной 4-битной версией. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Карточка модели bernquant/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking на Hugging Face совпадает с карточкой DavidAU/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking, поэтому описание составлено по ней. Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — мультимодальная плотная модель с обработкой изображений, созданная DavidAU на основе Qwen/Qwen3.6-27B. Автор описывает расширение модели с 27 до 40 млрд параметров и многоэтапное дообучение: на наборах Deckard/PDK и на данных дистилляции рассуждений Claude 4.6 Opus. Модель рассчитана на диалог, рассуждения, программирование и творческое письмо, включая создание сюжетов и ролевые сценарии; поддерживает вызов инструментов и анализ изображений. В карточке указана длина контекста 256 тыс. токенов, а также режим рассуждений с переменной длиной ответа. Заявления автора о превосходстве в тестах не сопровождаются в предоставленном тексте конкретными результатами, поэтому их следует считать заявлениями автора. README также описывает модель как uncensored и предупреждает о возможности генерации откровенного контента по запросу; отмечены возможные зацикливания на низких квантизациях или слишком коротких запросах. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — языковая модель в формате GGUF, разработанная trinityomni на основе модели DavidAU Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking. Согласно README, модель расширена из Qwen3.6 27B до 40 млрд плотных параметров, имеет 96 слоёв и поддерживает контекст до 256K токенов. Обучение и доработка выполнялись с использованием Unsloth, датасетов с высокоуровневыми рассуждениями, а также наборов Deckard/PDK, ориентированных на характер, интеллект, глубину, наблюдательность и стиль ответа. Модель предназначена для универсального применения: диалогов, сложных рассуждений, программирования, математики, решения задач, творческого письма, генерации сюжетов и ролевых сценариев. Заявлены английский и китайский языки. Поддерживается переменная длина рассуждений: для простых задач модель должна формировать более короткие рассуждения, а для сложных — более подробные. README также заявляет поддержку изображений при использовании совместимого mmproj-файла, что соответствует сценарию image-text-to-text. К сильным сторонам относятся большой контекст, высокая производительность в задачах рассуждений и письма, ориентированность на длительные диалоги, код и математику, а также специальные NEO-CODE-Di-IMatrix-MAX-квантизации, оптимизированные по результатам сравнений с полной точностью BF16. Ограничением является необходимость подбирать подходящий GGUF-квант и, для работы с изображениями, отдельно устанавливать mmproj. Модель заявлена как uncensored и unfiltered, поэтому она может генерировать потенциально небезопасный или NSFW-контент. Лицензия указана как Apache-2.0.

barrydeen/Qwen3.8-27B-AWQ-4bit — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем barrydeen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые сценарии, работу с кодом, арифметикой, инструментами и рассуждениями. Модель имеет гибридную архитектуру Qwen3_5ForConditionalGeneration с 27 млрд параметров. Из 64 декодерных слоёв 16 используют полноценное внимание, а 48 — Gated DeltaNet. Линейные слои квантизированы методом AWQ в формате W4A16 с асимметричной схемой и размером группы 128; чувствительные компоненты, включая vision tower, Gated DeltaNet и MTP head, сохранены в BF16. Размер модели составляет около 27,8 ГБ вместо 55,6 ГБ в BF16. Заявлена поддержка контекста до 131 072 токенов при использовании vLLM, а также MTP-спекулятивного декодирования. Сильные стороны модели — существенное снижение требований к памяти при сохранении чувствительных компонентов в исходной точности, поддержка мультимодальности, инструментальных вызовов и высокая измеренная скорость генерации 85–95 токенов в секунду на двух RTX 3090. Ограничения включают отсутствие формального набора бенчмарков, калибровку только на текстовых данных и последовательностях длиной до 1024 токенов, поэтому качество на более длинных контекстах и мультимодальных данных отдельно не подтверждено. Для MTP требуется тензорный, а не конвейерный параллелизм. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

btbtyler09/Qwen3.8-27B-GPTQ-8bit — квантизированная 8-битная версия мультимодальной модели Qwen/Qwen3.8-27B. Модель разработана на базе семейства Qwen и распространяется пользователем btbtyler09. Она предназначена для обработки текста и изображений, генерации ответов, анализа изображений, программирования и других задач общего назначения, а также поддерживает speculative decoding через модуль MTP. Модель имеет плотную архитектуру примерно на 27 млрд параметров без MoE, 64 слоя, включая 48 слоёв линейного внимания и 16 слоёв полного внимания, скрытый размер 5120 и контекст до 262 144 токенов. Полный vision encoder на базе ViT и MTP-модуль сохранены в формате BF16, а основные квантизируемые линейные слои текстового декодера переведены в INT8 с использованием GPTQ. Размер модели составляет около 31 ГБ против примерно 56 ГБ у исходной BF16-версии. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Ключевое преимущество — существенно меньшее потребление дискового пространства и видеопамяти при заявленной практически неизменной perplexity относительно BF16-оригинала. Модель рассчитана на развёртывание через vLLM и загрузку с помощью GPTQModel или transformers. Ограничения включают высокие требования к ресурсам, необходимость совместимого программного окружения и возможную проблему конфигурации в некоторых версиях vLLM, для которой в README приведён обходной патч. Модель распространяется по лицензии Apache-2.0.

SergiioB/Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — это квантованная версия Qwen3.8-27B, разработанная SergiioB для запуска и обслуживания через vLLM XPU на видеокартах Intel Arc с архитектурой Xe2. Модель предназначена для генерации текста, включая кодинг и другие сценарии локального инференса, а также поддерживает обработку изображений благодаря встроенной vision tower. В карточке заявлены английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с гибридным механизмом внимания GDN: линейное внимание чередуется с полным вниманием каждые четыре слоя. Указаны 5120 скрытых признаков, 64 слоя, 24 Q-head и 4 KV-head с GQA. Основная часть модели квантована в GPTQ INT4 с симметричными группами размера 128 и форматом W4A16; MTP-компоненты сохранены в BF16 для поддержки нативного speculative decoding. Vision tower также не квантована. Максимальная позиционная длина в конфигурации составляет 262144 токена, однако на протестированной конфигурации Intel Arc Pro B70 32 ГБ измерялась работа с контекстом до 131072 токенов. Сильная сторона модели — ускоренная генерация благодаря MTP4: в приведённых измерениях на Intel Arc Pro B70 скорость декодирования достигала 83,7 токена в секунду без дополнительного overlay и 112,65 токена в секунду с опциональным INT4-квантованием draft-компонентов. Производительность зависит от длины контекста, числа параллельных запросов, настроек vLLM XPU и конкретного оборудования. Ограничениями являются привязка к совместимому XPU-стеку, особенности GPTQ-квантизации и то, что заявленные результаты получены на одной видеокарте и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.

filvyb/Qwen3.8-27B-heretic-ara-GGUF — это GGUF-квантизированная версия модели coder3101/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих многошаговых агентских сценариев, а также понимания изображений и видео. В карточке указана архитектура causal language model с vision encoder и 27 млрд параметров. Модель использует 64 слоя, архитектуру с комбинацией Gated DeltaNet и Gated Attention, поддерживает управляемый режим рассуждений и имеет нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Она заявлена как мультимодальная модель для работы с текстом, изображениями и видео, однако сведения о поддерживаемых языках отсутствуют. Формат GGUF ориентирован на совместимое локальное инференс-развёртывание, но конкретные требования к памяти и варианты квантования в README не указаны. Ключевая особенность версии — abliteration, направленная на снижение частоты отказов: в приведённом сравнении модель отказалась выполнить 9 из 100 запросов против 92 из 100 у исходной Qwen3.8-27B, при KL-дивергенции 0,0349. Это может повысить полезность модели для сценариев, где требуется меньше ограничивающих отказов, но одновременно может ослаблять встроенные механизмы безопасного поведения. Модель распространяется по лицензии Apache-2.0.

Bernhard Brieger подготовил эту модель как посттренировочную NVFP4-квантизацию базовой Qwen/Qwen3.8-27B. Это мультимодальная модель для обработки текста и изображений, сохранившая языковую часть, vision tower и слой Multi-Token-Prediction (MTP). Квантизация не меняет логическое число параметров: оно составляет около 27,78 млрд, а размер весов на диске уменьшен до 20,59 ГБ по сравнению с 55,56 ГБ в формате bf16. Модель предназначена для следования инструкциям, программирования, диалогов, вызова инструментов и функций, работы с изображениями, а также задач с длинным контекстом, включая обработку документов объёмом свыше 100 тысяч токенов. Архитектура Qwen3_5ForConditionalGeneration включает 64 слоя: 48 слоёв с линейным вниманием Gated-DeltaNet и 16 слоёв с полным вниманием. Нативный контекст составляет 262 144 токена; работа проверена на контексте до 163 840 токенов с FP8 KV-кэшем. Поддерживается схема NVFP4 W4A4 с 4-битными весами и активациями, а критически важные компоненты, включая embeddings, lm_head, vision tower, нормализации и MTP-слой, сохранены в bf16. Главное преимущество модели — значительное снижение требований к памяти при сохранении мультимодальности и длинного контекста: объём весов уменьшен на 62,9%. Проверенным вариантом запуска является vLLM с backend modelopt_fp4. Формат NVFP4 требует аппаратной поддержки FP4-тензорных ядер и рассчитан на GPU поколения Blackwell с архитектурами sm_100 или sm_120; на более старых GPU модель работать не может. Это только квантизация исходной модели без дополнительного дообучения, дистилляции или усиленного обучения безопасности, поэтому заявленные данные не показывают разницу качества с полной версией. Лицензия — Apache-2.0.

Модель представляет собой INT4-квантованную версию Qwen/Qwen3.8-27B, опубликованную под идентификатором philbert440/Qwen3.8-27B-W4A16-AWQ. Базовая модель разработана командой Qwen и является плотной vision-language-моделью с поддержкой текстовых и визуальных данных. В README не указано, кто именно выполнил квантование, однако сохранены исходная башня зрения и голова MTP для speculative decoding. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений, математических задач, агентных сценариев и генерации длинных текстов. Архитектура включает 27 млрд параметров, 64 слоя, гибрид GatedDeltaNet linear attention и GatedAttention, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN. Квантованы линейные слои внимания и MLP в формате W4A16, group size 128, при этом vision tower, эмбеддинги, lm_head и MTP head сохранены в BF16. Размер модели составляет около 19,5 ГБ. Сильные стороны сборки — сохранение мультимодальности и режима reasoning, совместимость с vLLM, поддержка MTP и возможность запуска на двух GPU V100 по 32 ГБ. В README приведены успешные проверки понимания изображений, математики, длинной генерации и корректного поведения think-тегов, а также измерения производительности до примерно 59 токенов в секунду в отдельных режимах на двух V100. Ограничения заключаются в том, что приведённые бенчмарки качества относятся к базовой BF16-модели, а не к данной квантованной версии; фактическая совместимость и скорость зависят от аппаратного обеспечения и используемого сервера. Лицензия — Apache-2.0.

IsValorum/Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленная IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и других задач, поддерживаемых llama.cpp и совместимыми инструментами. Архитектура основана на разреженной смеси экспертов (MoE): заявлены 35 млрд параметров и около 3 млрд активных параметров на токен, 40 слоёв и 256 микроэкспертов. Заявленный максимальный контекст — 256K токенов. Модель поддерживает английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Квантизация APEX-I-MiniPlus V2.1 использует комбинацию форматов IQ3_XXS, Q3_K, Q5_K, Q6_K, Q8_0 и F32; размер файла составляет приблизительно 13,74 GiB. В README заявлены сохранение маршрутизации экспертов в F32, оптимизация для работы с системной RAM и поддержка Multi-Token Prediction. Для мультимодальных сценариев упоминаются отдельные компоненты mmproj и MTP, однако основная карточка относится к текстовой GGUF-модели. Сильными сторонами заявлены компактный размер при сохранении качества, поддержка длинного контекста и возможность запуска с частичной или полной выгрузкой в GPU VRAM либо системную RAM. Производительность существенно зависит от видеопамяти, процессора, пропускной способности памяти и настроек llama.cpp; приведённые в README показатели скорости и perplexity являются заявленными авторами и не подтверждены независимой проверкой. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-9B-Distill-MTPLX-Q6G64 — локальная MLX-версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная pooyakn73 с использованием MTPLX для нативного multi-token prediction и speculative decoding на Apple Silicon. Это мультимодальная модель архитектуры Qwen3-Next с поддержкой текста и изображений, предназначенная для локальной генерации текста, программного кода и анализа изображений с ускоренным декодированием. Модель содержит около 9 млрд параметров, контекстное окно 262 144 токена и занимает около 8,7 ГБ на диске. Основная часть параметров квантизирована до 6 бит с group size 64 и affine-квантизацией, тогда как MTP draft head и vision tower сохранены в bf16. Такая конфигурация позволяет использовать speculative decoding без потери корректности, а на Apple M5 Pro демонстрирует до 74,9 токена в секунду при оптимальной глубине спекуляции 2. Vision tower восстановлен и сохранён, поскольку стандартный путь конвертации MLX мог его исключать. Сильные стороны модели — сочетание мультимодальности, большого контекстного окна, компактного размера и высокой скорости локального вывода на Apple Silicon. В тесте HumanEval она показала pass@1 81,10% при настройке reasoning effort xhigh, однако более крупные модели в приведённом сравнении достигли около 96% и выше, поэтому модель может уступать им в сложных задачах рассуждения и генерации кода. Указанные показатели скорости и качества зависят от оборудования, настроек декодирования и длины генерации. Модель распространяется по лицензии Apache-2.0.

Это объединённая и 4-битно квантованная версия Qwen3-8B, опубликованная Goraint и подготовленная для инференса через MLX на компьютерах Apple Silicon. Модель содержит 7,6 млрд параметров и поддерживает контекст до 196 608 токенов; README указывает на оптимизацию для длинных запросов и снижение требований к памяти. Модель предназначена для генерации текста в диалоге, анализа длинных документов, написания кода и развёртывания чат-ботов на локальных устройствах. В метаданных также заявлен интерфейс вызова инструментов. Репозиторий содержит веса safetensors; для использования указана лицензия Apache 2.0. Квантование до 4 бит снижает потребление памяти, но может уменьшить точность на сложных задачах. Производительность зависит от оборудования, а MLX ориентирована на Apple Silicon; README отдельно предупреждает о возможности чувствительного контента и указывает на необходимость настроить шаблон запросов для совместимости с LM Studio.

Qwen3.8-Flash-Next GGUF — это квантизированная версия официальной модели Qwen/Qwen3.8-Flash-Next, подготовленная BatiAI в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, программирования, работы с инструментами и структурированного вывода, включая JSON. Заявлена поддержка английского, корейского и китайского языков. Модель использует MoE-архитектуру qwen4exp: около 176,9 млрд параметров, из которых примерно 4,9 млрд активируются на каждом токене; всего используется 512 экспертов с выбором top-10. Доступны варианты квантизации IQ3_XXS, IQ4_XS, Q4_K_M и Q6_K размером примерно от 79 до 141 ГиБ. Вариант IQ4_XS показал скорость генерации 11,7 токена в секунду на CPU и 32,74 токена в секунду на Mac Studio M2 Ultra с 192 ГиБ памяти. Для запуска требуется актуальная версия llama.cpp с поддержкой qwen4exp; старые версии, а также ранние сборки Ollama и LM Studio могут не загружать модель. Сильными сторонами являются высокая скорость для модели такого размера, проверенная генерация на корейском языке, поддержка вызова инструментов, программирования, длинных текстов и структурированного вывода. При этом модель ненадёжна в арифметике: в тестах она допустила ошибки в двух нетривиальных выражениях, поэтому вычисления, особенно связанные с деньгами и количествами, следует передавать калькулятору или проверять отдельно. Для работы требуется значительный объём памяти. Лицензия указана как qwen-community-license-1.0; применяются условия лицензии Qwen.

Qwen3.8-Flash-Next-MLX-Serve-iQ-MLX-3.3bpw — это квантованный пакет модели Qwen3.8-Flash-Next, разработанной Qwen и адаптированной пользователем ddalcu для запуска через mlx-serve на компьютерах Mac с 64 ГБ памяти. Модель предназначена для генерации текста, работы с агентами, кодом, прозой и математическими задачами, а также поддерживает обработку изображений и видео благодаря встроенной vision tower. Доступен формат вызова инструментов Qwen3.8 с XML-синтаксисом; режим рассуждений включён по умолчанию и может быть отключён. Пакет использует экспериментальную архитектуру Qwen4 с MoE, gated residual streams, n-gram embedding и Qwen Sparse Attention. Полный исходный чекпойнт включает около 180 млрд параметров: 125 млрд параметров основного ствола, 51 млрд параметров n-gram-таблицы и 4 млрд параметров MTP-головы. В данном варианте веса квантованы примерно до 3,3 бит на параметр с imatrix-калибровкой. Заявлена нативная длина контекста до 262 тысяч токенов, а для 64-ГБ Mac рекомендован размер контекста 65 536 токенов. Пакет занимает около 52 ГБ оперативной памяти; измеренная скорость на M4 Max составляет примерно 52,6 токена в секунду при декодировании и 762 токена в секунду при предварительной обработке. Главное преимущество — возможность разместить крупную мультимодальную MoE-модель на Mac с 64 ГБ памяти при сохранении около 99% вероятностной массы более тяжёлого варианта mixed-4-8bit. Ограничения связаны с потерями качества из-за агрессивной квантизации, требованиями к памяти и специфической инфраструктурой MLX. N-gram-таблица объёмом 32 ГБ подгружается через отображение файла и при холодном кэше может замедлять обработку длинного первого запроса. Для использования требуется mlx-serve и macOS с настройкой лимита GPU-памяти. Лицензия указана как qwen-community-1.0.

Qwen-7B 是阿里云开发的通用预训练大语言模型，采用稠密 Transformer 架构，使用 RoPE、SwiGLU 和 RMSNorm。README указывает размер 7 млрд параметров, тогда как метаданные Hugging Face сообщают 11,4 млрд; поэтому фактический размер в описании не приводится. Модель обучена более чем на 2,4 трлн токенов из веб-текстов, книг, кода, математических и других материалов, а словарь токенизатора tiktoken насчитывает более 150 тысяч токенов. Метаданные указывают контекст до 32 768 токенов и формат safetensors. Модель предназначена для генерации и продолжения текста, а также может служить основой для приложений на китайском, английском и других языках, включая кодовые и математические сценарии. Она не является чат-версией Qwen-7B-Chat: в README отдельно отмечено, что чат-модель обучена с применением выравнивания. Среди описанных характеристик — сильные результаты в ряде китайских и английских оценок и широкое покрытие токенизатора; для практического использования требуется совместимое окружение PyTorch и Transformers, а ускорение на GPU может требовать CUDA. Лицензия в метаданных обозначена как other, конкретные условия следует проверять на странице репозитория.

Rombo-LLM-V2.5-Qwen-32b — плотная языковая модель на 32 млрд параметров, разработанная Rombo-Org как дообученная версия Qwen2.5-32B-Instruct. README также сообщает о слиянии instruct- и base-моделей методом TIES, но метаданные классифицируют происхождение как дообучение Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалоговой генерации текста; в метаданных также заявлен интерфейс вызова инструментов. Архитектура — Qwen2ForCausalLM семейства Qwen2, формат весов — safetensors, контекст — до 32 768 токенов. Базовая модель поддерживает диалог, программирование, математику и структурированные ответы, однако README не приводит независимых оценок заявленного превосходства этой версии. Лицензия — Apache-2.0.

Rombos-LLM-V2.5-Qwen-72b — плотная авторегрессионная языковая модель на архитектуре Qwen2, разработанная Rombodawg. По карточке, это непрерывно дообученная и объединённая методом TIES версия Qwen2.5-72B; метаданные связывают её с Qwen/Qwen2.5-72B-Instruct. Модель содержит 71,5 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текстов, а также может выдавать структурированные ответы и поддерживать интерфейс вызова инструментов. Автор сообщает о более высокой производительности по сравнению с исходной instruct- и базовой моделями; в карточке приведены результаты отдельных тестов, но готовые сводные данные и подробное описание методики оценки ограничены. В метаданных указана лицензия «other», поэтому условия использования следует сверить с полной лицензией репозитория. Для запуска требуется значительный объём вычислительной памяти из-за размера модели; README не приводит конкретных требований к оборудованию. Модель опубликована в формате safetensors.

RWKV7-G1i-13.3B-20260805 — базовая языковая модель семейства RWKV-7, разработанная Bo Peng, Yu Zhang, Songlin Yang, Ruichong Zhang и Zhiyuan Li при поддержке RWKV Project под эгидой LF AI & Data Foundation. Это плотная авторегрессионная модель с архитектурой RWKV7ForCausalLM; метаданные указывают 14,6 млрд параметров, а карточка README — 13,3 млрд. Модель обучена на веб-текстах, коде, синтетических данных, инструкциях, диалогах и рассуждениях; в репозитории указаны веса safetensors и интерфейсный шаблон чата. RWKV-7 использует рекуррентное состояние постоянного размера и постоянную вычислительную работу на генерируемый токен, сохраняя возможность параллельного обучения. Модель предназначена для генерации текста, оценки, последующего обучения и дообучения; поддерживает английский, китайский, японский, корейский, французский, арабский, испанский и португальский языки. Метаданные задают контекст 2048 токенов, тогда как название файла в README содержит обозначение ctx16384, поэтому фактическую длину контекста следует сверить с используемой конфигурацией. Модель распространяется по лицензии Apache-2.0. README прямо предупреждает, что базовый чекпойнт не является выровненным по безопасности ассистентом: шаблон чата служит интерфейсом для подачи запросов и сам по себе не гарантирует безопасное поведение.

RWKV/RWKV7-G1k-2.9B-20260930 — официальная базовая языковая модель RWKV-7 Goose от BlinkDL в формате для Transformers. Это плотная авторегрессионная модель примерно на 3,1 млрд параметров, предварительно обученная на веб-текстах, коде, синтетических, инструкционных, диалоговых и reasoning-данных. Она предназначена для оценки, дальнейшего дообучения и генерации текста; шаблон чата задаёт формат промпта, но сам по себе не означает, что модель выровнена для безопасного поведения. Архитектура RWKV-7 использует рекуррентное состояние постоянного размера вместо механизма внимания и KV-кэша, поэтому объём состояния не растёт с длиной генерации, а вычисления на токен остаются постоянными; обучение можно распараллеливать. Модель принимает текст и генерирует текст. Карточка и теги указывают поддержку английского, китайского, французского, испанского, немецкого, португальского, русского, итальянского, японского, корейского, вьетнамского и арабского языков. Веса доступны в safetensors, лицензия — Apache-2.0. Качество следования инструкциям и поведение на разных языках зависят от чекпойнта, промптинга и последующего обучения. Модель не заявлена как проверенная на безопасность, предвзятость, токсичность, фактическую точность или применение в критически важных сценариях. Спекулятивное декодирование с откатом рекуррентного кэша не поддерживается без сохранения снимков состояния; оптимизированный запуск зависит от оборудования и конфигурации.