II.1Анализ требований и архитектура ПО

NVIDIA Nemotron 3.5 Lightning 30B-A3B — APEX GGUF — это набор измеренно распределённых и оптимизированных GGUF-квантизаций базовой модели NVIDIA Nemotron 3.5 Lightning 30B-A3B от NVIDIA. Рецепт APEX и инструментарий предоставлены LocalAI, а движок квантизации — llama.cpp. Модель предназначена для генерации текста, диалоговых приложений и сценариев с инструментами, включая последовательный tool-calling, при запуске через llama.cpp. Архитектура Nemotron-H гибридная: 52 слоя сочетают Mamba2 SSM и MoE, причём полное attention используется только в 6 слоях. MoE включает 128 маршрутизируемых экспертов и общий эксперт; активно используется около 3B параметров из примерно 31,6B. Контекст поддерживается до 128k токенов, а благодаря архитектуре KV-кэш занимает около 6 KiB на токен, или примерно 0,75 GiB при контексте 128k. В комплект включена MTP-голова для speculative decoding. Доступны варианты mini на 3,56 bpw и 13,66 GiB, compact на 4,42 bpw и 16,91 GiB, а также i-quality на 5,62 bpw и 21,53 GiB; compact и i-quality на момент описания ещё загружались. Сильные стороны модели — большой контекст при сравнительно небольших требованиях к памяти, специализированная importance matrix-квантизация, измеренное распределение битов по тензорам и сохранённая поддержка speculative decoding. Вариант mini рассчитан на видеокарту с 16 ГБ памяти и полный контекст 128k. Ограничения включают необходимость достаточно новой версии llama.cpp, явной настройки размера контекста и учёт того, что модель генерирует подробные рассуждения, увеличивая расход выходных токенов. Лицензия указана как openmdw-1.1.

OpenChat-3.5-0106 Gemma — диалоговая языковая модель OpenChat, дообученная методом C-RLFT на данных OpenChat-3.5-0106 на базе Gemma. Это плотная архитектура Gemma для генерации текста, в том числе ответов в диалоге; заявленный размер в метаданных — 8,2 млрд параметров, контекст — до 8192 токенов. README приводит результаты тестов по программированию, математике, общим знаниям и диалоговому качеству. Модель предназначена для чат-ботов, ответов на вопросы, написания и преобразования текста, а также задач рассуждения и генерации кода. Для развертывания авторы рекомендуют OpenChat с OpenAI-совместимым сервером на базе vLLM. README указывает лицензию Apache 2.0, тогда как метаданные Hugging Face содержат значение «other»; условия распространения стоит сверить с файлами лицензии репозитория. Модель может выдумывать факты и выдавать вредные, предвзятые или небезопасные ответы, поэтому важные результаты нужно проверять, а для безопасных сценариев нужна дополнительная модерация.

Ornith-1.5-35B-A3B-TQ3_4S — компактная сборка модели Ornith-1.5-35B-A3B в формате GGUF с квантизацией TurboQuant TQ3_4S. В карточке указана архитектура Qwen3.5-MoE: всего 35,9 млрд параметров, из которых около 3 млрд активны на токен. Модель предназначена для диалоговой генерации текста, программирования и вызова инструментов; исходная модель также поддерживает обработку изображений при подключении vision-проектора. Для запуска требуется специализированная сборка turbo-tan/llama.cpp-tq3, поддерживающая тип тензоров TQ3_4S. В локальных измерениях автора модель занимала 17 ГиБ и показывала высокую скорость декодирования на RTX 3090; приведённые результаты бенчмарков являются собственными измерениями автора карточки. Контекст запуска до 262 144 токенов указан в параметрах тестирования, но не подтверждён как штатный предел модели. Лицензия — MIT.

Ornith-1.5-9B-NVFP4-MTP-GGUF — это квантованный GGUF-артефакт модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем Avifenesh. Модель предназначена для генерации текста, диалоговых сценариев, работы с кодом и задач, поддерживающих XML-вызов инструментов и рассуждения в формате <think>. Артефакт ориентирован на инференс через tiyuvta serving engine и GPU архитектуры NVIDIA Blackwell; для upstream llama.cpp и Ollama рекомендуется использовать официальные BF16–Q8_0 GGUF-файлы без MTP-головы. Основная модель имеет 9 млрд параметров, контекст до 262 144 токенов, словарь размером 248 320 и текстовую text-to-text модальность; vision tower в этот артефакт не включён. Используется NVFP4-квантизация с 4-битными весами и FP8-масштабами на блок, при этом эмбеддинги и выходная голова представлены в Q5_K, а нормы — в F32. Размер файла составляет около 5,4 ГБ вместо 18,8 ГБ в BF16. В артефакт добавлена MTP-голова, заимствованная из Qwen3.5-9B; она используется для speculative decoding и не должна изменять итоговые токены, поскольку каждый спрогнозированный токен проверяется целевой моделью. На тестах заявлена токен-в-токен идентичность с обычной greedy-декодировкой и принятие до 59% черновых токенов при K=3, однако показатели производительности в токенах в секунду не приводятся и зависят от оборудования. Лицензия основного Ornith-1.5-9B указана как MIT; MTP-голова происходит из Qwen3.5-9B под Apache-2.0.

mateussj выпустил объединённую модель Phi-3.5-mini-instruct-2x-v1 на основе microsoft/Phi-3.5-mini-instruct. Она использует архитектуру Phi-3 с плотной причинной языковой моделью на 3,7 млрд параметров и предназначена для диалогов и генерации текста по инструкциям. В README описано слияние методом TIES с помощью mergekit; базовая модель включена в конфигурацию с разными значениями плотности и весов. Модель принимает текст и выдаёт текст, поддерживает контекст до 4096 токенов. Метаданные указывают формат safetensors и библиотеку Transformers. Условия лицензии и отдельные языки этой версии в предоставленных данных не раскрыты; базовая модель описана как многоязычная.

unsloth/Phi-4-mini-instruct-GGUF — GGUF-версия модели Phi-4-mini-instruct от Microsoft, подготовленная Unsloth с исправлениями токенизации и шаблона чата. Исправлены совпадение токенов padding и EOS, лишний EOS-токен в шаблоне, корректно настроен токен завершения <|end|> и изменён unk_token. Модель распространяется как открытая модель семейства Phi-4. Модель предназначена для генерации текста, диалоговых сценариев и следования инструкциям, включая задачи программирования, математики, обработки естественного языка и рассуждений. Она обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а также прошла supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. Поддерживается контекст длиной до 128K токенов и многоязычное использование. Ключевые сведения об архитектуре и точном размере модели в README не указаны. GGUF и динамическая квантизация Unsloth ориентированы на более эффективное локальное использование при сохранении качества по сравнению со стандартной 4-битной квантизацией, однако конкретный уровень квантизации и требования к ресурсам зависят от выбранного файла. Модель ограничена возможными ошибками генерации и не гарантирует абсолютную безопасность или корректность ответов. Указана лицензия MIT.

unsloth/Phi-4-mini-instruct-unsloth-bnb-4bit — это квантованная 4-битная версия Phi-4-mini-instruct, разработанной Microsoft, с исправлениями и оптимизациями от Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач, программирования и других задач обработки естественного языка. В README заявлена поддержка мультиязычных сценариев и контекста до 128K токенов. Модель построена на данных, включающих синтетические примеры и отфильтрованные общедоступные веб-источники, с акцентом на качественные данные для рассуждений. Для Phi-4-mini-instruct указано применение supervised fine-tuning и direct preference optimization, направленных на точное следование инструкциям и повышение безопасности. Версия Unsloth исправляет обработку padding и EOS-токенов, шаблон чата и unk_token, а также использует селективное динамическое 4-битное квантование, призванное лучше сохранять точность по сравнению со стандартным 4-битным форматом. К сильным сторонам относятся небольшой размер относительно более крупных моделей семейства Phi-4, длинный контекст, поддержка диалогов, кода и математики, а также сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества из-за 4-битного представления, отсутствие в предоставленных данных точных сведений о размере модели и перечне поддерживаемых языков, а также текстовую, а не мультимодальную специализацию. В карточке указана лицензия MIT, унаследованная от microsoft/Phi-4-mini-instruct.

Qwen2.5-14B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Исходную модель разработала команда Qwen, а квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и использования в сценариях генерации текста и диалогового взаимодействия. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов, ориентирована на работу со структурированными данными и их генерацию. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантизация снижает требования к памяти, но README не содержит количественных оценок производительности и качества, поэтому её сильные стороны и ограничения относительно полной версии нельзя точно сравнить. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию, поэтому результаты требуют проверки.

ibrahimkettaneh/Qwen2.5-72B-Instruct-abliterated-AWQ — производная версия Qwen2.5-72B-Instruct, опубликованная пользователем Ibrahim Kettaneh на Hugging Face. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий содержит веса в формате Safetensors, квантизированные методом AWQ до 4 бит, и предназначен для локального запуска текстовой генерации и диалоговых приложений на совместимом оборудовании. Отдельная карточка модели для этого производного репозитория отсутствует, поэтому сведения о специфических изменениях, внесённых в вариант «abliterated», не задокументированы надёжно. Архитектурно это causal language model семейства Qwen2.5 с примерно 72,7 млрд параметров, 80 слоями, RoPE, SwiGLU, RMSNorm и grouped-query attention: 64 головы для Q и 8 для KV. Исходная instruction-tuned модель поддерживает генерацию текста, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский. Полный контекст составляет до 131 072 токенов, а рекомендуемая длина генерации — до 8192 токенов; для очень длинного контекста требуется настройка YaRN. К сильным сторонам относятся большой масштаб, развитые способности к рассуждению, коду и обработке длинного контекста, а 4-битная AWQ-квантизация уменьшает требования к памяти по сравнению с полноразмерными весами. Ограничения — высокая вычислительная требовательность даже после квантизации, возможное снижение качества из-за квантизации и отсутствие надёжно опубликованных оценок именно этого варианта. На странице производного репозитория отдельная лицензия не указана; у исходной Qwen2.5-72B-Instruct указана лицензия Qwen, поэтому условия использования следует проверять по лицензии исходной модели и файлам конкретного репозитория.

Etherll/Qwen2.5-7B-della-test — объединённая языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Она создана с помощью mergekit методом della на основе Qwen/Qwen2.5-7B с включением Qwen/Qwen2.5-7B-Instruct; в репозитории указаны веса safetensors в формате bfloat16 и около 7,1 млрд параметров. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов, а метаданные отмечают интерфейс вызова инструментов. Модель подходит для диалоговых приложений, генерации и продолжения текста, а также структурированных ответов и вызова инструментов. В README приведены результаты оценок Open LLM Leaderboard, включая IFEval и BBH. Данные не подтверждают отдельную специализацию по предметной области или конкретный набор языков. Лицензия в предоставленных сведениях не указана.

baronyi/Qwen2_5-code-talker-v1-0707-014615 — объединённая методом SLERP модель на основе Qwen/Qwen2.5-Coder-14B-Instruct и Qwen/Qwen2.5-14B-Instruct. Это плотная авторегрессионная языковая модель семейства Qwen2.5 с архитектурой Qwen2ForCausalLM и примерно 14 млрд параметров; карточка указывает форматы Safetensors и GGUF F16, а метаданные — контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и программного кода, а также структурированных ответов и взаимодействия с инструментами через соответствующий интерфейс. Она объединяет возможности двух инструкционных моделей Qwen2.5, одна из которых ориентирована на код. Поддерживаемые языки в предоставленных данных не перечислены. Условия лицензии в карточке и метаданных не приведены.

Qwen3-128k-30B-A3B-NEO-MAX-Imatrix-gguf — набор GGUF-квантизаций модели Qwen3-30B-A3B, разработанной командой Qwen. Это разреженная Mixture-of-Experts-модель с 30 млрд общих параметров и 128 экспертами, из которых обычно активируются 8 в зависимости от содержания запроса; эффективный объём активных параметров составляет около 3 млрд. Автор сборки применил собственный NEO Imatrix-процесс и модификации, ориентированные на работу с различными уровнями квантования. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, рассуждений, решения задач и использования инструментов. Заявлена поддержка контекста до 131072 токенов, расширенного с 32768 с применением YaRN. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Ключевое преимущество сборки — возможность запуска всех вариантов на GPU, CPU или в режиме CPU с оперативной памятью благодаря MoE-архитектуре и активации только части параметров. NEO Imatrix-квантизация призвана сохранить пригодное качество даже у компактных вариантов, однако более низкие уровни квантования уступают старшим по качеству и могут требовать более подробных промптов. Скорость и качество зависят от конкретного варианта квантизации и оборудования; приведённые в README оценки производительности ограничены описанной конфигурацией. Модель распространяется по лицензии Apache-2.0.

YOYO-AI/Qwen3-30B-A3B-YOYO-V4 — объединённая текстовая модель YOYO-AI на архитектуре Qwen3 MoE для генерации текста и диалогов. По метаданным, она объединяет Qwen/Qwen3-30B-A3B-Instruct-2507, Qwen/Qwen3-30B-A3B-Thinking-2507 и Qwen/Qwen3-Coder-30B-A3B-Instruct. В README описан метод слияния cla-gm: для параметров моделей вычисляется устойчивый центр с использованием среднего, покоординатной медианы и итеративного алгоритма Вайсфельда. Модель принимает текст и выдаёт текст; заявлены интерфейс вызова инструментов и контекст до 262 144 токенов. В карточке также указано значение контекста 1 010 000 токенов, но оно не согласуется с метаданными. Языковые теги карточки — английский и китайский. Размер по метаданным — 2,6 млрд параметров; формат файлов — safetensors, точность в README — bfloat16. Лицензия — Apache-2.0. Модель предназначена для диалогов, следования инструкциям, рассуждений, задач с кодом и вызова инструментов в рамках генерации текста. Отдельных оценок качества, подробных языковых результатов и ограничений применения карточка не приводит.

mlx-community/Qwen3-32B-bf16 — конверсия модели Qwen/Qwen3-32B в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm версии 0.24.0. Это плотная авторегрессионная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Для неё указан контекст длиной до 40 960 токенов. Базовая Qwen3 — многоязычная модель для диалога, рассуждений, программирования и работы с инструментами; конкретный перечень поддерживаемых языков в карточке этой конверсии не приведён. Репозиторий содержит веса safetensors и предназначен для использования с библиотекой MLX, в частности через mlx-lm. Модель доступна по лицензии Apache-2.0. Качество и скорость могут зависеть от оборудования и программной среды MLX; приведённые сведения не описывают отдельную проверку этой конверсии.

Карточка модели rayss868123/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой heretic-org/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

Qwen3.5-9B-AWQ — это квантованная в формате AWQ версия модели Qwen/Qwen3.5-9B, опубликованная пользователем nicklas373. Конвертация выполнена с помощью llm-compressor версии 0.10.0.1 с использованием наборов данных Salesforce/wikitext и lmms-lab/COCO-Caption2017. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и задач понимания изображений в рамках мультимодальной архитектуры. Базовая модель представляет собой causal language model с vision encoder, однако приведённая конфигурация запуска через vLLM ориентирована на текстовый режим и включает специализированные chat template, reasoning parser и tool-call parser. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально более эффективный инференс при сохранении возможностей базовой модели. Ограничения включают зависимость от совместимого стека инференса и необходимость специальной настройки vLLM; фактическая работоспособность мультимодального режима для данной конвертации в README описана неоднозначно. Лицензия в предоставленных данных не указана. Для запуска рекомендуется vLLM с quantization compressed-tensors, tokenizer базовой модели Qwen/Qwen3.5-9B и параметрами, приведёнными в README.

FreedomAISVR подготовил GGUF-вариант мультимодальной инструктивной модели Qwen3.5-9B с квантизацией MXFP4. Модель содержит 32 трансформерных блока с гибридной архитектурой attention, FFN и SSM, дополнительную голову Multi-Token Prediction и проектор SigLIP для обработки изображений. Размер модели — 9 млрд параметров, контекст — до 262 144 токенов; веса представлены в 4-битном формате MXFP4, а проектор — в F16. Модель предназначена для генерации ответов и диалога на нескольких языках, понимания изображений и видео, вызова инструментов, рассуждений и задач по коду. Режим рассуждений в этой сборке выключен по умолчанию и включается параметром enable_thinking=true. Для мультимодального запуска требуется подключить файл проектора mmproj; использовать сборку можно через llama.cpp и совместимые инструменты для GGUF. Модель основана на Qwen/Qwen3.5-9B и распространяется по лицензии Apache-2.0. Квантизация уменьшает требования к памяти, но может повлиять на точность по сравнению с исходными весами. В README указана поддержка английского, китайского и кода; метаданные также отмечают многоязычность.

hampsonw/Qwen3.6-27B-AWQ-BF16-INT4-mtp-bf16 — вариант модели Qwen3.6-27B, созданный на основе чекпойнта cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 версии 26.05.01. Модель представляет собой каузальную языковую модель с энкодером изображений, разработанную в экосистеме Qwen. Она ориентирована на генерацию текста, программирование, агентные сценарии, работу с репозиториями и задачами, требующими визуально-текстового понимания. Модель содержит около 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура включает Gated DeltaNet, Gated Attention, FFN и механизм multi-token prediction (MTP); размер модели указан как 26,37 ГБ. Основная часть весов сжата до INT4 в формате AWQ/compressed-tensors, что снижает требования к памяти. Тензоры MTP заменены на необжатые BF16 из базовой модели и предназначены для speculative decoding в vLLM. Это может повысить эффективность генерации при использовании поддерживаемой конфигурации vLLM, однако чекпойнт требует совместимого программного стека и настройки MTP. README не приводит количественных результатов бенчмарков и подробностей об ограничениях качества мультимодального ввода. Лицензия — Apache-2.0.

Qwen3.6-27B-Claude-Mythos-Distilled-MTP-GGUF — общественная дообученная модель от chatqaq, созданная на базе Qwen/Qwen3.6-27B. Она ориентирована на техническое рассуждение, сложные задачи программирования, анализ кибербезопасности и автономные агентные сценарии. Модель предназначена для декомпозиции многоэтапных задач, планирования длительных рабочих процессов, отладки и подготовки ориентированного на промышленную разработку кода, а также для защитного анализа уязвимостей и аудита исходного кода. Модель содержит 27 млрд параметров и дообучалась методом QLoRA с 4-битной NF4-квантизацией на 25 000 синтетических образцов SFT из набора WithinUsAI/claude_mythos_distilled_25k. Доступны форматы GGUF Q8 и Q4 для локального развёртывания. В карточке заявлены текстовые и визуально-текстовые задачи, а также поддержка английского и китайского языков; размер контекста не указан. Сильными сторонами модели считаются структурированное многошаговое рассуждение, техническая точность, инженерное программирование и пригодность для агентных рабочих процессов. Ограничения связаны с полностью синтетическим происхождением обучающих данных: модель может галлюцинировать или чрезмерно обобщать в узкоспециализированных реальных сценариях. Она не сертифицирована для критически важных систем, поэтому результаты требуют экспертной проверки. В метаданных указана лицензия Apache-2.0, однако в README также сказано о необходимости соблюдать лицензионные условия исходной базовой модели Qwen3.6-27B.

trohrbaugh создал вариант Qwen3.6-35B-A3B с применением abliteration — модификации, направленной на снижение склонности модели отказывать в ответах. Это мультимодальная модель семейства Qwen с архитектурой смеси экспертов и зрительным энкодером, предназначенная для диалогов, работы с изображениями, программирования и агентных сценариев с вызовом инструментов. Модель содержит 35 млрд параметров, из которых активируется около 3 млрд; в MoE используются 256 экспертов, включая восемь маршрутизируемых и один общий активный эксперт. Контекст составляет 262 144 токена и может расширяться до 1 010 000. Репозиторий содержит веса в формате safetensors для Transformers и совместимых сред. В приведённом сравнении исходная модель отказывала в 99 из 100 проверочных запросов, а этот вариант — в 2 из 100; результат относится к указанной проверке и не гарантирует поведение на других запросах. Модель подходит для генерации и анализа текста и изображений, помощи в разработке ПО и агентной работы с инструментами. Карточка не сообщает языковые коды; в описании исходного семейства упомянуты двуязычные английские и китайские тесты, что само по себе не подтверждает полный перечень поддерживаемых языков. Лицензия — Apache 2.0. Автор указывает, что загрузка до исправления 2 мая 2026 года могла содержать некорректно сохранённые веса MoE; для корректной работы нужна исправленная версия репозитория.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-NVFP4-GGUF — это квантизированная в формате GGUF версия модели на базе Qwen3.6, созданной Alibaba Group, с доработками LuffyTheFox и квантизацией NVFP4 от jan1k. Модель также включает Hermes-файнтюнинг для диалогов, генерации текста, программирования, агентских сценариев и function calling. Указана поддержка английского, китайского и других языков, а также мультимодального ввода изображений через отдельный vision-проектор. Архитектура представляет собой Mixture of Experts: около 35 млрд общих параметров и примерно 3 млрд активных параметров на токен, с восемью маршрутизируемыми экспертами и одним общим. NVFP4 — 4-битный формат с плавающей точкой, оптимизированный для GPU NVIDIA архитектур Ada Lovelace, Blackwell и Ampere. Рекомендуется использовать файл версии v4 с inline scales; он совместим с llama.cpp, LM Studio и Pelican. Для работы с изображениями требуется отдельный проектор F16 размером около 899 МБ. Размер рекомендуемого файла модели составляет около 20 ГБ. Сильными сторонами являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальных и агентских задач, function calling и формат NVFP4, снижающий требования к памяти по сравнению с полноразмерной моделью. Ограничения включают зависимость от совместимого NVIDIA-оборудования и корректно поддерживающего NVFP4 рантайма, необходимость отдельного vision-проектора для изображений и отсутствие в предоставленных данных сведений о максимальной длине контекста и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-3bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX пользователем lukaskremla с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и использования инструментов, включая задачи с длинным контекстом и многоязычные приложения. Модель сохраняет возможности преобразования текста в текст и не содержит vision tower, поэтому не поддерживает обработку изображений. Она использует 3-битное квантование весов с affine- и RTN-подходами и размером группы 64; заявленный размер базовой модели — 27B параметров. Формат MLX ориентирован на запуск с использованием экосистемы MLX и mlx-lm. Конкретные поддерживаемые языки и максимальная длина контекста в README не указаны. К преимуществам относятся сниженные требования к памяти по сравнению с полноразмерной моделью, поддержка текстовой генерации, рассуждений, инструментов и длинного контекста. Ограничения связаны с отсутствием мультимодальности и возможными потерями качества из-за 3-битного квантования; точные показатели производительности не приведены. Модель распространяется по лицензии Apache-2.0.

barrydeen/Qwen3.8-27B-AWQ-4bit — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем barrydeen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые сценарии, работу с кодом, арифметикой, инструментами и рассуждениями. Модель имеет гибридную архитектуру Qwen3_5ForConditionalGeneration с 27 млрд параметров. Из 64 декодерных слоёв 16 используют полноценное внимание, а 48 — Gated DeltaNet. Линейные слои квантизированы методом AWQ в формате W4A16 с асимметричной схемой и размером группы 128; чувствительные компоненты, включая vision tower, Gated DeltaNet и MTP head, сохранены в BF16. Размер модели составляет около 27,8 ГБ вместо 55,6 ГБ в BF16. Заявлена поддержка контекста до 131 072 токенов при использовании vLLM, а также MTP-спекулятивного декодирования. Сильные стороны модели — существенное снижение требований к памяти при сохранении чувствительных компонентов в исходной точности, поддержка мультимодальности, инструментальных вызовов и высокая измеренная скорость генерации 85–95 токенов в секунду на двух RTX 3090. Ограничения включают отсутствие формального набора бенчмарков, калибровку только на текстовых данных и последовательностях длиной до 1024 токенов, поэтому качество на более длинных контекстах и мультимодальных данных отдельно не подтверждено. Для MTP требуется тензорный, а не конвейерный параллелизм. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality-FP16 — сборка модели Qwen3.8-27B, подготовленная Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Это текстовая генеративная модель для локального использования, включая программирование, работу с кодом, текстами, JSON и многоязычными запросами. Модель распространяется в формате MLX и оптимизирована для чипов Apple M1 и M2; для более новых Mac рекомендуется родственная сборка с bf16. Модель имеет размер 27B параметров, использует динамическое 8-битное квантование, а оставшиеся плавающие параметры хранятся в FP16. Она поддерживает контекст до 262 144 токенов и многоступенчатое предсказание с глубиной MTP 3. MTPLX применяет спекулятивное декодирование с точным сохранением распределения генерации; заявлено ускорение в два-три раза по сравнению с обычным декодированием. Для работы требуется Mac с Apple Silicon и не менее 32 ГБ объединённой памяти, а для этой сборки рекомендуется от 36 ГБ. Размер загрузки — 29,4 ГБ. Сильными сторонами являются высокое совпадение с исходной моделью Qwen3.8-27B в тестах качества, оптимизация для локального запуска на Mac и поддержка длинного контекста. Ограничения включают привязку к экосистеме Apple Silicon, высокие требования к памяти и отсутствие опубликованных замеров скорости именно на M1 и M2. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-Uncensored-mlx-6Bit — 6-битная MLX-квантизация модели orcarouter/Qwen3.8-27B-Uncensored, основанной на архитектуре Qwen 3.8 с 27,5 млрд параметров. Релиз подготовлен Solstice-AI и оптимизирован для запуска на Apple Silicon через Anvil Runtime с ускорением Metal или библиотеку mlx-lm. Модель ориентирована на английский и китайский языки. Модель предназначена для рассуждений, математических задач, агентского использования инструментов, анализа кода, аудита систем, исследования уязвимостей и red teaming. Заявлена поддержка контекстного окна до 262 144 токенов, что подходит для работы с большими репозиториями и многофайловым кодом. Используется аффинная 6-битная квантизация MLX с group_size 64; размер файлов модели составляет около 21,85 ГБ, а рекомендуемый объём unified memory — от 32 ГБ. Производительность зависит от устройства и заявлена примерно на уровне 42–62 токенов в секунду на совместимых Mac. К сильным сторонам относятся нативная оптимизация под Apple Silicon, сниженное потребление памяти по сравнению с BF16-версией, большой контекст и ориентация на технические и исследовательские сценарии. Ограничения связаны с необходимостью совместимого оборудования Apple Silicon и достаточного объёма unified memory, а также с тем, что заявленные показатели производительности зависят от конкретной конфигурации и длины контекста. Модель описана как abliterated и uncensored, то есть механизмы отказа были удалены на уровне весов; это может повысить гибкость для red teaming, но требует самостоятельного контроля безопасного применения. Лицензия — Apache 2.0.

IsValorum Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-Abliterated-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, предназначенная для генерации текста, рассуждений, программирования и локального запуска через llama.cpp и совместимые инструменты. Модель относится к разреженной архитектуре Mixture-of-Experts и содержит 40 слоёв и 256 микроэкспертов. Заявлена поддержка контекста до 256K токенов, а также английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Это аблитерированная версия без стандартных ограничителей отказа, ориентированная на сценарии, где требуется минимизация отказов при задачах по безопасности систем, пентестингу и анализу соответствия требованиям. Вариант APEX-I-MiniPlus V2.1 использует настраиваемое покомпонентное квантование: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные экспертные тензоры — преимущественно в IQ3_XXS. Размер модели составляет примерно 13,74 GiB, заявлены отсутствие существенных задержек AVX2 и поддержка ускоренного speculative execution с отдельной Q8_0 MTP-компонентой. К сильным сторонам относятся компактный размер для MoE-модели, сохранение маршрутизации экспертов в F32, высокая заявленная близость к качеству Q5–Q6-квантов и широкий языковой охват. Ограничение унаследовано от исходной BF16 Distill-модели: при очень длинных ответах возможны повторения, в том числе после блока рассуждений; это не связывается с квантованием. Релиз распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-oQ4e-100K-MTP — это нативно квантованная версия Qwen3.8-Flash-Next, разработанная jedisct1 для среды oMLX и OpenAI-совместимого API на базе MLX. Модель предназначена для coding agents, других агентных сценариев, работы с текстом и изображениями, а также tool calling через совместимые клиенты. Она сохраняет vision tower Qwen4, MTP-голову и нативную архитектурную настройку контекста 262 144 токена, однако для конфигурации с 128 ГиБ памяти рекомендован безопасный общий лимит контекста 100 000 токенов. Основной формат весов — аффинное квантование oQ4e с размером группы 64; крупная PLE-таблица использует 4-битное квантование с размером группы 32. Часть компонентов оставлена в BF16 для сохранения качества вывода и эффективности MTP, а отдельные маршрутизируемые проекции — в Q8. Размер весов составляет примерно 108,8 млрд байт в 22 файлах safetensors. Модель поддерживает визуальный ввод, а README подтверждает успешное распознавание изображений и проверку вызова инструментов, но точный набор поддерживаемых языков не указан. Сильными сторонами являются очень длинный контекст, поддержка изображений и инструментов, совместимость с OpenAI API, prompt caching через SSD и оптимизация для локального запуска на Mac с 128 ГиБ памяти. Ограничения — необходимость oMLX, SSD-offload для полного контекста, значительные требования к памяти и рекомендация отключать MTP для coding agents: при включении MTP в тестах один из десяти защитных сценариев tool calling не был пройден. Модель распространяется по лицензии qwen-community-1.0; это лицензия с обозначением other, а её полный текст находится в файле LICENSE.

Qwopus3.6-27B-Fusion-GGUF — экспериментальная модель от KyleHessling1, созданная объединением Qwopus3.6-27B-v2 с уклоном на рассуждения и Qwopus3.6-27B-Coder с уклоном на программирование. Обе родительские модели происходят от Qwen/Qwen3.6-27B. Модель предназначена для текстовой генерации, многошагового рассуждения и автономной разработки программного обеспечения, особенно для сценариев, где агент самостоятельно планирует, пишет код, запускает его и исправляет ошибки. Модель содержит 27 млрд параметров и 64 слоя, использует гибридную архитектуру qwen35 с линейным вниманием и периодическими слоями полного внимания. Нативный контекст составляет 262 144 токена; корректная работа проверена на контексте до 60 000 токенов. По умолчанию включён режим reasoning. Доступна версия GGUF с квантизацией Q4_K_M размером около 16,5 ГБ, рассчитанная на запуск через llama.cpp на одной видеокарте с 24–32 ГБ памяти. Поддерживается ввод изображений при использовании совместимого проектора Qwopus3.6-27B-Fusion-mmproj-Q8_0.gguf. В README указан английский язык. Сильные стороны модели — сочетание устойчивого рассуждения и генерации кода, хорошие результаты на HumanEval, MBPP и GSM8K, стабильное завершение генерации и способность работать как автономный агент программирования. Ограничения связаны с экспериментальным статусом и отсутствием полного строгого оценивания; результаты зависят от квантизации и режима работы. Лицензия указана как other с названием qwen и ссылкой на лицензию Qwen.

Qwopus3.8-27B-Flash-GGUF — это мультимодальная инструкция-ориентированная модель на 27 миллиардов параметров, представленная в формате GGUF. Она основана на модели Jackrong/Qwopus3.8-27B-Flash, а GGUF-квантизацию выполнил mradermacher. Модель поддерживает обработку текста и изображений, генерацию текста, рассуждения, написание кода, агентские сценарии, использование инструментов и вызов функций. Заявлена поддержка английского, китайского, испанского, русского и японского языков. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для задач conversational AI, text-generation и image-text-to-text. В комплект входят мультимодальные дополнения mmproj, необходимые для работы с изображениями, и несколько вариантов квантизации размером примерно от 11 до 29,1 ГБ. В README наиболее быстрыми и рекомендуемыми названы Q4_K_S и Q4_K_M, а Q8_0 отмечен как вариант с лучшим качеством среди перечисленных. К сильным сторонам относятся мультимодальность, поддержка нескольких языков, возможности рассуждения, генерации кода, агентского взаимодействия и tool use, а также широкий выбор вариантов квантизации для локального запуска. Ограничения включают необходимость значительных вычислительных ресурсов для 27B-модели, возможное снижение качества при сильной квантизации и отсутствие в README сведений о размере контекста, результатах бенчмарков и подробностях архитектуры. Модель распространяется по лицензии Apache-2.0.

Reflection Llama-3.1 70B — языковая модель, созданная Matt Shumer на основе Meta Llama 3.1 70B Instruct с применением метода Reflection-Tuning. Она предназначена для диалогов и генерации текста, в том числе для задач, требующих пошагового рассуждения и исправления ошибок. Модель имеет плотную архитектуру LlamaForCausalLM, содержит около 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Во время генерации модель разделяет ход рассуждения и итоговый ответ специальными токенами; для диалогов используется шаблон Llama 3.1. Карточка описывает обучение на синтетических данных Glaive и рекомендует системный запрос, задающий формат рассуждений и ответа. Доступны веса в формате safetensors; лицензия — Llama 3.1 Community License. Метаданные указывают интерфейс вызова инструментов, но README не приводит оценок его качества. Модель унаследовала языковые возможности базовой модели; конкретный набор языков в предоставленных данных не перечислен.