II.1Анализ требований и архитектура ПО

NVIDIA Muse-Glimmer-30B NVFP4 — квантизированная версия модели Muse-Glimmer-30B, разработанной Meta Superintelligence Lab. NVIDIA подготовила квантизацию с помощью Model Optimizer; сама NVIDIA указывает, что не владеет и не разрабатывала исходную модель. Это плотный авторегрессионный causal Transformer с выделенным perception encoder для обработки чередующихся текстовых и графических входов. Модель предназначена для локальных агентных сценариев: многошагового рассуждения и планирования, coding agents, автономных систем, использования инструментов, восстановления после ошибок и мультимодального анализа. Она принимает текст и RGB-изображения, поддерживает контекст до 131K токенов и до 4 096 визуальных токенов на изображение. Модель может интерпретировать скриншоты, графики и документы в контексте диалога, генерируя текстовые ответы. Доступны уровни интенсивности рассуждения low, medium, high и xhigh, позволяющие выбирать баланс между качеством и скоростью. Модель содержит около 29,6 млрд параметров с учётом vision encoder и использует формат квантизации NVFP4 1.0, выполненной с помощью nvidia-modelopt v0.46.0. Поддерживаются vLLM и SGLang, а целевыми платформами являются NVIDIA Blackwell B200, B300 и DGX Spark под Linux. Видео не оптимизировано напрямую и обрабатывается как последовательность отдельных кадров; сведения о языках, исходных обучающих данных и их объёме не раскрыты. Для коммерческого и некоммерческого использования указана лицензия Apache 2.0, однако перед развёртыванием требуется дополнительное тестирование на данных конкретного сценария.

Nemotron-Cascade-2-30B-A3B — открытая языковая модель NVIDIA с архитектурой Nemotron-H и смесью экспертов: при общем размере 30 млрд параметров активируется около 3 млрд. Модель дообучена на основе nvidia/Nemotron-3-Nano-30B-A3B-Base и предназначена для диалогов, сложных рассуждений и агентных сценариев. Она поддерживает режимы с рассуждениями и обычными инструкциями, а также интерфейс вызова инструментов через соответствующую конфигурацию. Модель работает с текстом и использует шаблон ChatML. Размер контекста по метаданным — 262 144 токена. В README сообщается о золотых медалях на Международной математической олимпиаде IMO и Международной олимпиаде по информатике IOI 2025. Для запуска через vLLM требуется версия не ниже 0.17.1. Указанный в метаданных язык — английский. Лицензия обозначена как other; конкретные условия следует сверить с карточкой модели на Hugging Face. Качество может зависеть от запроса и настроек генерации; заявленные результаты на олимпиадах не гарантируют такой же точности в других задачах.

NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 — квантизированная FP8-версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, разработанная NVIDIA Corporation с нуля. Модель предназначена для генерации текста, диалогов, решения задач с рассуждением, следования инструкциям, работы с кодом и математикой, а также сценариев tool-calling. В карточке также заявлены задачи text-to-text, image-to-text и reasoning, однако подробности о мультимодальных возможностях не приведены. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего модель содержит около 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. Каждый MoE-слой включает 128 экспертов и одного общего эксперта, при этом для токена активируются 6 экспертов. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки; также указано улучшение с использованием Qwen. Размер контекста в предоставленных данных не указан. Модель объединяет режимы с рассуждением и без него. По умолчанию она может сначала формировать reasoning trace, а затем итоговый ответ; рассуждение можно отключить через настройку chat template, что немного снижает точность на сложных запросах. К сильным сторонам относятся сочетание высокой общей ёмкости с меньшим числом активных параметров, поддержка нескольких языков и специализированных сценариев, включая reasoning и tool-calling. Ограничениями являются необходимость совместимого инференсного стека и отсутствие в карточке подробных результатов бенчмарков, сведений о контекстном окне и детального описания заявленной image-to-text функциональности. Модель распространяется по NVIDIA Open Model License. Она валидирована в RHOAI 3.0, RHAIIS 3.2.5 и vLLM 0.11.2.

Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Ollama — мультимодальная модель семейства Qwen3.6-35B-A3B, подготовленная разработчиком oktayd на основе производных Qwen и последующих reasoning-distillation, ablation, Heretic, OBLITERATUS и Hermes-этапов. Репозиторий содержит квантизированную версию GGUF для запуска через Ollama и llama.cpp. Модель предназначена для генерации текста, анализа изображений, рассуждений, программирования, агентных сценариев, function calling и работы с инструментами, включая терминал, файлы и репозитории. Архитектура — mixture-of-experts qwen3_5_moe: всего 35 млрд параметров, из них активируется около 3 млрд. Заявлены контекст до 262 144 токенов, поддержка английского языка, визуальный проектор F16, MTP и квантизация основного файла Q4_K_M. Сильными сторонами являются сохранённые Vision и MTP-компоненты, улучшенная точность следования инструкциям, возможности работы с кодом и инструментами, а также хорошие результаты в представленных тестах IFEval, HumanEval+, GSM8K и BBH. Ограничения включают отсутствие подтверждения совместного использования Vision и MTP в одном вызове, непроверенную полноценную поддержку Vision/MTP в Ollama, незавершённую валидацию FreeToken и нестабильность на отдельных задачах, где наблюдались зацикливание и усечение вывода. Модель распространяется по лицензии Apache-2.0.

Qevacot-7B — объединённая языковая модель семейства Qwen2.5, созданная автором репозитория bunnycore с помощью mergekit и метода TIES. В основу слияния взята Qwen/Qwen2.5-7B; также объединены EVA-Qwen2.5-7B-v0.1, T.E-8.1, Qwen2.5-7B-Instruct, Qwen2.5-7B-Instruct-abliterated-v2, Qwen2.5-7B-HyperMix и CoT-2.5. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс для вызова инструментов. Доступна в формате safetensors для Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о специальной предметной области или поддерживаемых языках, поэтому область применения следует считать общей, а языковые возможности — неуточнёнными.

Ba2han/qwen-14b-1m-distillthink-sce — объединённая автором Ba2han языковая модель на архитектуре Qwen2 с 14 млрд параметров. Она создана методом SCE в mergekit на основе Qwen/Qwen2.5-14B и объединяет DeepSeek-R1-Distill-Qwen-14B, Qwen2.5-14B-Instruct-1M и Qwen2.5-Coder-14B-Instruct. Модель предназначена для диалоговой генерации текста, анализа и исправления кода, а также задач рассуждения; доступен интерфейс для вызова инструментов. Модель работает с текстом и имеет нативный контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; README указывает на использование bfloat16 при слиянии. Карточка не описывает отдельные оценки качества или конкретные ограничения, поэтому результаты на сложных задачах следует проверять. Лицензия в предоставленных данных не указана.

Qwen2.5-14B-Instruct-MLX-8bit — квантованная 8-битная версия языковой модели Qwen2.5-14B-Instruct, адаптированная для MLX и Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих понимания и генерации структурированных данных. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она обучена на большом наборе данных и заявлена как поддерживающая более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Архитектура и точное число параметров исходной модели обозначены в идентификаторе как 14B; сведения о конкретной архитектуре в README не приведены. К сильным сторонам относятся широкий языковой охват, длинный контекст, возможности работы со структурированными данными и локальный запуск на совместимых Mac с Apple Silicon. Ограничения включают зависимость от MLX и совместимого оборудования, а также типичные для генеративных моделей риски неточностей, вредного или неподходящего содержания. Модель распространяется по лицензии Apache-2.0.

ibrahimkettaneh/Qwen2.5-32B-Instruct-abliterated-pass2-AWQ — это квантованная в формате AWQ производная версия Qwen2.5-32B-Instruct. Репозиторий опубликован Ibrahim Kettaneh, а исходную модель разработала команда Qwen компании Alibaba Cloud. Вариант pass2 относится к моделям с изменённым поведением отказов, описываемым как refusal-ablated; точные методы и результаты такого изменения в доступных данных не указаны. Модель предназначена для генерации текста, диалогов, следования инструкциям, работы со структурированными данными, программированием и математическими задачами. Она сохраняет характеристики базовой Qwen2.5-32B-Instruct: causal language model с архитектурой на основе Transformer, RoPE, SwiGLU, RMSNorm и GQA; около 32,5 млрд параметров, 64 слоя, 40 attention heads для Q и 8 для KV. Поддерживаются контекст до 131 072 токенов и генерация до 8 192 токенов, а также более 29 языков, включая русский, английский и китайский. Это текстовая модель без заявленной поддержки изображений или других модальностей. Ключевые преимущества — большой размер, развитое следование инструкциям, длинный контекст, мультиязычность и сниженное количество стандартных отказов вследствие abliteration. Ограничения включают высокие требования к памяти и вычислениям, возможное ухудшение безопасности и надёжности отказов по сравнению с исходной instruct-моделью, а также отсутствие подтверждённых независимых оценок именно этой AWQ-версии. Для производной модели лицензия в найденных данных не заявлена; у базовой Qwen2.5-32B-Instruct указана Apache License 2.0, но её применимость к данному производному репозиторию следует проверять отдельно.

Qwen3-30B-A3B-Instruct-2507-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста, рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель построена на архитектуре Qwen3ForCausalLM и работает с текстовыми входами и выходами. Веса линейных операторов в трансформерных блоках сжаты до INT4 с использованием алгоритма GPTQ, симметричной групповой схемы с размером группы 128; выходной слой lm_head не квантизируется. Такое преобразование уменьшает число битов на параметр с 16 до 4, а также примерно на 75% снижает требования к дисковому пространству и памяти GPU. Размер базовой модели — 30B параметров, при этом в README не указаны точные сведения о языках и максимальном контексте; в примерах развертывания используется длина контекста до 262144 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам и возможность эффективного развертывания через vLLM, включая OpenAI-совместимый API. Ограничения связаны с потерями качества, возможными при INT4-квантизации, а также с отсутствием в предоставленных данных подробных результатов бенчмарков и характеристик поддержки отдельных языков. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

arnomatic/Qwen3-4B-Instruct-2507-heretic-av2 — производная чат-модель семейства Qwen3, созданная на основе Qwen3-4B-Instruct-2507 методом abliteration, который снижает склонность исходной модели отказывать в ответах. Это плотная причинная языковая модель с архитектурой Qwen3ForCausalLM, примерно 3,7 млрд параметров и нативным контекстом до 262 144 токенов; поддерживает только режим без «thinking». Предназначена для диалогов и генерации текста по инструкциям, включая рассуждения, математику, программирование, ответы на вопросы и вызовы инструментов. Карточка сообщает о многоязычных возможностях исходной модели, но не перечисляет поддерживаемые языки. В сравнении с исходной моделью в приведённом тесте число отказов снизилось с 100 из 100 до 19 из 100; это не означает полного отсутствия отказов и не является гарантией качества. Доступна в формате Safetensors для Transformers. Лицензия — Apache-2.0.

Qwen3-53B-A3B-2507-THINKING-TOTAL-RECALL-v2-MASTER-CODER — модель Дэвида А. Ю (DavidAU), созданная на базе Qwen3-30B-A3B-Thinking-2507 с Brainstorm 40X и дополнительными изменениями конфигурации экспертов. Это причинная языковая модель с архитектурой Qwen3 MoE: в README указаны 53 млрд параметров, 84 слоя и 10 активируемых экспертов по умолчанию; метаданные указывают 4,3 млрд параметров. Модель предназначена для генерации текста, диалогов, программирования и задач рассуждения, включая работу с длинными проектами и контекстом до 262 144 токенов. README отмечает, что для сложных задач можно увеличить число активных экспертов, а для широкого охвата вариантов решения — запускать несколько генераций. Модель работает с текстом и ориентирована на английский, французский, китайский и немецкий языки согласно метаданным; README также заявляет поддержку основных и многих менее распространённых языков программирования. Доступны веса safetensors для использования через Transformers и преобразования в другие форматы. Лицензия — Apache-2.0. Конкретные настройки генерации влияют на результаты; рекомендации автора включают контекст от 8–16 тысяч токенов для рассуждения и вывода.

unsloth/Qwen3.5-9B — постобученная мультимодальная модель семейства Qwen3.5, опубликованная в формате Transformers командой Unsloth. Это причинная языковая модель с визуальным энкодером на 9 млрд параметров; архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Модель принимает текст и изображения, ведёт диалог, анализирует визуальные материалы, рассуждает и поддерживает вызов инструментов. Модель рассчитана на мультиязычное применение: карточка заявляет поддержку 201 языка и диалекта. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Веса сохранены в формате safetensors и совместимы с Transformers и рядом серверов инференса. Лицензия — Apache-2.0. Среди подходящих сценариев — вопросы по изображениям и визуальное понимание, многоязычный диалог, программирование, рассуждения и агентные задачи с использованием инструментов. Режим рассуждений включён по умолчанию; высокая пропускная способность и эффективность зависят от выбранного движка и его версии. Для длинного контекста требуются значительные ресурсы памяти, а при нехватке памяти рекомендуется уменьшить окно контекста.

FadedRedStar/Qwen3.5-9B-heretic-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-9B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантизацию выполнил FadedRedStar на основе весов coder3101/Qwen3.5-9B-heretic. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, направленного на снижение количества отказов модели. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев. Она поддерживает обработку изображений через встроенный vision encoder и раннее объединение модальностей, формат запросов ChatML, 201 язык и диалект, а также контекст до 262 144 токенов с заявленной возможностью расширения примерно до миллиона токенов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть содержит около 9 млрд параметров, общий объём с vision encoder составляет примерно 10 млрд параметров. Модель по умолчанию генерирует рассуждения перед финальным ответом и поддерживает tool calling. Репозиторий предоставляет варианты квантизации Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы в форматах Q8_0 и BF16 для запуска с поддержкой изображений в llama.cpp. Q4_K_M рассчитан на баланс качества и потребления памяти, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при больших требованиях к памяти. Для ускоренного декодирования доступны дополнительные MTP-файлы. Заявленные показатели обхода отказов являются самоотчётными и независимо не проверялись; изменение поведения безопасности может быть ограничением при использовании модели. Лицензия — Apache-2.0.

ZuzeTt/Qwen3.5-9B-imatrix-GGUF — мультимодальная каузальная языковая модель с vision-энкодером из семейства Qwen, разработанного командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Указана лицензия Apache-2.0. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для квантования использовался llama.cpp; при подготовке указано вычисление более чем 400 фрагментов с n_ctx=1024, однако конкретный уровень квантования в README не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, высокая заявленная эффективность архитектуры, большой контекст и широкая языковая поддержка. Ограничения заключаются в отсутствии подробных сведений о фактических характеристиках именно данной квантованной сборки, включая точный формат и уровень квантования, требования к памяти и результаты независимого тестирования. README также описывает совместимость с Transformers, vLLM, SGLang и KTransformers.

RedHatAI/Qwen3.6-35B-A3B-NVFP4 — предварительная NVFP4-квантизованная версия модели Qwen3.6-35B-A3B, разработанной Alibaba Cloud и опубликованной Red Hat AI. Веса и активации преобразованы в формат NVFP4 с использованием llm-compressor; модель распространяется в формате compressed-tensors и предназначена для запуска через vLLM. Модель ориентирована на генерацию текста, рассуждения, решение математических и академических задач, программирование, работу с инструментами и агентские сценарии. В метаданных также заявлена поддержка обработки изображений вместе с текстом. Поддерживаются tool calling и режим рассуждений Qwen3; для запуска рекомендуются reasoning parser qwen3, tool-call parser qwen3_coder, prefix caching и MoE-бэкенд flashinfer_cutlass. Вариант содержит 35 млрд параметров в MoE-архитектуре с конфигурацией A3B; максимальная длина контекста 96 000 токенов указана для проведённого запуска в vLLM. Языки модели в README не перечислены. Сильная сторона модели — существенное снижение требований к памяти благодаря квантизации весов и активаций при сохранении большей части качества исходной Qwen3.6-35B-A3B. По опубликованным тестам результаты близки к базовой модели на задачах GSM8K, GPQA, Math 500, MMLU-Pro и IFEval, однако наблюдается более заметное снижение на LiveCodeBench, BFCL Multi-Turn и SWE-bench Verified. Модель является предварительной версией и может изменяться; совместимость проверена с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B-NVFP4 — это посттренированная квантованная версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и опубликованной пользователем ykarout. Модель представлена в формате Hugging Face Transformers и предназначена для генерации текста, программирования, агентных сценариев и обработки задач с изображениями благодаря архитектуре с vision encoder. Модель использует причинную языковую архитектуру с Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Она включает 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта, а также сочетает Gated DeltaNet и Gated Attention. Квантование выполнено в формате NVFP4 с 4-битными весами и FP8 KV-кэшем; конфигурация оптимизирована для архитектуры NVIDIA Blackwell. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаемые языки в README не указаны. Сильными сторонами модели заявлены агентное программирование, работа с интерфейсами и репозиториями, сохранение контекста рассуждений между сообщениями и высокая эффективность за счёт MoE-архитектуры и квантования. Ограничения включают зависимость производительности от совместимого программного и аппаратного окружения, особенно при использовании Blackwell-оптимизаций, а также возможные потери качества, характерные для 4-битного квантования. В README приведены результаты SWE-bench, включая 73,4 для SWE-bench Verified и 67,2 для SWE-bench Multilingual, но полная методика оценки не описана. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B-UD-MLX-3bit — это 3-битно квантованный вариант модели Qwen3.6-35B-A3B, подготовленный Unsloth в формате MLX на базе модели Qwen. Модель предназначена для генерации текста, программирования, агентных сценариев и задач, связанных с анализом изображений, поскольку включает языковую модель с vision encoder. В README отдельно отмечены улучшения для frontend-разработки, рассуждений на уровне репозитория, сохранения контекста рассуждений и вызова инструментов. Архитектура представляет собой causal language model с Mixture of Experts: всего 35 млрд параметров, из которых активируются 3 млрд. Модель содержит 40 слоёв, 256 экспертов с маршрутизацией к 8 экспертам и одним общим экспертом, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленным расширением до 1 010 000 токенов. Поддержка языков в предоставленных данных не указана. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, возможности работы с изображениями и специализация на кодинге и агентных рабочих процессах. Ограничения связаны с 3-битным квантованием и зависимостью от совместимого стека MLX; влияние квантования на качество в README не описано. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-4bit-MLX-TextOnly — текстовая 4-битная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Модель преобразована в формат MLX с использованием mlx-lm 0.31.2 и предназначена для запуска в экосистеме MLX и mlx-lm. Она поддерживает генерацию текста, диалоговые сценарии, рассуждения, использование инструментов и работу с длинным контекстом; заявлена как многоязычная. Модель содержит около 27 миллиардов параметров в исходной версии и использует weight-only-квантование до 4 бит с group size 64, affine- и RTN-подходами. Это текстовая модель без vision tower: возможности обработки изображений удалены, поэтому она работает только с текстом. К сильным сторонам относятся уменьшенный объём весов и пригодность для локального запуска в MLX, а ограничением — отсутствие мультимодальных возможностей и потенциальная потеря точности по сравнению с полной моделью из-за квантования. Точная длина контекста в README не указана. Распространяется по лицензии Apache-2.0.

palmfuture/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия Qwen3.8-27B, опубликованная palmfuture и основанная на модели Qwen/Qwen3.8-27B. Модель предназначена для диалогов, следования инструкциям, генерации кода, математических рассуждений и работы с изображениями. Заявлены английский, китайский и тайский языки, а также сценарии codeswitching. Модель использует гибридную архитектуру с обычным attention и линейным attention на основе Gated DeltaNet/Mamba; визуальный encoder сохранён в формате bf16, как и embeddings, lm_head, нормализации и MTP-компоненты. Основной набор линейных слоёв квантизован в int4 с uniform group_size=32. Указана поддержка контекста до 262144 токенов в конфигурации SGLang; пример для vLLM ограничен 8192 токенами. В комплект входят веса Multi-Token Prediction для speculative decoding, совместимые с SGLang и vLLM. К сильным сторонам относятся существенное снижение требований к памяти, совместимость с популярными inference-системами, поддержка vision-задач и ускорение генерации за счёт speculative decoding. К ограничениям относятся необходимость корректной настройки runtime: для SGLang рекомендуется mamba-ssm-dtype=float32, поскольку float16 может вызывать дрейф состояния и ошибки в тайских диакритических знаках на длинных диалогах. Модель распространяется по лицензии Apache-2.0.

darkc0de/Qwen3.8-27B-heretic — декензурированная версия Qwen/Qwen3.8-27B, созданная с помощью Heretic v1.4.0. Это плотная модель с 27 млрд параметров, построенная на архитектуре семейства Qwen3.5: языковая модель с визуальным энкодером, поддерживающая диалог и анализ изображений. В метаданных Hugging Face для неё указана задача image-text-to-text; исходная карточка также описывает понимание видео, но каталог не отмечает эту возможность отдельно. Модель предназначена для сложных запросов, программирования, исследований, многошагового планирования, работы с документами и визуальными материалами. Контекст составляет 262 144 токена с возможностью расширения до 1 000 000. Режим рассуждения включён по умолчанию и может настраиваться. По сравнению с исходной моделью, согласно карточке, частота отказов в указанной проверке снизилась с 89 до 64 из 100; это не гарантирует отсутствие отказов или пригодность ответов для любой задачи. Веса опубликованы в формате safetensors и совместимы с Transformers, vLLM и SGLang. Лицензия — Apache-2.0. В карточке не приведены языки модели; описание не приписывает ей поддержку конкретных естественных языков.

SassyDiffusion/Qwen3.8-27B-heretic-GGUF — GGUF-сборка модели SassyDiffusion/Qwen3.8-27B-heretic, основанной на Qwen3.8-27B и изменённой методом abliteration. Это разговорная причинная языковая модель с визуальным энкодером, рассчитанная на диалог, анализ изображений и видео, программирование, профессиональные и исследовательские задачи, а также многошаговое планирование. Модель содержит 27 млрд параметров; базовая архитектура Qwen3.8 использует 64 слоя и поддерживает контекст 262 144 токена с возможностью расширения до 1 000 000. Метаданные указывают формат GGUF BF16. В карточке базовой модели заявлена поддержка понимания изображений и видео, гибкого управления режимом рассуждений и агентных сценариев. Для этой версии README приводит результат abliteration: 4 отказа из 100 запросов против 99 из 100 у исходной модели в указанной проверке; это означает заметно меньше отказов, но не гарантирует поведение на других запросах. Лицензия — Apache-2.0. Перед использованием следует учитывать, что README описывает параметры abliteration, но не приводит отдельной оценки качества именно этой GGUF-сборки.

Модель представляет собой INT4-квантованную версию Qwen/Qwen3.8-27B, опубликованную под идентификатором philbert440/Qwen3.8-27B-W4A16-AWQ. Базовая модель разработана командой Qwen и является плотной vision-language-моделью с поддержкой текстовых и визуальных данных. В README не указано, кто именно выполнил квантование, однако сохранены исходная башня зрения и голова MTP для speculative decoding. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений, математических задач, агентных сценариев и генерации длинных текстов. Архитектура включает 27 млрд параметров, 64 слоя, гибрид GatedDeltaNet linear attention и GatedAttention, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN. Квантованы линейные слои внимания и MLP в формате W4A16, group size 128, при этом vision tower, эмбеддинги, lm_head и MTP head сохранены в BF16. Размер модели составляет около 19,5 ГБ. Сильные стороны сборки — сохранение мультимодальности и режима reasoning, совместимость с vLLM, поддержка MTP и возможность запуска на двух GPU V100 по 32 ГБ. В README приведены успешные проверки понимания изображений, математики, длинной генерации и корректного поведения think-тегов, а также измерения производительности до примерно 59 токенов в секунду в отдельных режимах на двух V100. Ограничения заключаются в том, что приведённые бенчмарки качества относятся к базовой BF16-модели, а не к данной квантованной версии; фактическая совместимость и скорость зависят от аппаратного обеспечения и используемого сервера. Лицензия — Apache-2.0.

malvavisc0/Qwen3.8-9B-gptq-int4 — квантизированная версия модели empero-ai/Qwen3.8-9B, разработанная в формате GPTQ Int4. Модель относится к семейству Qwen и представляет собой плотную модель примерно на 9 млрд параметров, дистиллированную из Qwen3.8 2.4T A95B. Квантизация выполнена для текстовых модулей; заявлена гибридная архитектура с 24 слоями GatedDeltaNet и 8 слоями полнотекстового внимания. Нативный контекст составляет до 262 тысяч токенов. В репозитории также присутствует необработанная vision tower, однако подробности о поддерживаемых визуальных сценариях не приведены. Модель предназначена для генерации текста, рассуждений, решения математических задач, программирования и агентских сценариев с вызовом инструментов. Она поддерживает reasoning с блоками <think>, управление интенсивностью рассуждений через chat template и XML-формат вызова инструментов. Предусмотрена интеграция с vLLM и Transformers, а также совместимость с OpenAI API через локальный сервер vLLM. Указан английский язык; сведения о полноценной поддержке других языков отсутствуют. Ключевое преимущество — снижение потребления памяти: размер весов составляет около 8,5 ГБ против примерно 18 ГБ у версии BF16. Для работы рекомендуется не менее 12 ГБ общей памяти, комфортный режим начинается примерно с 16 ГБ, а видеокарты с 24 ГБ позволяют использовать длинный контекст. На CPU модель запускается, но медленно. К ограничениям относятся потери, связанные с Int4-квантизацией, необходимость правильно настраивать длину контекста и размер пакета, а также потенциально длинные рассуждения в блоках <think>, которые может потребоваться удалять перед показом пользователю. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной модели.

Qwen3-8B-4bit-AWQ — версия языковой модели Qwen3-8B, опубликованная сообществом mlx-community и конвертированная в формат MLX с помощью mlx-lm 0.24.0. Это плотная авторегрессионная модель с 7,6 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; поддерживает вызов инструментов через соответствующий интерфейс. Контекст модели составляет до 40 960 токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, помощи с кодом и сценариев с вызовом инструментов. Базовая Qwen3-8B — многоязычная модель, однако конкретный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. В названии указано 4bit-AWQ, но README описывает конвертацию в MLX, а среди метаданных формат обозначен как safetensors; фактический способ квантования по этим данным подтвердить нельзя. Лицензия — Apache-2.0.

mlx-community/Qwen3-8B-bf16 — конвертированная в формат MLX версия языковой модели Qwen3-8B, подготовленная сообществом mlx-community на основе Qwen/Qwen3-8B. Это плотная причинная языковая модель с 7,6 млрд параметров для генерации текста и диалогов; она также поддерживает следование инструкциям, рассуждения, работу с кодом и интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а её контекст составляет до 40 960 токенов. Репозиторий содержит веса в safetensors и рассчитан на запуск через библиотеку MLX и пакет mlx-lm. Лицензия — Apache-2.0. Ограничения возможностей и качества унаследованы от базовой модели Qwen3-8B; в доступной карточке отдельно не описаны.

RedHatAI/Qwen3-8B-quantized.w4a16 — языковая авторегрессионная модель на архитектуре Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-8B. Модель работает с текстом на входе и генерирует текст на выходе; заявлены поддержка рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под предметные области посредством дообучения. Модель использует квантизацию весов до INT4 в формате W4A16. Квантизуются веса линейных операторов внутри трансформерных блоков с применением GPTQ, асимметричной групповой схемы и размером группы 64; параметр lm_head исключён. Такое сжатие уменьшает число бит на параметр с 16 до 4, а заявленный размер на диске и требования к памяти GPU — примерно на 75%. Для развёртывания рекомендуется backend vLLM, включая OpenAI-совместимый режим сервинга. Сильные стороны модели — существенно сниженные требования к хранению и GPU-памяти при сохранении назначения исходной Qwen3-8B, а также пригодность для задач рассуждений, перевода и работы с инструкциями. Ограничения включают потенциальное снижение качества из-за квантизации и отсутствие в представленном README конкретных численных результатов оценки; также не указаны точный перечень поддерживаемых языков и гарантированное максимальное окно контекста. В материалах приведены конфигурации с длиной последовательности до 8192 и отдельные оценки с длиной до 40960 токенов, что не следует автоматически трактовать как универсальное ограничение модели. Модель распространяется по лицензии Apache-2.0. Использование должно соответствовать применимым законам и нормативным требованиям.

azampatti/Qwen3.8-Flash-Next-125B-A5B-INT4-AutoRound — гибридная квантованная версия Qwen3.8-Flash-Next, подготовленная автором azampatti на основе чекпойнтов Qwen и Intel. Модель предназначена для генерации текста, программного кода, математических ответов, работы с инструментами и длинным контекстом. Она поддерживает OpenAI-совместимую подачу через специализированную сборку vLLM и рассчитана прежде всего на запуск на одной системе DGX Spark с GB10 и 128 ГБ памяти. Модель использует архитектуру mixture-of-experts: всего 125 млрд параметров, из которых около 4,8 млрд активируются для каждого токена. Число выбираемых маршрутизатором экспертов сокращено с 10 до 5, после чего общий эксперт был дообучен методом self-distillation для восстановления качества. Основные компоненты распределены между форматами int4, fp8 и bf16; применяются GPTQ-Marlin с размером группы 128 и AutoRound. В репозитории также содержится FP8-таблица n-грамм объёмом около 49 ГБ, отображаемая из памяти при работе. Сильными сторонами являются высокая скорость генерации — примерно 64–70 токенов в секунду на DGX Spark, сохранение возможностей инструментального использования и уменьшенные активные вычисления по сравнению с исходной моделью. Ограничение — некоторое снижение общей способности: заявленный показатель составляет около 47–49 против 51,8 у исходной версии, а результаты измерялись собственным тестовым стендом и не являются универсальным лидербордом. Для запуска требуется специализированная сборка vLLM, поскольку стандартная vLLM не поддерживает используемую комбинацию int4 и fp8. Лицензия указана как qwen с типом other; применяются условия лицензии Qwen, ссылка на которую приведена в карточке.

Qwen-7B-Chat — диалоговая языковая модель семейства Qwen, разработанная Alibaba Cloud на основе предварительно обученной Qwen-7B с применением методов выравнивания. Это плотная Transformer-модель с архитектурой QWenLMHeadModel, 32 слоями, RoPE, SwiGLU и RMSNorm. В метаданных указано 11,4 млрд параметров и контекст длиной 32 768 токенов. Модель предназначена для многоходовых диалогов и генерации текста: она отвечает на вопросы, помогает с кодом и математическими задачами, а также может использоваться для длинных последовательностей и вызова внешних инструментов. README описывает токенизатор на основе tiktoken с большим словарём, ориентированным на китайский, английский и код; метаданные также указывают китайский и английский языки. Репозиторий содержит веса safetensors. Модель проверялась на китайском и английском понимании, математике, программировании, длинном контексте и использовании инструментов. Результаты могут колебаться из-за аппаратных и программных различий; при дообучении следует учитывать особенности специальных токенов токенизатора. Лицензия указана как other, поэтому перед использованием нужно проверить условия лицензирования в карточке модели.

Qwen-SEA-LION-v4.5-27B-IT-GGUF — это квантизированная в формате GGUF версия мультимодальной инструкционно настроенной модели Qwen-SEA-LION-v4.5-27B-IT. Модель разработана AI Products Pillar при AI Singapore при финансовой поддержке National Research Foundation Singapore и построена на архитектуре Qwen3.6-27B. Она представляет собой каузальную языковую модель с визуальным энкодером и предназначена для коммерческого использования. Модель ориентирована на сложное рассуждение, многошаговое планирование, генерацию кода, работу с инструментами, структурированными схемами и агентными сценариями. Она поддерживает обработку текста и изображений, контекст длиной до 262 тысяч токенов и оптимизирована для языков и культур Юго-Восточной Азии. Дообучение проводилось на бирманском, индонезийском, филиппинском, малайском, тамильском, тайском и вьетнамском языках; также заявлена конкурентоспособная работа с английским и китайским. Доступны варианты квантизации Q4_K_M размером 16,8 ГБ, Q6_K размером 22,4 ГБ, Q8_0 размером 29 ГБ и F16 размером 54,7 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. К сильным сторонам относятся большой контекст, региональная языковая специализация, мультимодальность и развитые возможности использования инструментов. При этом модель не проходила полноценное выравнивание по безопасности и не тестировалась на устойчивость к adversarial prompting; возможны галлюцинации, нерелевантные ответы и фактические ошибки, поэтому результаты требуют проверки и дополнительной настройки безопасности. Модель распространяется по лицензии MIT. Для запуска GGUF-версий в README приведён пример использования llama.cpp; для визуального ввода требуется отдельный файл mmproj.