II.1Анализ требований и архитектура ПО

OLMo-2-1124-7B-SFT — языковая модель Allen Institute for AI (AI2), представляющая собой версию OLMo 2 7B с supervised fine-tuning на варианте набора Tülu 3. Плотная авторегрессионная архитектура OLMo 2 содержит 6,9 млрд параметров; модель работает с текстом, поддерживает диалоговый режим и принимает контекст длиной до 4096 токенов. Основной язык — английский. Модель предназначена для диалогов и широкого круга текстовых задач, включая математические рассуждения, ответы на вопросы и выполнение инструкций. Она обучалась на смеси общедоступных, синтетических и созданных людьми данных, включая набор Tülu 3. Для загрузки и запуска используется библиотека Transformers; веса доступны в формате PyTorch. Лицензия — Apache 2.0. В README отмечено, что у OLMo-2 ограничено обучение безопасности: модель может выдавать проблемный контент, особенно при соответствующих запросах; автоматическая фильтрация ответов не встроена.

OpenBuddy — многоязычная чат-модель на базе архитектуры Mistral, представленная в варианте с контекстом до 32 768 токенов. Она предназначена для диалогов и генерации текста на китайском, английском, французском, немецком, японском, корейском, итальянском и русском языках. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors через библиотеку Transformers. Её можно использовать для чат-ботов, ответов на вопросы, составления и переформулирования текстов на поддерживаемых языках. README предупреждает, что ответы могут быть ошибочными, вредными или оскорбительными; модель не следует применять для критически важных решений в медицине, праве, финансах или управлении системами, способными причинить вред. Лицензия — Apache 2.0.

OpenHermes-2.5-Mistral-7B-AWQ — это 4-битная AWQ-квантизованная версия языковой модели OpenHermes 2.5 Mistral 7B. Исходную модель разработала Teknium, а квантизацию выполнил TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на английском языке. Модель содержит около 7 млрд параметров, использует формат взаимодействия ChatML и рассчитана на контекст длиной до 4096 токенов. Доступная сборка имеет групповой размер AWQ 128, обучающий набор для калибровки wikitext и размер около 4,15 ГБ. Квантизация снижает требования к памяти и предназначена прежде всего для быстрого GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или text-generation-webui. К сильным сторонам относятся компактный размер, высокая скорость инференса и возможность запуска на совместимом пользовательском оборудовании. Ограничения включают поддержку только английского языка в заявленных метаданных, зависимость от совместимого AWQ-инструментария и потенциальные потери качества по сравнению с исходной моделью в формате FP16, характерные для квантизованных моделей. Модель распространяется по лицензии Apache-2.0.

Open-Instruct SNI 13B — языковая модель семейства LLaMA с 12,9 млрд параметров, дообученная Allen Institute for AI на наборе Super-Natural Instructions. Это плотная авторегрессионная модель для генерации текста по инструкциям; она рассчитана на выполнение разнообразных инструкций и исследование методов настройки открытых моделей. Контекст модели составляет 2048 токенов, основной язык в карточке — английский. Модель поставляется как diff весов и для использования требует базовую модель LLaMA в формате Hugging Face. В README приведены результаты оценки на наборах задач общего знания, математики, рассуждений, вопросов и ответов и генерации кода; качество зависит от правильного формата входа, включая переносы строк. Лицензирование регулируется лицензией AI model license из репозитория и исходной лицензией LLaMA.

OpenSonnet-Lite-MAX — дообученная языковая модель hadadxyz на архитектуре Qwen3, основанная на Qwen/Qwen3-4B-Thinking-2507. Она предназначена для диалоговой генерации текста, следования инструкциям и решения задач с рассуждением; в карточке также показана демонстрация вызова инструментов. Модель содержит 3,7 млрд параметров, принимает текст и поддерживает контекст до 262 144 токенов. Указаны многоэтапное дообучение в два прохода и оценка 85,22 на GSM8K; результатов для MMLU-Pro и GPQA Diamond карточка не приводит. Модель распространяется в формате safetensors через Transformers по лицензии Apache 2.0. Языки обучения или поддерживаемые естественные языки в предоставленных данных не обозначены. Результаты бенчмарка и заявленные возможности основаны на карточке модели и сами по себе не гарантируют аналогичное качество на других задачах.

OrakzaiX — это общественный GGUF-релиз модели семейства Llama, поддерживаемый и квантизированный Faisal Orakzai. В метаданных указан upstream-моделью meta-llama/Llama-3-8B-Instruct, однако README позиционирует OrakzaiX именно как квантизированный релиз, а не как самостоятельно обученную базовую модель. Модель предназначена для генерации текста и диалогов с локальным запуском через llama.cpp на пользовательском оборудовании, рабочих станциях, периферийных устройствах или частных серверах. Основные сценарии включают локальных ассистентов, офлайн-прототипирование, разработку инструментов, суммирование и извлечение технической информации, помощь с кодом и документацией, автоматизацию, планирование рабочих процессов и эксперименты с multi-agent orchestration. Доступны варианты GGUF с квантизацией от Q2_K до Q8_0; рекомендуемым начальным вариантом называется Q4_K_M, обеспечивающий компромисс между качеством, скоростью и потреблением памяти. Файлы занимают примерно от 3,18 до 8,54 ГБ, но фактические требования выше из-за контекста, KV-кэша, буферов вычислений и накладных расходов runtime. Сильными сторонами являются локальное и потенциально более приватное выполнение, широкий выбор уровней квантизации и совместимость с экосистемой llama.cpp. При этом README не содержит результатов бенчмарков, данных о точности в конкретных областях, надежности использования инструментов, производительности, поддерживаемых языках или размере контекстного окна. Не подтверждена также пригодность для автономных производственных сценариев; качество следует проверять на собственных задачах и выбранной квантизации. Лицензия указана как other, поэтому перед распространением или коммерческим использованием необходимо изучить условия лицензии OrakzaiX и upstream-модели.

Ornith-1.5-35B-A3B-NVFP4-W4A16 — это независимый community-артефакт, созданный r0b0tlab на основе модели Ornith-1.5-35B-A3B от Ornith AI. Модель предназначена для мультимодальных сценариев image-text-to-text, включая генерацию текста, программирование, математические задачи, выполнение инструкций и агентское кодирование. Артефакт не связан с NVIDIA или Ornith AI и не является их официальным продуктом. Модель использует архитектуру Qwen3_5MoeForConditionalGeneration с 35,1 млрд параметров, гибридным механизмом GDN linear attention и softmax attention, а также Mixture-of-Experts. Это квантизованная версия с NVFP4 W4A16 weight-only: веса Linear-слоёв представлены в 4-битном формате, активации используют BF16, KV-кэш — FP8-E4M3. Размер на диске составляет около 23 ГБ вместо 67 ГБ у BF16-версии, что даёт сжатие примерно в 2,9 раза. Заявлен контекст до 32 768 токенов, однако сведения о поддерживаемых языках в README отсутствуют. По внутреннему набору из 200 вопросов модель показала сопоставимое с BF16-базой качество на GSM8K, HumanEval и IFEval, а с MTP и спекулятивным декодированием — улучшенные результаты в отдельных тестах. Поддерживается SGLang с EAGLE/nextn speculative decoding; целевой сценарий эксплуатации — Blackwell-класс GPU NVIDIA, в частности DGX Spark GB10/SM121. Ограничения включают узкую и внутреннюю систему оценки, отсутствие проверки на других Blackwell-устройствах, возможную чувствительность к данным вне распределения и необходимость корректной настройки SGLang, включая backend marlin, прогрев JIT-кэша FlashInfer и FP8 KV-кэш. Модель распространяется по лицензии MIT.

Parakon 30B — сжатая версия Qwen3-30B-A3B-Instruct-2507, подготовленная Parakon. Модель предназначена для диалогов и генерации текста; карточка сообщает о сохранении качества на тестах рассуждений, математики, знаний и использования инструментов. На коде и строгом следовании формату инструкций качество снижается сильнее. Модель использует формат хранения Parakon и запускается через Parakon runtime. Опубликован runtime для CUDA; README приводит измерения скорости также для Metal и CPU на внутренних сборках, которые пока не опубликованы. В тестах указаны сжатие с 61 ГБ до 5,94 ГБ, медианное сохранение качества 88% и контекст до 262 144 токенов. Лицензия в метаданных обозначена как other.

mlx-community/phi-4-4bit — это 4-битная версия модели phi-4, преобразованная сообществом mlx-community из microsoft/phi-4 в формат MLX с использованием mlx-lm версии 0.21.0. Модель предназначена для генерации текста и диалогового взаимодействия, включая сценарии, связанные с программированием, математикой и обработкой естественного языка. Указан английский язык. Модель поддерживает работу в экосистеме MLX через библиотеку mlx-lm и может использовать chat template для передачи сообщений с ролями пользователя и ассистента. Ключевые параметры исходной архитектуры, число параметров, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным, модель работает только с текстом. 4-битное представление ориентировано на более экономичное локальное использование, однако может сопровождаться ограничениями точности по сравнению с полноразмерной версией. README не содержит подробных результатов оценивания, поэтому нельзя надёжно судить о качестве модели в конкретных задачах. Модель распространяется по лицензии MIT.

Qwen2.5-14B-Instruct-Abliterated — производная версия Qwen/Qwen2.5-14B-Instruct от sci4ai, созданная удалением поведения отказа с помощью изменения весов на основе активаций. Это плотная авторегрессионная модель семейства Qwen2 для генерации текста и диалогов; размер — 14 млрд параметров, контекст — до 32 768 токенов. README рекомендует её для агентных сценариев и вызова инструментов, отмечая следование форматам вызовов инструментов и многошаговые рассуждения. При обработке модели удаляли направления отказа в выходных проекциях attention и MLP в 47 из 48 слоёв. Поэтому модель может отвечать на запросы, которые базовая модель отклонила бы; качество и безопасность ответов не гарантированы. Модель распространяется по лицензии Apache-2.0. README приводит исследовательскую оговорку и возлагает ответственность за использование на пользователя.

bunnycore/Qwen2.5-3B-Model-Stock-v2 — объединённая языковая модель, созданная с помощью mergekit методом Model Stock на основе bunnycore/Qwen2.5-3B-Model-Stock. В объединение вошли PowerInfer/SmallThinker-3B-Preview и bunnycore/Qwen2.5-3B-RP-Mix; веса сохранены в формате safetensors. Модель построена на архитектуре Qwen2 с плотной причинной языковой моделью Qwen2ForCausalLM и содержит 3,1 млрд параметров. Модель предназначена для генерации текста и диалогов; в метаданных также отмечен интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. README не описывает языковую специализацию и лицензию, поэтому эти характеристики не указаны. Ограничения качества и результаты оценки в карточке не приведены.

Thamed-Chowdhury/qwen-2.5-7B-DPO-split1-16bit-chunk34 — дообученная диалоговая модель семейства Qwen2, разработанная Thamed-Chowdhury на основе Thamed-Chowdhury/qwen-2.5-7B-DPO-split1-16bit-chunk12. Модель с архитектурой Qwen2ForCausalLM содержит 7,1 млрд параметров и предназначена для генерации текста в диалогах; в метаданных также отмечен интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. В карточке заявлено обучение с использованием Unsloth и библиотеки TRL. Лицензия — Apache-2.0. Подтверждённый язык карточки — английский.

Карточка модели jeffmeloy/Qwen2.5-7B-olm-v1.4 на Hugging Face совпадает с карточкой jeffmeloy/Qwen2.5-7B-olm-v1.0, поэтому описание составлено по ней. jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

stefancosma/Qwen3-14B-Instruct-Q4_K_M-GGUF — это квантованная версия языковой модели OpenPipe/Qwen3-14B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и проекта GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp в режиме командной строки или серверном режиме. Модель содержит около 14 миллиардов параметров и использует квантование Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей точности. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны поддерживаемые языки, максимальная длина контекста, результаты оценивания или специализированные сценарии применения. Для работы требуется совместимое окружение llama.cpp; поддерживаются запуск через CLI и сервер, а также аппаратные варианты сборки, включая CUDA для GPU Nvidia. Модель распространяется по лицензии Apache 2.0. Подробные характеристики и ограничения исходной модели следует уточнять в карточке OpenPipe/Qwen3-14B-Instruct.

lmstudio-community/Qwen3-30B-A3B-MLX-8bit — это конвертированная в формат MLX 8-битная версия языковой модели Qwen3-30B-A3B, разработанной Qwen и опубликованной сообществом lmstudio-community. Конвертация выполнена с использованием mlx-lm версии 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через chat template при его наличии. Она ориентирована на запуск с библиотекой mlx-lm, преимущественно в экосистеме Apple MLX. В README не указаны поддерживаемые языки, размер контекста, точная архитектура исходной модели, модальности помимо текста и результаты оценки качества. Ключевая характеристика этой версии — 8-битное представление в формате MLX, потенциально подходящее для более эффективного локального запуска по сравнению с полноформатной моделью, однако конкретные требования к памяти и производительности не приведены. Ограничения и области применения следует оценивать по исходной модели Qwen3-30B-A3B; дополнительные сведения о них в README отсутствуют. Модель распространяется по лицензии Apache-2.0.

litert-community/Qwen3-4B-Thinking-2507 — это квантизированная версия модели Qwen3-4B-Thinking-2507, разработанной командой Qwen и преобразованной в формат LiteRT-LM для локального вывода на устройствах. Модель предназначена для генерации текста и задач, требующих пошагового рассуждения: перед итоговым ответом она формирует цепочку рассуждений в блоке <think>…</think>. Основные сценарии — on-device и edge-инференс на компьютерах, мобильных устройствах и одноплатных компьютерах с использованием runtime Google LiteRT-LM. Модель представляет собой плотную causal language model архитектуры Qwen3ForCausalLM с 4 млрд параметров и 36 слоями. Доступны артефакты с INT4-квантизацией: вариант с блоком 128 размером около 2,3 ГБ и динамический вариант с блоком 32 размером около 2,1 ГБ; для первого также используются INT8-эмбеддинги и целочисленные вычисления. Контекст KV-кэша составляет 4096 токенов. Производительность зависит от устройства и backend: на Apple M4 Max с Metal GPU заявлены около 68,5 токенов/с при декодировании и задержка до первого токена около 0,28 с, а на Raspberry Pi 5 — около 1,5 токена/с. Сильные стороны модели — поддержка локального выполнения, относительно компактный размер, оптимизации LiteRT-LM для GPU и сохранение значительной части качества исходной модели после INT4-квантизации: на GSM8K указано 86% против 90% у reference-версии в формате bfloat16. Ограничения включают зависимость скорости от аппаратной платформы, сокращение качества из-за квантизации и необходимость выделять достаточно большой лимит генерации: рекомендуется max_tokens не менее 2048, иначе цепочка рассуждений может быть оборвана до появления ответа. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B-Comprehension-new-judge-policy-v70-merged — текстовая генеративная модель, опубликованная пользователем leonardovazsp на Hugging Face. По метаданным модель предназначена для генерации текста и поддерживает conversational-сценарии; разработчик, базовая модель и лицензия в доступных материалах не указаны. Модель содержит около 3,4 млрд параметров, использует экосистему Transformers и имеет нативное контекстное окно до 262 144 токенов. По названию модель относится к семейству Qwen3.5 и, вероятно, ориентирована на задачи comprehension и judging, однако README не содержит подтверждённых сведений о методах обучения, оценивании или конкретных форматах таких задач. Модель может применяться для диалоговой генерации, продолжения текста, анализа предоставленного контекста и интеграции в приложения на базе Transformers. Ограничения включают отсутствие в карточке подробностей о языках, качестве, безопасности, смещениях, тестовых результатах и условиях лицензирования; результаты следует проверять на целевых данных перед использованием.

FreedomAISVR/Qwen3.5-4B-Instruct-MTP-NVFP4-GGUF — квантизированная в NVFP4 версия мультимодальной инструкционной модели Qwen3.5-4B, подготовленная FreedomAISVR в формате GGUF для запуска через llama.cpp. Модель содержит около 3,97 млрд параметров, использует гибридную архитектуру Gated DeltaNet, Gated Attention и FFN, поддерживает MTP (Multi-Token Prediction) и контекст до 262 тысяч токенов. В репозитории также есть проектор изображений в F16; заявлена возможность расширения контекста до 1 млн токенов. Модель предназначена для диалога и генерации текста по инструкциям, рассуждений и понимания изображений. Шаблон чата изменён: рассуждения выключены по умолчанию и включаются параметром enable_thinking=true. NVFP4 снижает размер весов для совместимых NVIDIA Blackwell GPU; для мультимодального ввода требуется отдельный файл проектора. Это производная модель от Qwen/Qwen3.5-4B, а не новая базовая разработка. Лицензия — Apache-2.0.

Qwen3.5-9B-AWQ-INT4 — квантизированная версия языковой модели Qwen3.5-9B, разработанной командой Qwen. Это текстовая генеративная модель для работы с английским языком, включая генерацию и продолжение текста, диалоговые сценарии и другие задачи, поддерживаемые базовой моделью через библиотеку Transformers. Модель использует 4-битное квантование весов по схеме AWQ (INT4 weight-only), благодаря чему занимает примерно 7,7 ГБ на диске и требует меньше памяти, чем полноразмерная версия. Для запуска указан контекст до 32 768 токенов и совместимость с vLLM. README не содержит подробностей о внутренней архитектуре базовой модели, точном количестве параметров сверх обозначения 9B, мультимодальности или результатах сравнительных тестов. Ключевое преимущество модели — сниженное потребление памяти при сохранении назначения исходной Qwen3.5-9B. Ограничения включают поддержку только английского языка, а также возможное снижение точности и качества по сравнению с исходной моделью из-за 4-битного квантования. Модель распространяется по лицензии Apache License 2.0 как производная работа Qwen3.5-9B; для использования необходимо учитывать требования лицензии и атрибуции.

Qwen3.6-29B-REAP-Opus-Reasoning-Distill-MTP-GGUF — набор GGUF-квантизаций модели, разработанной barozp. В основе лежит MoE-модель Qwen3.6-35B-A3B, сокращённая методом REAP до 205 из 256 экспертов, объединённая с LoRA-адаптером, дистиллированным из Opus reasoning, и дополненная головкой Multi-Token Prediction (MTP), восстановленной из исходного неприженного чекпойнта. Модель предназначена для генерации текста и задач рассуждения; поддерживаемые языки и размер контекстного окна в README не указаны. Главная особенность версии — поддержка самоспекулятивного декодирования: MTP-головка предварительно предлагает токены, а базовая модель проверяет их. В тестах с llama.cpp это обеспечило ускорение генерации на 39–67% при включённом speculative decoding, без измеримого ухудшения качества по сравнению с версией без MTP. Доступны варианты от BF16 до экстремальных IQ1_M; квантизации Q и IQ различаются требованиями к памяти, совместимостью, скоростью и потерями качества. Для квантизаций до Q4_K_M использовалась importance matrix. Для использования MTP требуется современная сборка llama.cpp или совместимый интерфейс с явным включением режима draft-mtp; без этого модель работает как обычная GGUF-модель, а в некоторых конфигурациях спекулятивное декодирование может почти не ускорять генерацию или даже замедлять её. Требования к ресурсам зависят от квантизации: размер файлов составляет примерно от 7,2 до 57,9 ГБ. Лицензия — Apache-2.0.

FreedomAISVR/Qwen3.6-35B-A3B-NVFP4-NoMTP-GGUF — пользовательская квантизированная сборка базовой модели Qwen3.6-35B-A3B от команды Alibaba Qwen в формате GGUF для генерации текста и диалогов. Это MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров на токен; сборка использует NVIDIA FP4 с эффективной точностью 4,55 бита на вес и удалёнными головами Multi-Token Prediction. Заявлена поддержка контекста до 131 тыс. токенов и многоязычных задач более чем на 100 языках. Сборка предназначена для локального запуска через llama.cpp на NVIDIA Blackwell, включая видеокарты RTX 50-й серии. В README приведены настройки для GPU с 16 ГБ видеопамяти: эксперты MoE размещаются в системной памяти с помощью --cpu-moe, а внимание остаётся на GPU. Удаление MTP-голов освобождает видеопамять для KV-кэша и весов экспертов. Базовая модель поддерживает использование инструментов; карточка этой сборки подтверждает чат-возможности. Модель подходит для локальных чат-ассистентов и генерации текста на многих языках. Ограничения: заявленный формат NVFP4 нацелен на GPU NVIDIA Blackwell и требует совместимых CUDA-ядер; веса занимают около 19,7 ГБ, поэтому 16-гигабайтной видеокарте требуется выгрузка экспертов в оперативную память. Лицензия базовой модели — Apache 2.0; отдельные условия лицензии этой сборки в предоставленных данных не описаны.

Это производная мультимодальная модель семейства Qwen, созданная Nickyang на основе Qwen/Qwen3.6-35B-A3B методом RAZOR — прореживанием экспертов без градиентного дообучения. В каждом MoE-слое оставлено 128 из 256 маршрутизируемых экспертов. Размер модели составляет 19,4 млрд параметров (19 млрд без модуля многотокенного предсказания), при этом на токен активируется около 3 млрд параметров. Веса представлены в bfloat16 и формате safetensors; для запуска нужна сборка Transformers со встроенной реализацией qwen3_5_moe. Модель предназначена для генерации текста и диалогов, а также может использовать интерфейс вызова инструментов. Базовая модель Qwen поддерживает анализ изображений, однако README этой производной описывает прореживание экспертных весов и не уточняет сохранение мультимодальных возможностей. Лицензия — Apache 2.0. Прореживание уменьшает объём хранимых экспертных весов, сохраняя почти неизменной вычислительную нагрузку на токен. Оно является потерным: ответы могут отличаться по разнообразию, форматированию и поведению при завершении, даже если точность на отдельных задачах в основном сохраняется. Поведение на областях, слабо представленных в конечном калибровочном наборе, не охарактеризовано; перед развёртыванием следует оценить модель на целевых данных.

Nickyang выпустил производную модель Qwen3.6-35B-A3B, сокращённую методом RAZOR без дообучения. В каждом MoE-слое оставлено 128 из 256 маршрутизируемых экспертов; размер составляет 19,4 млрд параметров, или 19,0 млрд без модуля MTP, при этом на токен активно около 4 млрд параметров. Веса представлены в формате bfloat16 и safetensors; для запуска требуется сборка Transformers с поддержкой qwen3_5_moe. Модель предназначена для генерации текста и диалогов. Карточка описывает сокращение хранения экспертов при примерно неизменных вычислениях на токен; заявлена поддержка интерфейса вызова инструментов. Основа — Qwen/Qwen3.6-35B-A3B, лицензия Apache-2.0. Обрезка экспертов с потерями: ответы могут отличаться разнообразием, форматированием и поведением при завершении, даже если точность задач в основном сохраняется. Поведение на областях, далёких от калибровочного корпуса, не охарактеризовано; перед применением модель следует оценить на целевой нагрузке.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — мультимодальная плотная модель с обработкой изображений, созданная DavidAU на основе Qwen/Qwen3.6-27B. Автор описывает расширение модели с 27 до 40 млрд параметров и многоэтапное дообучение: на наборах Deckard/PDK и на данных дистилляции рассуждений Claude 4.6 Opus. Модель рассчитана на диалог, рассуждения, программирование и творческое письмо, включая создание сюжетов и ролевые сценарии; поддерживает вызов инструментов и анализ изображений. В карточке указана длина контекста 256 тыс. токенов, а также режим рассуждений с переменной длиной ответа. Заявления автора о превосходстве в тестах не сопровождаются в предоставленном тексте конкретными результатами, поэтому их следует считать заявлениями автора. README также описывает модель как uncensored и предупреждает о возможности генерации откровенного контента по запросу; отмечены возможные зацикливания на низких квантизациях или слишком коротких запросах. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Qwen3.8-27B-GLA-g2 — производная от Qwen/Qwen3.8-27B модель TelperionAI с архитектурой Grouped Latent Attention на двух группах. Переход на низкоранговые латентные представления ключей и значений уменьшает объём KV-кэша в среднем вдвое при обслуживании с параллелизмом до двух GPU. Изменение выполнено без обучения: проекции подогнаны методом whitened SVD на калибровочных данных; остальные веса, включая vision tower и MTP head, сохранены. Модель предназначена для генерации текста и диалогов, в том числе для задач программирования и длинного контекста; в карточке также заявлена поддержка изображений как у базовой модели. В парном сравнении на SWE-bench Verified результат составил 0,394 против 0,395 у исходной модели, при генерации на 14% меньшего числа токенов. По метаданным, модель имеет 27 млрд параметров, плотную архитектуру семейства Qwen3.5 и лицензию Apache-2.0. Для запуска требуется экспериментальный плагин qwen-mla-vllm; модель не загружается в Transformers и стандартный vLLM. README сообщает о проверке плагина на RTX PRO 6000 с vLLM 0.27.1, а результаты за пределами SWE-bench Verified и HELMET (64k) не оценивались. При параллелизме более чем на двух GPU сжатие снижается примерно до 1,14 раза.

Qwen3.8-27B-MTPLX-bf16 — конвертированная в формат MLX версия плотной мультимодальной модели Qwen3.8-27B, подготовленная автором johninthepool для компьютеров Apple Silicon. Это полноточная сборка bf16 без квантизации: сохранена голова multi-token prediction (MTP), необходимая для спекулятивного декодирования через mtplx. Модель рассчитана на диалоговую генерацию текста; базовая модель также поддерживает анализ изображений и видео, программирование и многошаговые задачи. Сборка предназначена для запуска на Mac с чипом Apple M-серии. Для весов объёмом около 55 ГБ автор рекомендует не менее 64 ГБ объединённой памяти; для работы с нативным путём MTP требуется mtplx. Полноточная версия сохраняет точность исходных весов, но требует больше памяти, чем варианты с квантизацией. Лицензия — Apache-2.0.

DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, созданная DavidAU и его командой с использованием Unsloth, методов Cold Fusion и Fable Fusion. Модель распространяется в формате GGUF с обычными и MTP-квантами, включая варианты с точностью 4 и 8 бит. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, сторителлинга и ролевых сценариев. По заявлению автора, её настройка направлена на сокращение объёма рассуждений и ускорение генерации при сохранении детализации и качества ответов. В метаданных указаны английский и китайский языки, а также тег image-text-to-text, однако конкретные возможности обработки изображений в README не описаны. Размер контекста и точная архитектура также не указаны. К сильным сторонам относятся заявленные улучшения решения задач, генерации кода и художественного текста, поддержка нескольких режимов рассуждений, снижение избыточного расхода токенов и варианты для запуска на потребительском оборудовании. Автор сообщает о превосходстве базовой Qwen3.8 27B в ряде внутренних или указанных в README тестов, но независимая проверка этих утверждений не приведена. Ограничения включают возможные потери качества при использовании низкобитных квантов, а также отсутствие подробных сведений о контекстном окне, требованиях к ресурсам и фактической мультимодальной поддержке. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный пользователем trklzz на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и локального запуска через совместимые среды, включая llama.cpp; доступны варианты с MTP для speculative decoding, отдельными draft-моделями, а также vision-проектором для обработки изображений в совместимых runtime. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Заявлена поддержка английского и китайского языков; vision-компонент позволяет работать с изображениями. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 объёмом примерно от 10,6 до 29 ГБ, что позволяет выбирать баланс между требованиями к памяти и качеством. Вариант модифицирован методом abliteration: поведение, связанное с отказами, существенно уменьшено, но не устранено полностью. При этом дополнительное обучение и новые данные не использовались, а заявленные возможности, обучающие данные и архитектура базовой модели сохранены. Сильными сторонами являются длинный контекст, поддержка изображений, несколько уровней квантизации и возможность ускорения генерации посредством speculative decoding. Ограничения включают требования к значительным объёмам памяти, зависимость vision-функций от совместимого runtime и возможное небольшое снижение эффективности принятия draft-токенов. Распространение указано по лицензии Apache-2.0.

Qwen3.8-9B-Distill-uncensored-heretic-GGUF — GGUF-квантизированная версия модели Qwen3.8-9B-Distill, подготовленная пользователем petruhonk на базе empero-ai/Qwen3.8-9B-Distill. Модель подвергнута «abliteration» с помощью Heretic v1.4.0 для снижения числа отказов при ответах на запросы, которые исходная модель отклоняет. Она предназначена для генерации текста, диалоговых приложений, агентских сценариев и функционального вызова инструментов через llama.cpp. Модель содержит 9 млрд параметров, 33 блока и сохранённую MTP-голову для speculative decoding с режимом draft-mtp. В репозитории опубликованы только текстовые веса в формате GGUF, предположительно с квантизацией Q8_0; для запуска с мультимодальными возможностями необходим отдельный файл mmproj. Исходная архитектура поддерживает изображения и видео, однако данный репозиторий не содержит соответствующих компонентов. Встроенный шаблон чата поддерживает tools и <tool_call>, а пример запуска рассчитан на контекст до 32768 токенов. К сильным сторонам относятся сохранённая MTP-голова, совместимость со speculative decoding и существенно меньшее число отказов по сравнению с исходной моделью: 6 из 100 против 100 из 100 в указанном тесте. Ограничения включают неполную мультимодальную поставку, зависимость качества и потребления памяти от выбранной квантизации, а также возможные изменения поведения из-за abliteration; показатель KL-дивергенции относительно исходной модели составляет 0,0306. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-ROCmFP4-STRIX-GGUF — это квантованная версия базовой модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем kingjones777. Модель предназначена для генерации текста, включая рассуждения, формирование JSON, программирование и суммирование длинных документов. Формат GGUF ориентирован на запуск через llama.cpp и совместимые среды. Модель использует архитектуру qwen4exp и типы тензоров ROCmFP4. Она оптимизирована прежде всего для AMD Ryzen AI Max+ 395, Strix Halo и GPU gfx1151 с ROCm, включая работу на интегрированной Radeon 8060S с общей памятью. В README указано, что размер модели составляет около 98 GiB, а работа с контекстом проверялась вплоть до 128K токенов. Доступна поддержка speculative decoding через дополнительную MTP-голову, однако измерения относятся к другим вариантам семейства и не гарантируют такой же прирост для этой сборки. Сильными сторонами являются возможность запуска очень крупной модели на системе с унифицированной памятью, поддержка длинного контекста и потенциальное ускорение генерации с MTP. Ограничения включают низкую пропускную способность общей памяти по сравнению с дискретными GPU, необходимость специальной ветки ROCmFPX с поддержкой qwen4exp и ROCmFP4, а также применения патчей перед сборкой; стандартный llama.cpp этот файл не загружает. Языки модели в предоставленных данных не указаны. Лицензия обозначена как other с названием qwen-community-1.0.