II.2Создание и понимание программного кода

kaitchup/Phi-3-mini-4k-instruct-gptq-4bit — это 4-битная GPTQ-квантизованная версия Phi-3 Mini-4K-Instruct, опубликованная пользователем kaitchup на Hugging Face и основанная на модели Microsoft. Она предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи по работе с кодом, математикой, рассуждениями и общими знаниями, при локальном или серверном запуске с меньшими требованиями к памяти. Исходная Phi-3 Mini-4K-Instruct представляет собой плотную decoder-only Transformer-модель примерно на 3,8 млрд параметров, дообученную с применением supervised fine-tuning и Direct Preference Optimization. Модель работает с текстовыми входами и поддерживает контекст до 4K токенов; основной язык — английский, при этом в метаданных также указан французский. Вариант из указанного репозитория использует 4-битное GPTQ-представление, что уменьшает размер и требования к памяти, но может снижать точность и качество по сравнению с полной точностью. Сильные стороны — компактность, возможность запуска на более доступном оборудовании и хорошие для своего размера результаты в задачах следования инструкциям, рассуждений и программирования. Ограничения включают короткое окно контекста, преимущественно англоязычную ориентацию, возможные ошибки и галлюцинации, а также потери качества из-за квантизации. Для опубликованной версии в карточке модели условия лицензирования явно не указаны; исходная модель Microsoft распространяется по лицензии MIT.

SirSahOl преобразовал Phi-4-mini-instruct от Microsoft в формат MLX с 16-битными весами для запуска на компьютерах Apple Silicon. Это плотная авторегрессионная языковая модель семейства Phi-4 с 3,8 млрд параметров, рассчитанная на диалоговую генерацию текста. Модель подходит для ответов на вопросы, написания и редактирования текстов, генерации кода и рассуждений в приложениях с ограниченными ресурсами. Репозиторий содержит веса в формате safetensors и использует библиотеку MLX. В метаданных указан контекст 4096 токенов; автор README предупреждает о возможном ухудшении качества при очень длинном контексте и указывает, что для запуска с MLX требуется Apple Silicon M1 или новее. Бенчмарки для этой версии пока не приведены. Лицензия — MIT.

Mungert/Phi-4-mini-instruct.gguf — GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и распространяемой на основе этой модели. Это компактная открытая instruction-tuned модель для генерации текста, диалогов, следования инструкциям, рассуждений, генерации кода и function calling. Модель ориентирована на локальный запуск с ограниченными ресурсами и низкой задержкой, а также поддерживает сценарии чат-комплитов. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках; для улучшения следования инструкциям и безопасности применялись supervised fine-tuning и direct preference optimization. Заявлена поддержка контекста до 128K токенов и мультиязычных сценариев, однако конкретный перечень языков в README не указан. Для диалогов используется специальный chat format, а для вызова инструментов предусмотрен структурированный формат с описанием функций в JSON. Преимуществами являются открытая доступность, большой контекст, поддержка reasoning, генерации кода и function calling, а также наличие GGUF-формата, подходящего для локального inference. Ограничения зависят от аппаратной конфигурации и выбранной квантизации; в описанном CPU-сценарии на шести потоках загрузка занимала около 15 секунд, а inference был медленным и обрабатывал только один пользовательский запрос одновременно. Модель распространяется по лицензии MIT.

Phi-4-mini-instruct-GGUF — квантизированная GGUF-версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового применения, включая задачи обработки естественного языка и работы с кодом. Она распространяется в нескольких вариантах квантизации для запуска с llama.cpp и LlamaEdge. Модель работает с текстовой модальностью, поддерживает контекст размером до 128 000 токенов и заявлена как многоязычная. В README перечислена поддержка арабского, китайского, чешского, датского, нидерландского, английского, финского, французского, немецкого, иврита, венгерского, итальянского, японского, корейского, норвежского, польского, португальского, русского, испанского, шведского, тайского, турецкого и украинского языков. Размер исходной модели и сведения об архитектуре в README не указаны. Основное преимущество представленной версии — выбор между несколькими уровнями квантизации с размером файлов от 1,68 до 7,68 ГБ, что позволяет адаптировать модель к доступной памяти и требованиям к качеству. Варианты с низкой разрядностью экономичнее, но могут заметно снижать качество; наиболее сбалансированными в README названы Q4_K_M, Q5_K_M и Q5_K_S. Для использования требуется совместимый рантайм и шаблон prompt типа phi-4-chat. Модель распространяется по лицензии MIT.

QuantFactory/Qwen2.5-3B-Instruct-GGUF — квантизированная версия модели Qwen2.5-3B-Instruct, созданная QuantFactory с использованием llama.cpp на основе Qwen/Qwen2.5-3B-Instruct. Это каузальная языковая модель для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы, написание длинных текстов, работу со структурированными данными и генерацию JSON. Она также ориентирована на задачи программирования и математики. Модель содержит 3,09 млрд параметров, имеет 36 слоёв и архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Используется Grouped-Query Attention: 16 голов для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Квантизация в формате GGUF предназначена для локального запуска через совместимое программное обеспечение на базе llama.cpp и может снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью. README не содержит сведений о конкретном уровне квантизации, точных требованиях к памяти, производительности или ограничениях качества, поэтому их нельзя определить по предоставленным данным. Модель распространяется по лицензии qwen-research; указанная лицензия доступна по ссылке на исходную модель Qwen/Qwen2.5-3B-Instruct.

Qwen2.5-3B-Instruct-GPTQ-Int8 — квантованная 8-битная версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Это авторегрессионная causal language model для генерации текста и диалоговых сценариев, включая ответы на инструкции, чат-ботов, работу со структурированными данными, а также задачи программирования и математики. Модель содержит около 3,09 млрд параметров, 36 слоёв и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Применяется Grouped Query Attention с 16 головами для Q и 2 для KV. Поддерживается контекст до 32 768 токенов и генерация до 8192 токенов. Модель работает с текстом и заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, формирование JSON, а также возможности в программировании и математике. 8-битная GPTQ-квантизация может снизить требования к памяти по сравнению с полноразмерной версией, однако README не приводит конкретных результатов оценки качества и производительности. Для использования рекомендуется актуальная версия библиотеки Transformers; модель распространяется по лицензии qwen-research, обозначенной как other.

unsloth/Qwen2.5-3B-unsloth-bnb-4bit — 4-битная квантизированная версия языковой модели Qwen2.5-3B, подготовленная Unsloth на базе Qwen/Qwen2.5-3B. Модель предназначена для генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это текстовая causal language model без заявленной поддержки изображений или других модальностей. Модель ориентирована на многоязычное использование и заявляет поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского, арабского и других языков. Для семейства Qwen2.5 указана поддержка контекста до 128K токенов и генерации до 8K токенов, однако README не приводит отдельные параметры контекста именно для версии 3B. Ключевое преимущество этой сборки — снижение требований к памяти благодаря 4-битному формату Unsloth Dynamic 4-bit, который, по заявлению разработчика, лучше сохраняет точность по сравнению со стандартной 4-битной квантизацией. Ограничения включают возможную потерю точности из-за квантизации и отсутствие в README результатов независимого бенчмаркинга именно этой сборки. README также предупреждает, что базовые языковые модели не рекомендуются для диалогового использования без дополнительной настройки. Модель распространяется по лицензии Apache-2.0.

Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

unsloth/Qwen3-1.7B-GGUF — GGUF-версия языковой модели Qwen3-1.7B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это авторегрессионная causal language model для диалогов, следования инструкциям, генерации текста и кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из них 1,4 млрд без учёта embedding, и имеет 28 слоёв. Архитектура внимания использует GQA с 16 головами для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает переключение между режимами thinking для сложного рассуждения и no_think для более эффективного общего диалога. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая llama.cpp и Ollama. Сильные стороны модели — компактный размер, мультиязычность, следование инструкциям, рассуждения, генерация кода и возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают небольшой по современным меркам объём параметров и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

XythicK/Qwen3-1.7B-GGUF — это GGUF-версия причинной языковой модели Qwen3-1.7B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, включая английский; в предоставленных данных явно указан язык en. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к эмбеддингам, и имеет 28 слоёв. В архитектуре используется групповое совместное внимание (GQA) с 16 головами для Q и 8 для KV. Контекстное окно составляет 32 768 токенов. Qwen3-1.7B поддерживает переключение между режимом рассуждений для сложных логических, математических и программных задач и режимом без рассуждений для более эффективного универсального диалога. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, рассуждений, генерации кода, диалогов и агентских сценариев. Ограничения, связанные с точностью, качеством на отдельных языках, ресурсоёмкостью и возможностями GGUF-квантизации, в README не указаны. Модель распространяется по лицензии Apache-2.0.

6block/Qwen3-30B-A3B-GGUF — это квантизированная GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen и подготовленной пользователем 6block. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, IQ3_M и Q2_K с размером файлов примерно от 11,26 до 32,48 ГБ, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы. Квантизация выполнена с использованием imatrix и двуязычного англо-китайского набора данных с большим количеством программного кода, поэтому младшие варианты квантования должны лучше сохранять способности к работе с китайским языком и кодом по сравнению с калибровкой только на английских данных. Заявлены английский и китайский языки; другие модальности, размер контекста и точная архитектура в README не указаны. Модель ориентирована на локальные сценарии текстовой генерации и программирования, но низкобитные варианты могут заметно уступать по качеству более крупным квантам. Распространяется по лицензии Apache-2.0.

nvidia/Qwen3-32B-NVFP4 — текстовая авторегрессионная языковая модель на базе Qwen3-32B, разработанной Alibaba. NVIDIA подготовила её квантованную версию с использованием TensorRT Model Optimizer v0.35.0; при этом модель не является собственной разработкой NVIDIA. Она предназначена для коммерческого и некоммерческого применения, включая AI Agent-системы, чат-боты, RAG-системы и другие приложения на основе генеративного ИИ. Модель использует архитектуру Transformers и содержит 32,8 млрд параметров. Она принимает и генерирует текстовые последовательности, поддерживает контекст длиной до 131 тысячи токенов. В рамках посттренировочной квантования веса и активации линейных операторов в трансформерных блоках преобразованы в формат FP4, что ориентировано на эффективный инференс. Указанная конфигурация предназначена для запуска с TensorRT-LLM на GPU NVIDIA, включая архитектуру Blackwell, преимущественно в среде Linux. К сильным сторонам относятся большой контекст, высокая ёмкость базовой модели и оптимизация FP4 для аппаратно ускоренного инференса. По приведённым результатам, относительно эталонной версии BF16 качество на MMLU Pro и AIME 2024 немного ниже, на SciCode сопоставимо или немного выше, а на MATH-500 совпадает; однако результаты не охватывают все сценарии применения. README не содержит сведений о поддерживаемых естественных языках, полном наборе ограничений, данных обучения и характеристиках производительности вне тестовой конфигурации. Лицензия — Apache License 2.0.

Qwen3-4B-Instruct-2507-AWQ-4bit — это 4-битная AWQ-квантизованная версия причинной языковой модели Qwen3-4B-Instruct-2507. Базовую модель разработала команда Qwen, а данную квантизованную сборку опубликовал пользователь cyankiwi. Квантизация выполнена с использованием llm-compressor, схемы W4A16_ASYM для линейных слоёв и набора данных Llama-Nemotron-Post-Training-Dataset; слой lm_head не квантизовался. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, вызова инструментов и агентских сценариев. Она работает только в non-thinking mode и не формирует блоки <think></think>. Заявлены улучшенные многоязычные возможности и поддержка контекста длиной до 262 144 токенов, однако конкретный перечень языков не указан. Архитектура включает 4,0 млрд параметров, 36 слоёв и Grouped Query Attention с 32 головами для Q и 8 для KV; число параметров без эмбеддингов — 3,6 млрд. Квантизация снижает требования к памяти и может упростить локальное развертывание, но способна влиять на качество по сравнению с полной точностью. В README не приведены точные аппаратные требования и детальное описание ограничений квантизованной версии. Лицензия — Apache-2.0.

Richard Young выпустил эту версию Qwen3-4B-Instruct-2507, обработанную методом abliteration с помощью Heretic v1.4.0. Это плотная причинная языковая модель на 3,7 млрд параметров для генерации текста и диалогов; она рассчитана на режим без пошагового рассуждения и имеет контекстное окно 262 144 токена. Модель предназначена для следования инструкциям, ответов на вопросы, логических и математических задач, программирования, работы с длинными текстами и сценариев с вызовом инструментов. В README автор сообщает, что при его проверке модель отказала в 3 из 100 запросов, тогда как исходная версия отказала во всех 100; это описывает результаты конкретной оценки, а не гарантирует поведение на других запросах. Репозиторий содержит веса Safetensors для Transformers. Указанная лицензия — Apache-2.0. README отмечает поддержку нескольких языков, но не перечисляет их, поэтому основной язык определить нельзя.

p-e-w/Qwen3-4B-Instruct-2507-heretic-v2 — разговорная языковая модель на архитектуре Qwen3, созданная на основе Qwen3-4B-Instruct-2507. Модель использует причинную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров и принимает текст для генерации текстовых ответов. Нативная длина контекста — 262 144 токена; заявлен режим без рассуждений в специальном формате thinking. Модель предназначена для диалога и выполнения инструкций, включая ответы на вопросы, рассуждения, математику, программирование и работу с инструментами. В README указана abliteration: в приведённом сравнении доля отказов снизилась с 100 из 100 у исходной модели до 8 из 100 у этой версии. Это не гарантирует отсутствия отказов или корректности ответов. Карточка не уточняет языковой охват этой производной версии; README базовой модели заявляет многоязычные возможности и контекстное понимание длинных текстов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.

MMOPD/Qwen3-4B-OT3-if — плотная языковая модель Qwen3 с 3,7 млрд параметров, разработанная командой MMOPD как учительская модель для следования инструкциям. Она получена дообучением MMOPD/Qwen3-4B-OT3-2ep методом GRPO на запросах с проверяемыми требованиями к формату и содержанию ответа. Модель поддерживает чат, шаблон Qwen3 и режим рассуждений; длина контекста — 32 768 токенов. Веса представлены в формате Safetensors и хранятся в bfloat16. Модель предназначена для генерации ответов по инструкциям, в том числе с заданными ограничениями на структуру и содержание, а также для задач рассуждения, математики и программирования. В опубликованных оценках она заметно повысила результаты на IFEval и IFBench относительно исходной модели, сохранив сопоставимые показатели на кодовых и математических тестах; README также приводит результаты на медицинских и финансовых наборах, которые не следует считать гарантией качества в прикладных сценариях. Для использования рекомендованы шаблон чата Qwen3, включённое рассуждение и сэмплирование. Лицензия — Apache-2.0.

Qwen3-4B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-4B, разработанная Red Hat (Neural Magic). Это авторегрессионная текстовая модель архитектуры Qwen3ForCausalLM: принимает текст и генерирует текст. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания предметно-ориентированных решений посредством дообучения. В модели применена квантизация весов до INT4, выполненная с использованием алгоритма GPTQ и библиотеки llm-compressor. Квантизируются веса линейных операторов в блоках трансформера; используется асимметричная поканально-групповая схема с размером группы 64. Формат W4A16 снижает число бит на параметр с 16 до 4, что примерно на 75% уменьшает размер на диске и требования к памяти GPU. В README не указаны поддерживаемые языки и точный максимальный контекст, однако при оценке использовалась длина контекста до 40 960 токенов. Модель оптимизирована для эффективного развертывания с backend vLLM, включая OpenAI-совместимый режим обслуживания. Квантизация снижает требования к ресурсам, но может влиять на качество по сравнению с исходной Qwen3-4B; конкретные результаты оценки в представленном README не приведены. Лицензия — Apache 2.0, при этом использование должно соответствовать применимым законам и нормативным требованиям.

QuantTrio/Qwen3.5-27B-AWQ — это квантизированная версия мультимодальной модели Qwen3.5-27B, разработанная на основе базовой модели Qwen/Qwen3.5-27B. Репозиторий содержит веса в формате Hugging Face Transformers и использует data-free квантизацию AWQ, для которой не требуется калибровочный набор данных. Модель предназначена для генерации текста и обработки изображений вместе с текстом, включая задачи рассуждения, программирования, визуального понимания и создания агентных приложений. Модель имеет архитектуру causal language model с vision encoder, около 27 млрд параметров, 64 слоя и гибридную структуру из Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для запуска рекомендуются vLLM и совместимые инструменты, однако README указывает на необходимость актуальных экспериментальных версий зависимостей, CUDA 12.8 и настройки с двумя GPU. Сильными сторонами являются мультимодальность, большой контекст, широкое языковое покрытие и оптимизация AWQ для более эффективного использования памяти. Ограничения включают существенные аппаратные требования, зависимость от экспериментальных версий программного обеспечения и необходимость включения remote code. Модель распространяется по лицензии Apache-2.0.

JunLee88999/Qwen3.5-35B-A3B-heretic-v2-GGUF — GGUF-квантизации модели Qwen3.5-35B-A3B, разработанной командой Qwen. Это децензурированная версия, созданная на основе llmfan46/Qwen3.5-35B-A3B-heretic-v2 с применением Heretic v1.2.0, Magnitude-Preserving Orthogonal Ablation и Self-Organizing Map Abliteration. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений и текста. Архитектура исходной Qwen3.5 включает гибридные Gated Delta Networks и разреженную Mixture-of-Experts; размер модели — 35B с конфигурацией A3B. Указана поддержка 201 языка и диалекта. Для мультимодальной работы требуется отдельный vision projector в формате GGUF; доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами, поддерживающими GGUF. Главная особенность версии — значительно меньшее количество отказов по сравнению с оригинальной моделью: 4 из 100 против 91 из 100, при заявленном KL divergence 0,0411, что указывает на относительно хорошее сохранение исходных возможностей. При этом снятие ограничений может повысить риски генерации нежелательного или небезопасного контента. README не содержит сведений о длине контекста и подробных результатах независимого тестирования. Лицензия — Apache-2.0.

Lego-X/qwen3_5_35b_a3b_ohsdk_200k_rl — языковая модель LegoX на архитектуре Qwen3.5 MoE, дообученная онлайн с подкреплением для работы в агентном контуре OpenHands SDK. Она предназначена для решения задач из репозиториев: агент получает кодовую базу, терминал и инструменты редактирования, исследует проблему, меняет файлы и запускает тесты. В README заявлен результат 70,4% на SWE-bench Verified против 64,0% у исходной модели при общем протоколе оценки. Модель основана на Qwen/Qwen3.5-35B-A3B с разреженной архитектурой MoE: 256 экспертов, 8 активных. Контекст обучения и рекомендуемый бюджет — до 200K токенов и 200 ходов; модель рассчитана на длинные циклы анализа, редактирования и проверки. Обучение и оценка были текстовыми, хотя базовая модель сохраняет компонент обработки изображений. Основной профиль задач — устранение дефектов в репозиториях, преимущественно в распределении SWE-bench/OpenSWE; пригодность для других областей не заявлена. Для работы требуется агентная оболочка с инструментами, предпочтительно OpenHands SDK, а в конфигурации vLLM README указывает парсер вызовов инструментов qwen3_coder. Короткие лимиты контекста или ходов могут обрезать траектории и снижать результат; поведение модели специально оптимизировали под агентный сценарий, а не обычный чат. Поскольку модель намеренно редактирует файлы и выполняет команды, README рекомендует запускать её в контейнере. Лицензия — Apache-2.0.

Qwen3.5-4B — мультимодальная причинная языковая модель с энкодером изображений из семейства Qwen, разработанного командой Qwen. Репозиторий Yuqi123/Qwen3.5-4B-blockwise-fp8 содержит веса и конфигурацию в формате Hugging Face Transformers; базовая модель указана как Qwen/Qwen3.5-4B-Base. Модель предназначена для понимания текста и изображений, рассуждений, программирования, агентских сценариев и задач визуального анализа. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. Она использует гибридную архитектуру с Gated DeltaNet, Gated Attention и разреженным Mixture-of-Experts, а также поддерживает мультимодальное обучение с ранним объединением токенов. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. README также указывает совместимость с Transformers, vLLM, SGLang и KTransformers. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения включают меньший размер по сравнению с крупными моделями семейства, а также отсутствие в предоставленном README подробных сведений о качестве на всех задачах, требованиях к оборудованию и особенностях варианта blockwise-fp8. Модель распространяется по лицензии Apache-2.0.

FadedRedStar/Qwen3.5-4B-heretic-imatrix-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-4B-heretic. Базовая модель разработана командой Qwen компании Alibaba, исходные веса подготовлены coder3101, а GGUF-квантизацию с importance matrix выполнил FadedRedStar. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев, включая работу с изображениями при использовании vision-проектора. Модель представляет собой плотный transformer примерно на 4 млрд параметров с интегрированным vision encoder и поддержкой раннего объединения модальностей. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн, поддержка 201 языка и диалекта, tool calling и формат запросов ChatML. Основные варианты весов используют квантизации IQ4_NL, Q4_K_M и Q5_K_M, оптимизированные с помощью importance matrix; vision-тензоры доступны в Q8_0 и BF16. Предусмотрены дополнительные MTP-файлы для speculative decoding. Сильной стороной модели является сочетание мультимодальности, большого контекстного окна и относительно низких требований к ресурсам, а importance matrix должна улучшать сохранение качества при низкой разрядности. Существенное ограничение — модель прошла abliteration с подавлением направлений отказа, поэтому её поведение в части отказов отличается от исходной Qwen3.5-4B и может быть менее безопасным. Приведённые показатели отказов и расхождения KL являются самоотчётными и не подтверждены независимым тестированием. Для запуска требуются совместимые с GGUF инструменты, например llama.cpp, а точные возможности зависят от выбранной квантизации и vision-проектора. В метаданных указана лицензия Apache-2.0.

Qwen3.5-4B-OptiQ-4bit — это квантизированная версия языковой модели Qwen/Qwen3.5-4B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска генеративных задач на компьютерах Apple Silicon через MLX, без PyTorch и облачной инфраструктуры: генерации и понимания текста, рассуждений, программирования, следования инструкциям, вызова инструментов и агентских сценариев. Модель использует смешанную чувствительно-ориентированную квантизацию: 173 слоя имеют точность 4 бит, а 75 наиболее чувствительных слоёв — 8 бит; всего квантизировано 248 слоёв. Размер группы составляет 64, размер модели на диске — около 3,0 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может обеспечивать примерно 1,4-кратное ускорение декодирования. Доступны текстовые сценарии; другие модальности, языки и размер контекста в README не указаны. По приведённым тестам модель превосходит равномерную 4-битную квантизацию на задачах общих знаний, математики, следования инструкциям, вызова функций, программирования и поиска в длинном контексте. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также потери точности, неизбежные при квантизации; заявленные результаты относятся к конкретной методике оценки. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

jc-builds/Qwen3.5-4B-Q4_K_M-GGUF — это 4-битная квантованная версия базовой модели Qwen/Qwen3.5-4B, разработанной Alibaba Cloud. Квантование Q4_K_M и упаковка в формат GGUF выполнены для запуска на устройствах пользователя, в частности на iPhone, iPad и компьютерах Mac с Apple Silicon, через llama.cpp. Модель распространяется по лицензии Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, следования инструкциям и использования инструментов. Она поддерживает режим reasoning с тегами <think> и ChatML-формат запросов. В README заявлены мультимодальные возможности с ранним объединением зрительных данных, однако vision encoder предоставляется отдельно. Указана поддержка 201 языка и диалекта, включая английский, китайский, японский, корейский, русский и другие языки. Архитектура представляет собой гибрид Gated DeltaNet и полноразмерного softmax-внимания в соотношении 3:1: из 32 слоёв восемь блоков содержат по три слоя DeltaNet и одному attention-слою. Модель имеет около 4 миллиардов параметров, размер файла составляет примерно 2,6 ГБ, а нативное контекстное окно — 262 144 токена; для расширения контекста заявлена совместимость с YaRN. Гибридная архитектура рассчитана на снижение потребления памяти, что делает модель подходящей для локального и мобильного вывода. Ограничениями являются потеря точности из-за 4-битного квантования, высокие требования к оперативной памяти для длинного контекста и то, что заявленные мультимодальные функции требуют отдельного vision encoder.

Это GGUF-сборка модели Qwen3.6-27B-AEON-Ultimate-Uncensored от AEON-7, подготовленная theLittleStone для запуска через llama.cpp или LM Studio. В репозитории заявлена поддержка MTP (Multi-Token Prediction); по назначению это диалоговая языковая модель для генерации текста, рассуждений, решения математических задач и программирования. В метаданных указаны 27B в названии базовой модели, поддержка английского и китайского, формат GGUF и лицензия Apache-2.0. Модель происходит от дообученной AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 и содержит восстановленную MTP-голову. README описывает её как uncensored-вариант с ослабленными отказами и приводит собственные заявления о сохранении способностей; это заявления автора карточки, а не независимая оценка. Доступна стандартная K-Quant сборка; автор рекомендует вместо неё iMatrix-квантование для лучшего качества при том же уровне квантования. README предлагает использовать llama.cpp или LM Studio. Условия лицензии — Apache-2.0.

YFC-112358 создал двухэтапную композиционную модель на основе Qwen3.6-27B. На первом этапе с помощью DELLA объединены модели разных происхождений, а на втором к полученному результату линейно добавлено приращение весов Qwopus3.6-27B-Fusion относительно общего предка Qwen/Qwen3.6-27B. Это плотная мультимодальная архитектура семейства Qwen3.5 с интерфейсом чата и вызова инструментов; в репозитории веса представлены в safetensors, а модель использует библиотеку Transformers. Модель предназначена для диалоговой генерации текста и может использоваться для программирования, агентных сценариев и работы с изображениями — такие возможности указаны для базовой Qwen3.6-27B. В README описаны способ слияния и рекомендации по сэмплированию, но нет отдельных результатов оценки качества именно этой версии. Лицензия — Apache-2.0.

Qwen3.6-27B-Jörmungandr — экспериментальный вариант Qwen, созданный nightmedia слиянием NuSLERP нескольких моделей семейства Qwen3.6 и Qwen3.5, а также Tess-4-27B. Это плотная модель класса Qwen3_5ForConditionalGeneration с 27 млрд параметров; репозиторий содержит веса safetensors и использует библиотеку Transformers. Метаданные указывают на поддержку визуальных входов и диалогового режима. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая создание историй и ролевые сценарии. В README приведены результаты бенчмарков и оценки для нескольких вариантов квантования, но они не заменяют независимую оценку качества. Карточка не сообщает длину контекста; поддерживаемые языки по метаданным — английский, китайский, японский и испанский. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Seven-i1-GGUF — это квантизированная версия текстово-визуальной модели Qwen3.6-27B-Seven, подготовленная mradermacher на основе модели nightmedia/Qwen3.6-27B-Seven. Распространяется в формате GGUF с imatrix-квантами различного уровня сжатия, размером примерно от 11 до 22,5 ГБ. В README также указано наличие отдельных mmproj-файлов для поддержки изображений; конкретные параметры мультимодальной архитектуры не раскрыты. Заявлена поддержка английского, китайского, японского и испанского языков, а также контекста до 1M токенов, однако точные технические характеристики базовой модели в карточке не приведены. Модель предназначена для диалогов, генерации текста, программирования, математических и STEM-задач, исследовательских сценариев, творческого и художественного письма, сторителлинга и ролевых взаимодействий. К сильным сторонам относятся широкий выбор квантов, возможность подобрать баланс между размером, скоростью и качеством, а также наличие imatrix-вариантов; для некоторых конфигураций в README отдельно рекомендуются IQ-кванты и i1-Q4_K_M как быстрый вариант. Ограничения связаны с потерями качества при сильном сжатии, отсутствием подробных результатов тестирования и неполным описанием архитектуры и фактического размера контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored. Квантизацию выполнил mradermacher. Модель предназначена для генерации и обработки текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и исследовательских экспериментов. В метаданных заявлена поддержка английского, китайского, японского и испанского языков, а также conversational, instruction-tuned и multilingual-сценариев. Доступны варианты с разными уровнями квантизации — от Q2_K размером 13,3 ГБ до Q8_0 размером 37,9 ГБ, включая IQ4_XS, Q4_K_M и другие форматы. Для мультимодального использования предоставляются дополнительные файлы mmproj. Более качественные варианты требуют больше памяти, тогда как компактные быстрее и экономичнее, но могут сильнее терять качество; конкретные характеристики архитектуры, максимального контекста и производительности в README не указаны. Лицензия — Apache-2.0.

Minachist/Qwen3.6-35B-A3B-INT8-AutoRound — неофициальная INT8-квантизированная версия модели Qwen3.6-35B-A3B, разработанная Minachist на основе Qwen от команды Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, однако в README конкретные поддерживаемые языки и полный перечень задач не указаны. Она рассчитана на запуск через Transformers и vLLM, включая использование в качестве языковой модели, генерацию кода, рассуждения и вызовы инструментов при соответствующей настройке vLLM. Модель использует схему W8A16 и квантизацию AutoRound от Intel. Доступны варианты с group size 128 и 32, а основная ветка использует конфигурацию, требующую примерно на 3,2 ГБ меньше VRAM, чем вариант gs32, при почти идентичном качестве. Часть компонентов, включая visual, mtp, linear_attn, mlp.gate, shared_expert, embed_tokens и lm_head, не квантизирована; в отдельных вариантах также сохраняется self_attn. Размер базовой модели обозначен как 35B-A3B, но сведения о контекстном окне и точных модальностях базовой модели отсутствуют. Сильными сторонами являются существенное снижение требований к памяти при сохранении качества, близкого к BF16: для MMLU-Redux указано 93,28% против 93,3% в официальной оценке BF16. Ограничения включают зависимость от совместимых версий vLLM и CUDA, необходимость подходящей GPU-конфигурации, а также известные проблемы с vLLM v0.20.1. Модель распространяется по лицензии Apache-2.0.