II.2Создание и понимание программного кода

Phi-3 Medium-128K-Instruct ONNX DirectML — конвертированная и оптимизированная Microsoft версия языковой модели Phi-3 Medium для генерации текста и диалогов. Модель содержит 13,8 млрд параметров и распространяется в формате ONNX; вариант в репозитории квантован до INT4 методом AWQ и рассчитан на инференс через ONNX Runtime с DirectML на Windows GPU. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений, работы с математическими и программными задачами и обработки длинных запросов. Исходная модель обучена на синтетических данных и отфильтрованных общедоступных веб-страницах, а её постобучение включало supervised fine-tuning и direct preference optimization. README описывает семейство как поддерживающее контекст до 128K токенов, однако метаданные репозитория указывают native context в 4096 токенов, поэтому доступную длину контекста следует уточнять для конкретной сборки. Сборка ориентирована на ускорение генерации на GPU AMD, Intel и NVIDIA с DirectML; в README приведено тестирование на RTX 4090 и минимальная конфигурация Windows с GPU, совместимым с DirectX 12, и 10 ГБ объединённой RAM. Квантование может влиять на точность, несмотря на заявленное сохранение качества AWQ. Модель разработана Microsoft и распространяется по лицензии MIT.

Phi-3 Medium-4K-Instruct ONNX DirectML — версия языковой модели Phi-3 Medium, опубликованная Microsoft для ускоренного вывода через ONNX Runtime и DirectML на GPU в Windows. Это плотная авторегрессионная модель семейства Phi-3 примерно с 13,8 млрд параметров и контекстом до 4096 токенов; она настроена следовать инструкциям с помощью supervised fine-tuning и direct preference optimization и поддерживает диалоговый режим. Репозиторий содержит ONNX-вариант с квантизацией INT4 методом AWQ. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений, математических и кодовых задач. DirectML позволяет запускать её на совместимых GPU AMD, Intel и NVIDIA в Windows. В README указаны проверка на RTX 4090 и минимальная конфигурация Windows с GPU DirectX 12 и не менее 10 ГБ совокупной памяти. Квантизация помогает снизить требования к ресурсам, однако может влиять на точность; производительность зависит от оборудования и конфигурации. Лицензия — MIT. Указанные в README языки программирования относятся к примерам интеграции, а не к естественным языкам модели; конкретный перечень поддерживаемых естественных языков в предоставленных данных не установлен.

phi-4-GGUF — это квантизированная в формате GGUF версия языковой модели Phi-4, разработанной Microsoft. Квантизация выполнена bartowski на основе llama.cpp, релиз b4456. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и других задач обработки естественного языка. Модель поддерживает контекст до 16 000 токенов и обучалась на 9,8 триллиона токенов, включая синтетические данные, отфильтрованные общедоступные веб-страницы, академические книги и наборы вопросов и ответов. В метаданных указан английский язык. Формат GGUF и совместимость с llama.cpp делают модель пригодной для локального запуска в приложениях, поддерживающих этот формат, включая LM Studio. К сильным сторонам относятся широкий набор обучающих данных, поддержка длинного контекста и специализация на задачах диалога, математики и кода. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. В README не указаны конкретная архитектура, число параметров и характеристики отдельных вариантов квантизации. Модель распространяется по лицензии MIT.

PolarisLM — плотная языковая модель семейства PolarNet с 9,2 млрд параметров, разработанная авторами семейства Polaris. Она предназначена для диалогового помощника, рассуждений, генерации текста и кода, ответов на вопросы, а также вызова функций и инструментов. Модель принимает текст и генерирует текст; заявлены улучшения в сложных рассуждениях, снижении галлюцинаций и надёжности вызова функций. Для работы с длинными запросами поддерживает контекст до 32 768 токенов. В README приведены результаты на арифметических, логических, фактических и многоязычных задачах, включая рост точности на GPQA-Diamond с 62,0% у предыдущей версии до 79,8%; авторы связывают это с более длинным рассуждением. Для запуска предлагается использовать температуру 0,5 и системный запрос с текущей датой. Модель распространяется по лицензии Apache-2.0. Численные результаты и сравнения приведены авторами README; независимая проверка в предоставленных данных не описана.

Это чат-модель richardyoung на основе Qwen2.5-14B-Instruct, преобразованная методом abliteration с помощью Heretic v1.4.0 для снижения частоты отказов. По приведённому в карточке сравнению число отказов составило 11 из 100 запросов против 98 из 100 у исходной модели; это значение относится только к описанной в README оценке. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции, написание длинных текстов, работу с таблицами и структурированными форматами, а также задачи по математике и программированию. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, реализованная для Transformers и распространяемая в формате Safetensors. Метаданные указывают контекст до 32 768 токенов; README описывает возможность расширения контекста с помощью YaRN и указывает для семейства исходной модели предел до 131 072 токенов. Семейство поддерживает более 29 языков, однако карточка этой модели подтверждает английский; перечисление других языков относится к описанию Qwen2.5 в целом. Модель подходит для разговорных помощников и генерации текста, но указанное снижение отказов не означает отсутствия ограничений или гарантий качества. Лицензия — Apache-2.0.

Это дообученная диалоговая языковая модель Qwen2.5-32B-Instruct, опубликованная пользователем qfq и обученная с помощью TRL. Она предназначена для генерации текста в ответ на инструкции и сообщения пользователя; поддерживает чат и интерфейс вызова инструментов. Модель построена на плотной архитектуре Qwen2 (Qwen2ForCausalLM), содержит 32 млрд параметров, работает через Transformers и распространяется в формате safetensors. Контекстное окно составляет 32 768 токенов. В карточке не приведены отдельные оценки качества или список поддерживаемых естественных языков; возможности и характеристики унаследованы от базовой модели Qwen2.5-32B-Instruct. Лицензия в предоставленных данных не указана, поэтому условия использования следует сверить на странице репозитория Hugging Face. Для запуска приведён пример с Transformers и CUDA; для модели такого размера требуются значительные вычислительные ресурсы.

Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

unsloth/Qwen2.5-3B-Instruct-unsloth-bnb-4bit — это 4-битная квантизированная версия Qwen2.5-3B-Instruct, разработанная Unsloth на основе модели Qwen/Qwen2.5-3B-Instruct. Модель предназначена для диалогов, следования инструкциям, генерации текста, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель относится к классу причинных языковых моделей и использует текстовую модальность. В семействе Qwen2.5 заявлена поддержка более 29 языков, включая английский, китайский, русский и другие. Для серии также заявлена работа с контекстом до 128K токенов и генерация до 8K токенов, однако конкретные параметры этой 3B-квантизированной версии в README подробно не указаны. Ключевая особенность сборки — формат Unsloth Dynamic 4-bit, предназначенный для снижения требований к памяти при сохранении лучшей точности по сравнению со стандартной 4-битной квантизацией. Модель подходит для локального запуска, чат-ботов, автоматизации текстовых задач, программирования, анализа данных и дообучения. К преимуществам относятся компактный размер, сниженное потребление памяти и возможности instruction-tuned модели. Ограничения связаны с меньшим размером по сравнению с крупными моделями и возможными потерями точности из-за квантизации; конкретные показатели качества в README не приведены. Указанная лицензия — Apache-2.0.

AIArchiveInfo публикует побайтовую архивную копию Qwen2.5-7B-Instruct, созданную из репозитория Qwen/Qwen2.5-7B-Instruct; веса не изменялись, обучение или дообучение в этом репозитории не проводились. Это инструкционно настроенная причинная языковая модель семейства Qwen2.5 с архитектурой Qwen2ForCausalLM, примерно 7,1 млрд параметров и контекстом 32 768 токенов по метаданным. README описывает архитектуру на базе трансформера с RoPE, SwiGLU, RMSNorm и смещениями QKV; для более длинного контекста предлагается YaRN, но он может снижать производительность на коротких запросах. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов, работу с таблицами и структурированными ответами JSON, а также задачи программирования и математики. Указана поддержка более 29 языков, включая русский и английский. Использовать можно через Transformers; README рекомендует актуальную версию библиотеки. Лицензия Apache-2.0 распространяется на архивную копию согласно карточке.

Qwen3-32B-AWQ — квантизированная 4-битная AWQ-версия причинной языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимом рассуждения для сложных задач и нерезультирующим режимом для более эффективного общего диалога в рамках одной модели. Модель содержит 32,8 млрд параметров, из них 31,2 млрд без учёта embedding, и имеет 64 слоя. Используется Grouped Query Attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на многоязычное следование инструкциям и перевод. AWQ-квантизация снижает требования к памяти, однако может влиять на качество по сравнению с полноразмерной версией; README также не содержит подробных результатов бенчмарков и требований к аппаратному обеспечению. Для режима рассуждения модель формирует промежуточное содержимое в блоке <think>...</think>; в README рекомендованы определённые параметры генерации и не рекомендуется жадное декодирование. Указанная лицензия — Apache 2.0.

igriv/Qwen3-32B-heretic — разговорная языковая модель семейства Qwen3, созданная изменением Qwen3-32B методом abliteration, чтобы существенно снизить частоту отказов. В приведённом сравнении модель отказывает в 3 случаях из 100 против 99 у исходной модели; это оценка из карточки, а не гарантия поведения во всех запросах. Модель предназначена для генерации текста и диалогов, в том числе для рассуждений, программирования, перевода и следования инструкциям. Архитектура — плотная авторегрессионная Qwen3ForCausalLM; в метаданных указаны 29,7 млрд параметров, контекст 40 960 токенов и формат safetensors. README приписывает семейству Qwen3 поддержку более 100 языков, но не приводит отдельную оценку языков именно этой производной модели. Модель разработана автором репозитория igriv на основе Qwen3-32B. Лицензия — Apache-2.0. Снижение отказов может означать меньшую защиту от небезопасных запросов; опубликованная таблица не раскрывает полный протокол оценки, а качество и безопасность ответов требуют самостоятельной проверки.

furiosa-ai/Qwen3-4B-FP8 — это версия модели Qwen3-4B-FP8, подготовленная FuriosaAI для запуска на ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 4 млрд параметров. Разработчик базовой модели — команда Qwen, а FuriosaAI предоставляет исполняемый пакет FXB и интеграцию с собственным программным стеком. Модель предназначена для генерации текста, общего диалога, сложных рассуждений, математических и программных задач, вызова инструментов и агентских сценариев. Она поддерживает гибридный режим: по умолчанию может формировать рассуждение перед ответом, а для отдельных запросов рассуждение можно отключить ради более эффективной работы. Также поддерживается multilingual-использование, однако в карточке явно указан английский язык. Входные и выходные данные — текстовые, доступен OpenAI-совместимый API. Веса статически квантизированы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-cache сохраняется в 16-битной точности. На FuriosaAI RNGD модель работает с tensor parallelism на 8 вычислительных элементах одной карты. Ограничения связаны с зависимостью данной сборки от Furiosa-LLM и оборудования RNGD; сведения о размере контекста и точном перечне поддерживаемых языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

warshanks/Qwen3-4B-Instruct-2507-AWQ — квантованная версия Qwen3-4B-Instruct-2507, разработанной командой Qwen и опубликованной пользователем warshanks. Это авторегрессионная causal language model для генерации текста в диалогах, выполнения инструкций, рассуждений, математики, научных и программных задач, понимания текста, вызова инструментов и агентских сценариев. Модель работает только в non-thinking режиме и не формирует блоки <think></think>. Модель содержит около 4 млрд параметров, из них 3,6 млрд без учёта эмбеддингов, имеет 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для запросов и 8 для ключей и значений. Нативная длина контекста составляет 262 144 токена. Заявлены улучшения в многоязычном понимании, покрытии редких знаний, следовании инструкциям, открытой генерации и использовании инструментов. Это текстовая модель без заявленной поддержки изображений или других модальностей; конкретный набор языков в README не указан. Сильные стороны модели — большой контекст, улучшенные показатели в рассуждениях, кодировании, следовании инструкциям, творческом письме, многоязычных задачах и вызове инструментов при сравнительно небольшом размере. Ограничения включают работу только в non-thinking режиме, возможные требования к памяти при использовании длинного контекста и отсутствие в README подробных характеристик самой AWQ-квантизации, точных требований к оборудованию и результатов для всех практических сценариев. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-122B-A10B-NVFP4 — это NVFP4-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, подготовленная Unsloth на базе модели Qwen. Она относится к классу каузальных языковых моделей с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts. Всего заявлено 122 млрд параметров, из которых при обработке активируется около 10 млрд; архитектура включает 48 слоёв и 256 экспертов, из которых маршрутизируются 8, дополнительно используется один общий эксперт. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии NVFP4 — снижение требований к памяти и стоимости инференса при сохранении возможностей исходной модели, однако качество и скорость могут зависеть от особенностей квантизации и совместимого программно-аппаратного окружения. В README рекомендуется запуск через vLLM с NVFP4-ядром; использование Marlin не рекомендуется из-за более низкой производительности. Модель распространяется по лицензии Apache 2.0. README не содержит подробных результатов бенчмарков для этой конкретной квантизованной версии, поэтому её фактические показатели качества следует проверять отдельно.

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

duolaf/Qwen3.5-27B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen; репозиторий подготовлен с использованием инструментов и вариантов квантования Unsloth. Модель предназначена для локального запуска и поддерживает задачи работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии, работу с длинным контекстом и вызов инструментов. Модель представляет собой каузальную языковую модель с vision encoder и содержит 27 млрд параметров. В её основе лежит гибридная архитектура, объединяющая Gated DeltaNet и разреженную Mixture-of-Experts; указаны 64 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступно отключение режима рассуждений через параметр chat-template. Сильными сторонами модели являются мультимодальность, большой контекст, поддержка широкого набора языков и оптимизация для эффективного локального вывода. Ограничения конкретных GGUF-вариантов, включая требования к памяти, скорость и степень потери качества, зависят от выбранного уровня квантования и используемого программного обеспечения; в README они подробно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-27B — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель поддерживает интеграцию с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, 64 слоя и скрытое измерение 5120. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; также используются механизмы Gated Attention и multi-step training. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Мультимодальное обучение выполнено с ранним объединением визуальных и языковых токенов. К сильным сторонам относятся сочетание языковых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения README не описывает подробно; фактическая производительность и требования к ресурсам зависят от сценария использования и программного окружения. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-35B-A3B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и другие задачи генерации и анализа контента. Архитектура представляет собой causal language model с vision encoder и гибридной схемой Gated Delta Networks и разреженной Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых при обработке активируются около 3 млрд. Используются 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Формат совместим с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание мультимодальности, большого контекста, высокой вычислительной эффективности разреженной архитектуры и широкой языковой поддержки. AWQ-квантизация снижает требования к памяти и может упростить локальное развертывание, однако потенциально сопровождается компромиссом между качеством и точностью по сравнению с полной версией весов. README не приводит подробностей о требованиях к оборудованию, измерениях производительности именно для этой AWQ-версии и явных ограничениях применения. Лицензия — Apache-2.0.

AxionML/Qwen3.5-35B-A3B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанная AxionML для задач открытого размещения и развёртывания. Модель предназначена для обработки текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она реализована как авторегрессионная языковая модель с vision encoder и поддерживает архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Модель содержит 35 млрд параметров, из которых активируется около 3 млрд, имеет 40 слоёв и нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют квантование NVFP4, выполненное с помощью NVIDIA TensorRT Model Optimizer; это уменьшает размер модели на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. Формат ориентирован на ускоренный inference на оборудовании с поддержкой Blackwell Tensor Cores. К сильным сторонам относятся высокая параметрическая эффективность за счёт MoE, большой контекст, мультимодальность и сниженные требования к памяти благодаря 4-битному квантованию. Ограничения связаны с зависимостью производительности и качества от совместимого оборудования и программного стека, а также с потенциальными потерями точности, свойственными квантованию; конкретные требования к аппаратному обеспечению и подробные результаты оценки в представленном фрагменте не указаны. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

cyankiwi/Qwen3.5-4B-AWQ-INT8-INT4 — квантованная версия мультимодальной модели Qwen3.5-4B, основанная на Qwen/Qwen3.5-4B. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура включает каузальную языковую модель с vision encoder и предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Идентификатор указывает на применение квантования AWQ с форматами INT8 и INT4, что ориентировано на снижение требований к памяти и ускорение инференса; README не приводит точных характеристик качества именно этой квантованной сборки. Модель подходит для локального и серверного инференса, мультимодальных приложений, анализа документов и изображений, генерации текста и кода, а также задач с длинным контекстом. К сильным сторонам относятся сочетание языковых и визуальных возможностей, большой контекст, многоязычность и компактный размер. Ограничения квантованной версии, включая возможное снижение точности по сравнению с полной моделью, в README не описаны. Лицензия — Apache-2.0.

Qwen3.5-4B-f32-GGUF — это набор GGUF-файлов с версиями модели Qwen3.5-4B, разработанной командой Alibaba Qwen и представленной в репозитории prithivMLmods. Модель представляет собой плотную мультимодальную causal language model примерно с 4 млрд параметров и встроенным vision-энкодером. Она предназначена для генерации и понимания текста, анализа изображений и видео, OCR, решения математических задач, программирования и агентских сценариев. Архитектура включает 32 слоя с гибридной схемой Gated DeltaNet и Gated Attention, размером скрытого состояния 2560 и словарём на 248 тысяч токенов для 201 языка. Заявлена поддержка контекста до 262 тысяч токенов с возможностью расширения свыше 1 млн токенов, а также переключаемый режим рассуждений для выбора между более глубоким анализом и быстрой генерацией. В комплект входят варианты BF16, F16, F32, Q8_0 и отдельные мультимодальные проекционные файлы mmproj; размеры файлов варьируются примерно от 367 МБ до 16,8 ГБ. К сильным сторонам относятся мультимодальность без необходимости в отдельном VL-компоненте, большой контекст, многоязычность и возможность запуска на ограниченных ресурсах: в README указано около 8 ГБ VRAM для BF16 и примерно 3 ГБ для 4-битной версии. К ограничениям относятся различия в качестве и размере квантованных вариантов, а также компромисс между скоростью и качеством рассуждений. Модель распространяется по лицензии Apache 2.0.

hikka2515/Qwen3.5-4B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen и подготовленной с использованием инструментов Unsloth. Модель предназначена для локального запуска и генерации текста, рассуждений, программирования, агентских сценариев, вызова инструментов и анализа изображений. Она поддерживает текстово-визуальный ввод и совместима с llama.cpp и другими средствами работы с GGUF. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками gated attention. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Версия включает обучение для multi-step speculative decoding (MTP), которое при совместимой сборке llama.cpp может ускорять генерацию примерно в 1,5–2 раза, а также улучшения поддержки роли developer и вызова инструментов. Сильные стороны модели — сочетание мультимодальности, большого контекста, компактного размера и возможности эффективного локального запуска в квантованном формате. Ограничения связаны с необходимостью специальной сборки llama.cpp для MTP; при таком режиме не поддерживаются параллельность запросов через параметр -np больше 1 и параметр --mmproj. Точные характеристики конкретного квантования UD-Q4_K_XL в README не приведены. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-9B-GGUF — квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная Atomic Chat. Модель распространяется в формате GGUF для локального и полностью офлайн-использования, в том числе через llama.cpp, Ollama, LM Studio и Jan. Репозиторий содержит текстовые варианты модели без vision projector, поэтому мультимодальные возможности базовой версии здесь недоступны. Модель имеет 9,7 млрд параметров, 32 слоя и заявленный контекст до 262 144 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads; базовая модель поддерживает текст и изображения, а опубликованные файлы предназначены только для генерации текста. Указаны варианты квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0 с размером примерно от 5,6 до 9,5 ГБ. Квантизация выполнена с importance matrix, что помогает сохранить качество при уменьшении требований к памяти; Q4_K_M позиционируется как оптимальный баланс размера, скорости и качества, тогда как Q8_0 обеспечивает почти исходную точность. Модель подходит для диалогов, генерации текста, программирования, рассуждений и агентских сценариев при локальном запуске. Ограничения включают отсутствие поддержки изображений в данном репозитории, зависимость качества и скорости от выбранного уровня квантизации и оборудования, а также необходимость применять chat template Qwen3.5. Исходная модель выпущена под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

unsloth/Qwen3.5-9B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для локального запуска, генерации и анализа текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Модель также поддерживает локальное дообучение с помощью Unsloth. Модель содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками Gated Attention. В конфигурации заявлены 32 слоя, скрытая размерность 4096 и нативная длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель обучена для работы с мультимодальными токенами и заявляет поддержку 201 языка и диалекта. Репозиторий ориентирован на экосистему GGUF и локальный инференс, однако конкретный уровень квантования в предоставленных данных не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, большой контекст, энергоэффективная архитектура и широкий языковой охват. Ограничения включают отсутствие в предоставленных данных подробных результатов именно для GGUF-варианта, сведений о требованиях к оборудованию и точных характеристик квантования; фактическое качество и скорость могут зависеть от используемого рантайма и уровня квантования. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.6-27B-NVFP4 — квантизированная версия авторегрессионной модели Qwen3.6-27B, разработанной Alibaba и оптимизированной NVIDIA с помощью Model Optimizer. Модель использует архитектуру Transformers с гибридным механизмом внимания Gated DeltaNet и Gated Attention и содержит около 27 млрд параметров. Версия NVFP4 1.0 квантизирована с помощью nvidia-modelopt v0.45.0. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе искусственного интеллекта. Согласно описанию, она принимает текст, изображения и видео, включая RGB-изображения и видео в форматах MP4/WebM, а максимальная длина контекста достигает 262 тысяч токенов. На выходе формирует текст. Возможности оценивались на задачах текстового и мультимодального рассуждения, программирования, использования инструментов, следования инструкциям и работы с длинным контекстом. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных и оптимизация для ускоренного инференса на GPU NVIDIA. Поддерживаются vLLM, Linux и аппаратные платформы NVIDIA Hopper и Blackwell; тестирование проводилось на NVIDIA GB300. Данные о языках, исходных обучающих наборах и их объёмах не раскрыты. Для безопасного и эффективного применения необходимы дополнительные проверки на данных конкретного сценария, а заявленная совместимость ориентирована на GPU-системы NVIDIA. Модель доступна для коммерческого и некоммерческого использования на условиях лицензии Apache 2.0.

fraQtl Qwen3.6-35B-A3B-Hi-Fi-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B-Instruct, разработанной командой Qwen и подготовленной к квантизации fraQtl. Модель предназначена для локальной генерации текста, включая диалог, программирование, математические задачи, работу с инструментами и создание развернутых текстов. Заявлена поддержка английского и китайского языков. Модель использует архитектуру Mixture of Experts с общим размером около 35 млрд параметров, примерно 3 млрд активных параметров на токен и 256 маршрутизируемыми экспертами. Это стандартный Q4_K_M-файл для llama.cpp без необходимости в специальном runtime или измененных ядрах. Вариант Hi-Fi применяет распределение битов с учетом важности отдельных тензоров и калибровку imatrix, чтобы приблизить поведение к Q8-версии при сохранении размера обычной Q4_K_M-квантизации. К сильным сторонам относятся локальный запуск на Apple Silicon и потребительских GPU, совместимость с llama.cpp и оболочками на его основе, а также улучшенные по сравнению с некоторыми публичными Q4-квантами показатели близости распределения вывода и perplexity. Ограничения связаны с потерями точности, присущими квантизации, и значительным размером файла около 20 ГБ. На Apple M4 с 24 ГБ памяти подтвержден запуск в CPU-режиме, тогда как полная Metal-выгрузка для этой конфигурации не укладывается в доступную память; работа на системах с 32 ГБ и более обозначена как экспериментальная. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Balance — локальная модель для генерации текста, опубликованная пользователем или организацией Youssofal и основанная на семействе Qwen3.6. Она предназначена для запуска на компьютерах Apple Silicon через MLX и ускорения генерации с помощью MTPLX — механизма speculative decoding, использующего собственные MTP-головы модели для чернового предсказания токенов с последующей проверкой основной моделью. Модель подходит для локального чата, программирования и других сценариев генерации текста, включая задачи с рассуждениями и обычные контексты разработки. README не указывает поддерживаемые языки и точное максимальное окно контекста. Модель имеет конфигурацию 35B-A3B и архитектуру mixture-of-experts, поставляется в виде 6-битного MLX-квантизованного основного блока с размером группы 64, 8-битными router и gate-тензорами, а также калиброванными INT4 MLX MTP-головами. Нормализации, масштабы, смещения и обычные тензоры сохранены в BF16. Заявлены высокая скорость локальной генерации и практичное потребление памяти; измеренная скорость генерации в режиме MTPLX Sustained Max на Apple Silicon для рекомендованной конфигурации D2 составила около 123–126 токенов в секунду, а скорость обработки промпта в тестах достигала 1756,8–4109,8 токена в секунду в зависимости от длины контекста. Ограничения связаны с применением квантизации, зависимостью от Apple Silicon и MTPLX, а также с тем, что это не полноточный чекпойнт. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-NVFP4-GGUF — это квантизированная в формате GGUF версия модели на базе Qwen3.6, созданной Alibaba Group, с доработками LuffyTheFox и квантизацией NVFP4 от jan1k. Модель также включает Hermes-файнтюнинг для диалогов, генерации текста, программирования, агентских сценариев и function calling. Указана поддержка английского, китайского и других языков, а также мультимодального ввода изображений через отдельный vision-проектор. Архитектура представляет собой Mixture of Experts: около 35 млрд общих параметров и примерно 3 млрд активных параметров на токен, с восемью маршрутизируемыми экспертами и одним общим. NVFP4 — 4-битный формат с плавающей точкой, оптимизированный для GPU NVIDIA архитектур Ada Lovelace, Blackwell и Ampere. Рекомендуется использовать файл версии v4 с inline scales; он совместим с llama.cpp, LM Studio и Pelican. Для работы с изображениями требуется отдельный проектор F16 размером около 899 МБ. Размер рекомендуемого файла модели составляет около 20 ГБ. Сильными сторонами являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальных и агентских задач, function calling и формат NVFP4, снижающий требования к памяти по сравнению с полноразмерной моделью. Ограничения включают зависимость от совместимого NVIDIA-оборудования и корректно поддерживающего NVFP4 рантайма, необходимость отдельного vision-проектора для изображений и отсутствие в предоставленных данных сведений о максимальной длине контекста и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B v2 — это мультимодальная модель типа Mixture of Experts (MoE), разработанная oktayd на базе Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT. Модель распространяется в формате Ollama и предназначена для работы с текстом и изображениями, включая анализ скриншотов, документов, диаграмм и сцен. Модель ориентирована на диалог, объяснение научных и технических вопросов, рассуждения, программирование, отладку, создание контента, ролевые сценарии, tool calling и агентские рабочие процессы. Она также сфокусирована на бизнес-задачах, повседневной работе, визуальном вопросно-ответном взаимодействии, OCR и работе с документами. Заявлена поддержка различных стилей общения, включая прямой, неформальный и творческий; в обучении использовались многоязычные материалы, однако конкретный перечень языков не указан. Архитектура содержит около 35 миллиардов параметров, из которых примерно 3 миллиарда активируются для каждого токена; маршрутизация выбирает 8 из 256 экспертов. Это снижает вычислительную нагрузку по сравнению с полным запуском всех параметров, но не уменьшает требования к хранению весов и доступной RAM или VRAM до уровня 3B-модели. Доступны разные варианты квантования и размеры GGUF, что упрощает локальный запуск. Ограничения включают возможность ошибок, повторов и неточных ответов; README не указывает размер контекста и точные языковые характеристики. Лицензия модели — Apache-2.0.

cyankiwi/Qwen3.8-27B-AWQ-BF16-INT4 — квантованная версия Qwen3.8-27B, разработанного командой Qwen. Модель представляет собой плотную причинную языковую модель с vision-энкодером, предназначенную для работы с текстом, изображениями и видео. Она поддерживает интеграцию через Hugging Face Transformers, vLLM, SGLang и другие совместимые инструменты. Модель рассчитана на программирование, профессиональные и исследовательские задачи, обработку документов и STEM-диаграмм, а также долгие агентские сценарии с планированием и взаимодействием со средой. Доступно управление режимом рассуждений: его можно отключать и настраивать глубину через reasoning_effort, а контекст рассуждений из предыдущих сообщений — сохранять с помощью preserve_thinking. Языковая часть содержит 27 млрд параметров, 64 слоя и имеет архитектуру с чередованием Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможным расширением до 1 000 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели — около 28,85 ГБ. К сильным сторонам относятся мультимодальность, поддержка видео, гибкое управление рассуждениями и ориентация на сложные многошаговые задачи. Ограничения конкретной квантованной сборки и результаты бенчмарков в предоставленных данных подробно не указаны. Модель распространяется по лицензии Apache-2.0.