II.2Создание и понимание программного кода

NVIDIA подготовила FP8-квантизированную версию языковой модели Qwen3-235B-A22B, разработанной Alibaba. Это авторегрессионная разреженная трансформерная модель архитектуры Qwen3 MoE для генерации текста; в репозитории указано 18,2 млрд параметров, а базовая модель описана как крупная MoE-модель для диалогов, рассуждений, программирования, перевода и работы с инструментами. Модель принимает текст и выдаёт текст, поддерживает чат и интерфейс вызова инструментов. В метаданных указан контекст 40 960 токенов; README заявляет до 131 тыс. токенов. Модель предназначена для развёртывания в агентных системах, чат-ботах, RAG-системах и других приложениях на базе ИИ. Квантизация весов и активаций линейных операторов в блоках трансформера до FP8 снижает требования к диску и памяти GPU примерно в 1,6 раза относительно 16-битного представления. Для запуска README указывает TensorRT-LLM, Linux и графические процессоры NVIDIA Blackwell. README разрешает коммерческое и некоммерческое использование; лицензия в метаданных — Apache-2.0.

Qwen3-235B-A22B-GGUF — квантованная версия модели Qwen3-235B-A22B, разработанной командой Qwen. Квантование в формате GGUF выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового взаимодействия, генерации и обработки текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математики и задач, требующих рассуждений. Это MoE-модель с общим размером 235B параметров и 22B активируемых параметров; в конфигурации указаны 128 экспертов, из которых одновременно активны 8. Поддерживаются режимы с рассуждением и без него, а также отключение рассуждений с помощью параметра /no_think в конце запроса. Заявлена поддержка более 100 языков и диалектов. Контекстное окно достигает 131 072 токенов с YaRN, при этом значение по умолчанию составляет 32 000 токенов. Сильные стороны модели — улучшенное рассуждение, широкий языковой охват, развитые агентские возможности и универсальность в диалоговых, творческих и технических задачах. Ограничения включают зависимость характеристик от конкретного варианта квантования и конфигурации запуска, а также возможность неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

QuantTrio/Qwen3-235B-A22B-Instruct-2507-AWQ — это AWQ-квантизированная версия Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и опубликованной QuantTrio. Модель предназначена для генерации текста и диалоговых сценариев, следования инструкциям, логического и математического рассуждения, научных задач, программирования, использования инструментов, обработки длинного контекста и многоязычных запросов. Это причинная языковая MoE-модель с 235 млрд параметров, из которых при обработке каждого токена активируются 22 млрд. Она содержит 94 слоя, 128 экспертов, 8 активных экспертов, 64 attention heads для Q и 4 для KV в схеме GQA. Нативная длина контекста составляет 262 144 токена. Модель работает только в non-thinking mode и не формирует блоки <think></think>. В репозитории указана интеграция с vLLM версии 0.9.2 и выше; размер файлов модели составляет около 116 ГБ, поэтому для запуска требуется мощная GPU-инфраструктура. Сильные стороны модели — улучшенные instruction following, понимание текста, знания, рассуждения, программирование, tool usage, открытые и субъективные задачи, а также работа с длинным контекстом и несколькими языками. Ограничения включают отсутствие thinking mode, высокие требования к памяти и необходимость учитывать особенности распределения MoE-экспертов при запуске на восьми GPU. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-30B-A3B-GGUF — GGUF-версия модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Unsloth. Это причинная языковая модель архитектуры Mixture-of-Experts (MoE), предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и быстрого ответа с помощью инструкций /think и /no_think. Она обучалась на этапах предварительного обучения и постобучения, содержит 30,5 млрд параметров, из которых активируется 3,3 млрд, 48 слоёв, 128 экспертов и 8 активируемых экспертов. Использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель ориентирована более чем на 100 языков и диалектов; в метаданных README отдельно указан английский язык. К сильным сторонам относятся сочетание качества рассуждений и экономичности MoE-архитектуры, поддержка многоязычного следования инструкциям, широкий спектр прикладных задач и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp и Ollama. Ограничения включают зависимость характеристик от конкретной GGUF-квантизации и программного окружения; точные параметры квантизации, требования к памяти и результаты бенчмарков в предоставленном README не указаны. Лицензия — Apache-2.0.

Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

stelterlab/Qwen3-30B-A3B-Instruct-2507-AWQ — квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen AI. Это авторегрессионная языковая модель на базе архитектуры Mixture-of-Experts с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке одного токена. Модель содержит 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 KV-головами, а также 128 экспертов, из которых активны 8. Контекст поддерживается до 262 144 токенов. Модель предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, научных и технических задач, программирования, использования инструментов, творческого письма и работы с длинными документами. Она поддерживает множество языков и ориентирована на улучшенное покрытие редких знаний и более качественное выполнение субъективных и открытых заданий. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. В данном репозитории веса преобразованы в формат AWQ с INT4 GEMM с использованием llm-compressor; квантизацию выполнила stelterlab. Это экспериментальная сборка, протестированная с vLLM 0.9.2, поэтому совместимость и качество инференса могут зависеть от используемого программного стека. Квантизация снижает требования к памяти по сравнению с полноточными весами, но может приводить к некоторой потере качества. Модель распространяется по лицензии Apache-2.0.

NVFP4/Qwen3-30B-A3B-Instruct-2507 — квантизированная версия причинной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen; формат NVFP4 создан для оптимизированного развертывания. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и открытых диалоговых задач. Она поддерживает многоязычные сценарии и контекст до 262 144 токенов, работает только в нережиме рассуждений и не генерирует блоки <think></think>. Архитектура представляет собой causal language model на основе Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются при обработке запроса; 48 слоев, 128 экспертов, 8 активных экспертов, Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. К сильным сторонам относятся улучшенные instruction following, качество открытых ответов, покрытие редких знаний, программирование и работа с длинным контекстом. К ограничениям относятся отсутствие режима пошагового рассуждения и потенциальные требования к совместимому программному и аппаратному стеку для запуска NVFP4-квантизации. Лицензия — Apache 2.0.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-версия каузальной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель преобразована с использованием llama.cpp; сборка и экспериментальная схема квантования опубликованы пользователем Mungert. Она предназначена для локального запуска и генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных и программных задач, работы с инструментами и открытых диалоговых сценариев. Модель использует архитектуру Mixture of Experts: всего 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; в составе 48 слоёв, 128 экспертов и 8 активируемых экспертов. Применяется Grouped Query Attention с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков, но конкретный перечень в предоставленных данных не указан. Это режим без рассуждений: модель не формирует блоки <think></think>. К сильным сторонам относятся улучшенные instruction following, логическое рассуждение, кодирование, использование инструментов, субъективные и открытые задачи, мультиязычное понимание и работа с длинным контекстом. GGUF-квантизация облегчает локальный инференс, а ручное повышение точности отдельных важных слоёв может улучшать качество при заданном уровне квантования. Ограничения связаны с компромиссом между размером файла, требованиями к ресурсам и точностью; конкретные характеристики зависят от выбранного варианта квантования. Лицензия — Apache 2.0.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter287 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter335 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

unsloth/Qwen3-32B-128K-GGUF — это GGUF-версия большой языковой модели Qwen3-32B, разработанной командой Qwen и опубликованной в формате GGUF командой Unsloth. Модель представляет собой причинную языковую модель с 32,8 млрд параметров, из которых 31,2 млрд не относятся к эмбеддингам. Архитектура включает 64 слоя и групповое обобщённое внимание (GQA) с 64 головами для Q и 8 для KV. Модель предназначена для диалогов, следования инструкциям, генерации и анализа кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, многошаговых диалогов, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Заявлена поддержка более 100 языков и диалектов. Базовая длина контекста составляет 32 768 токенов, а с использованием YaRN она увеличена до 131 072 токенов. Модель сочетает широкий набор языковых и рассуждательных возможностей с поддержкой длинного контекста и локального запуска в GGUF-экосистеме. Ограничения включают значительный размер, потенциально высокие требования к памяти и вычислительным ресурсам, а также зависимость качества и скорости от конкретной GGUF-квантизации и настроек запуска. В README не приведены точные параметры квантизации, требования к оборудованию или результаты бенчмарков. Модель распространяется по лицензии Apache-2.0.

Qwen3-32B-f16-GGUF — размещённая Geoff Munn версия модели Qwen/Qwen3-32B в формате GGUF с весами F16 для запуска через llama.cpp и совместимые приложения. Это плотная языковая модель на 32 млрд параметров, предназначенная для диалога, генерации текста, рассуждений, математики, программирования и многоязычных задач; её также можно подключать к RAG-системам и агентным сценариям. Карточка описывает несколько вариантов квантования семейства и приводит результаты сравнения их качества, но репозиторий обозначен как F16. Указанные в README оценки производительности и качества относятся к конкретным вариантам и настройкам квантования, а не гарантируют такие же результаты для каждого файла. Для запуска нужны совместимое ПО и аппаратные ресурсы, соответствующие размеру 32B модели; вариант Q5_K_HIFI требует специальной сборки llama.cpp. Лицензия — Apache-2.0.

JunHowie/Qwen3-32B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческих задач, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрой генерации, а также более 100 языков и диалектов. Модель является плотной causal language model с 32,8 млрд параметров, 64 слоями и механизмом GQA: 64 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Квантизация выполнена в 4 бита с group size 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. Ограничениями являются возможное снижение точности по сравнению с полной версией модели и зависимость от совместимого программного окружения, включая vLLM версии 0.9.2 или выше. Модель распространяется по лицензии Apache 2.0.

Карточка модели Hollow44844/Qwen3-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-4B, поэтому описание составлено по ней. Qwen3-4B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалогов, следования инструкциям, рассуждений, генерации кода, творческого письма, многоязычных задач и работы с инструментами. В модели около 3,7 млрд параметров по метаданным; она использует архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов по метаданным. README описывает переключение между режимами рассуждения и обычного диалога, а также поддержку более 100 языков и диалектов. Модель обучена на базе Qwen/Qwen3-4B-Base и распространяется в формате safetensors для библиотеки Transformers. Лицензия — Apache 2.0. Карточка предупреждает о возможных бесконечных повторах при генерации и рекомендует настраивать параметры сэмплирования.

unsloth/Qwen3-4B-128K-GGUF — это GGUF-версия текстовой авторегрессионной языковой модели Qwen3-4B, разработанной командой Qwen и опубликованной Unsloth. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит около 4 миллиардов параметров, из них 3,6 миллиарда приходятся на параметры без учёта embedding-слоя. Архитектура включает 36 слоёв и Grouped-Query Attention с 32 головами запросов и 8 головами ключей/значений. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Базовая длина контекста составляет 32 768 токенов, а с применением YaRN — до 131 072 токенов, что соответствует заявленному в идентификаторе варианту 128K. Модель ориентирована на работу более чем со 100 языками и диалектами. К сильным сторонам относятся компактный размер, поддержка многоязычных сценариев, развитое следование инструкциям, рассуждение, генерация кода и интеграция с инструментами. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, текстовую специализацию без заявленной поддержки изображений или аудио, а также необходимость корректной настройки режима рассуждения и совместимого программного обеспечения для запуска GGUF. Лицензия — Apache 2.0.

Qwen3-4B-AWQ — причинная языковая модель из серии Qwen, разработанная командой Qwen. Она предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, написания кода, творческих задач, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимом рассуждения для сложных задач и нерешающим режимом для более быстрых ответов в рамках одной модели. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и включает 36 слоёв. Используется Grouped-Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Доступна 4-битная AWQ-квантизация, уменьшающая требования к памяти. Qwen3 заявляет поддержку более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Сильными сторонами являются сочетание рассуждения и эффективного общего диалога, возможности работы с инструментами, поддержка длинного контекста и сниженные требования к ресурсам благодаря квантизации. Ограничения включают возможное ухудшение качества и зацикливание при жадном декодировании в режиме рассуждения; для него рекомендуются Temperature 0,6, TopP 0,95 и TopK 20. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-FP8 — FP8-квантованная версия причинной языковой модели Qwen3-4B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математических и логических рассуждений, программирования, творческого письма, многошаговых агентных сценариев и работы с внешними инструментами. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд приходятся на параметры без учёта эмбеддингов, и включает 36 слоёв. Используется архитектура causal language model с группированным запросом внимания GQA: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрой обработки обычных запросов. Суффикс FP8 указывает на мелкозернистое квантование FP8 с размером блока 128, что ориентировано на повышение эффективности инференса при сохранении совместимости с распространёнными фреймворками. Среди ограничений отмечены известные проблемы совместимости vLLM и особенности распределённого инференса в Transformers; для некоторых конфигураций требуется дополнительная настройка. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-GGUF — квантизированная версия причинной языковой модели Qwen3-4B, разработанная командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, творческого письма, ролевого взаимодействия, программирования, математического и логического рассуждения, перевода, а также сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам, и включает 36 слоёв. Она использует Grouped-Query Attention с 32 головами запросов и 8 головами ключей и значений. Поддерживаются режимы thinking для сложных задач рассуждения и non-thinking для более быстрых ответов; между ними можно переключаться в рамках одного диалога. Модель поддерживает более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов, а с масштабированием YaRN заявлена поддержка до 131 072 токенов. Основные преимущества — сочетание рассуждения, диалоговых и агентных возможностей, мультиязычность и возможность локального запуска через llama.cpp или Ollama. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что позволяет выбирать компромисс между качеством, размером и скоростью. При использовании YaRN производительность на коротких текстах может снижаться, поэтому масштабирование рекомендуется включать только для длинного контекста; для thinking-режима также не рекомендуется жадное декодирование из-за риска деградации качества и повторов. Модель распространяется по лицензии Apache-2.0.

Это Flax-представление Qwen3-4B-Instruct-2507, опубликованное Benjamin Minixhofer на Hugging Face. Модель разработана командой Qwen как причинная языковая модель для диалогов и генерации текста по инструкциям; репозиторий содержит веса в формате Flax. Базовая версия имеет около 4 млрд параметров, 36 слоёв и контекст до 262 144 токенов. Модель предназначена для следования инструкциям, понимания текста, ответов на вопросы, логических и математических задач, программирования и вызова инструментов. Она работает в режиме без цепочки рассуждений в специальных блоках, поддерживает многоязычные сценарии и длинный контекст. Карточка базовой модели указывает лицензию Apache-2.0; метаданные репозитория Flax лицензию отдельно не приводят.

Qwen3-4B-MLX-4bit — это компактная 4-билионная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, программирования, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрой работы в рамках одной модели. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding-слою, и включает 36 слоёв. Используется Grouped Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на многоязычные инструкции и перевод. Формат MLX и 4-битное квантование делают её подходящей для эффективного запуска в экосистеме MLX. Сильными сторонами являются сочетание рассуждения и быстрого диалогового режима, развитые возможности следования инструкциям, многоязычность, программирование и интеграция с инструментами. Ограничения включают текстовую специализацию без заявленной поддержки других модальностей, зависимость длинного контекста от YaRN и необходимость подбора параметров генерации: для режима рассуждения рекомендуется не использовать жадное декодирование. В README указана лицензия Apache-2.0.

unsloth/Qwen3.5-122B-A10B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen и подготовленной компанией Unsloth с использованием улучшенного алгоритма квантования и imatrix-данных. Модель предназначена для локального запуска, диалогов, программирования, рассуждений, вызова инструментов, работы с агентами и визуального понимания изображений. Это авторегрессионная языковая модель с vision encoder и гибридной архитектурой, объединяющей Gated DeltaNet и разреженную Mixture-of-Experts. Всего модель содержит 122 млрд параметров, из которых при обработке активируется около 10 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а также текстовые и визуальные входные данные. К сильным сторонам относятся высокая вычислительная эффективность разреженной архитектуры, поддержка длинного контекста, мультимодальность и оптимизация Unsloth для сценариев общения, программирования, tool calling и агентных задач. GGUF-квантизация позволяет запускать модель локально, однако итоговые требования к памяти, скорость и качество зависят от выбранного варианта квантования и используемого оборудования. README не приводит подробных числовых результатов бенчмарков и не описывает ограничения мультимодальной обработки. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-GPTQ-Int4 — мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это causal language model с vision encoder, предназначенная для работы с текстом и изображениями. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии и универсальные задачи обработки контента. Модель использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Общее число параметров составляет 122 млрд, при этом во время работы активируется около 10 млрд. Архитектура включает 48 слоёв и 256 экспертов, из которых активируются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживаются 201 язык и диалект. Данная версия содержит GPTQ-квантизацию до 4 бит и распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, большой контекст, высокая вычислительная эффективность разреженной архитектуры и широкое языковое покрытие. Ограничения включают необходимость совместимого программного и аппаратного окружения для запуска крупной MoE-модели, а также возможные потери качества из-за 4-битной квантизации; конкретные требования к ресурсам в README не указаны. Лицензия — Apache-2.0.

unsloth/Qwen3.5-35B-A3B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, подготовленная Unsloth. Модель предназначена для локального запуска и применения в диалоговых системах, генерации и анализе текста, программировании, агентских сценариях, работе с изображениями и вызове инструментов. Для работы доступны варианты квантования, а также настройки включения и отключения режима рассуждений. Модель представляет собой авторегрессионную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35 млрд параметров, из которых активируется 3 млрд; размер скрытого представления составляет 2048, используется 40 слоёв и словарь размером 248 320 токенов. Модель поддерживает 201 язык и диалект, а её мультимодальность позволяет обрабатывать текст и изображения. GGUF-файлы обновлены с использованием улучшенных данных и алгоритма квантования, что ориентировано на более высокую точность при локальном инференсе. К сильным сторонам относятся сочетание мультимодального понимания, рассуждений, программирования и агентских задач с относительно низким числом активных параметров, а также возможность локального запуска через совместимые инструменты. Ограничения связаны с использованием квантованных вариантов: конкретные характеристики качества, требования к памяти, контекстное окно и поддерживаемые форматы зависят от выбранного файла и среды инференса; для данной GGUF-сборки они в README не уточнены. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-GPTQ-Int4 — мультимодальная причинная языковая модель с vision encoder, разработанная командой Qwen. Это GPTQ-квантованная до 4 бит версия постобученной модели Qwen3.5-35B-A3B, предназначенная для локального и серверного инференса в Hugging Face Transformers, vLLM, SGLang, KTransformers и совместимых инструментах. Модель ориентирована на генерацию и понимание текста и изображений, рассуждение, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируется около 3 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Ключевые преимущества — мультимодальность, высокая вычислительная эффективность благодаря разреженной архитектуре и 4-битному квантованию, а также широкий языковой охват и поддержка длинного контекста. Ограничения включают возможные потери качества и точности, характерные для низкобитного квантования, а также зависимость производительности от используемого движка и аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-397B-A17B-AWQ-4bit — квантизированная 4-битная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, визуального анализа и агентских сценариев. Она доступна в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts. Общее число параметров составляет 397 млрд, из которых при обработке токена активируется 17 млрд; используется 512 экспертов, 10 маршрутизируемых и один общий эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а мультимодальная архитектура ориентирована на совместную обработку текста и визуальных данных. К сильным сторонам относятся высокая эффективность разреженной архитектуры, большой контекст, широкое языковое покрытие и возможности мультимодального понимания. Ограничениями являются значительные требования к вычислительным ресурсам даже при 4-битной квантизации, а также возможные потери точности, связанные с квантизацией AWQ. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound-v2 — квантованная версия базовой модели Qwen3.8-27B, разработанная goldhub с использованием AutoRound. Модель предназначена для генерации текста, рассуждений, программирования, обработки длинного контекста, а также мультимодальных задач с изображениями и видео. Заявлена поддержка английского, китайского, русского, украинского, греческого и иврита. Модель содержит 27 млрд параметров и использует гибридную схему: основные веса представлены в INT4 W4A16 с group_size 32, а критически важные компоненты, включая механизмы linear attention Gated DeltaNet, визуальный модуль, embed_tokens и lm_head, сохранены в BF16 или FP16. Заявленный контекст составляет 256K токенов, при этом стабильная работа без дополнительной настройки указана для 32K+, а для 128K–256K требуется выгрузка KV-кэша. Поддерживаются входы image-text и video-text. Сильными сторонами являются сохранение возможностей рассуждения, работы с кодом, мультимодальности и длинным контекстом после 4-битного квантования, а также пригодность для развёртывания на потребительских и профессиональных GPU. Ограничения включают большой для INT4 объём около 26,4 ГБ, потребность минимум в 32 ГБ VRAM или в двух GPU по 24 ГБ, возможные ограничения KV-кэша и риск циклической генерации при высокой температуре. В README рекомендуется vLLM; SGLang также поддерживается, но заявлен как менее производительный вариант. Модель распространяется по лицензии Apache-2.0.

impacte/Qwen3.8-27B-GGUF — квантованная в формате GGUF версия модели Qwen3.8-27B, разработанной командой Qwen и подготовленной для запуска через llama.cpp. Квантизацию выполнил bartowski, а репозиторий и готовые конфигурации запуска предоставлены impacte.tech. Модель распространяется по лицензии Apache 2.0. Это плотная модель с 27,78 млрд параметров, в которой активны все параметры каждого токена. Архитектура Qwen3.5 сочетает 48 слоёв линейного внимания и 16 слоёв полного внимания, включает 64 слоя, скрытый размер 5120, 24 attention heads и 4 KV heads. Нативное окно контекста составляет 262 144 токена. Модель поддерживает рассуждения с блоками thinking и response, а также вызов инструментов в формате XML. Доступны две версии. Мультимодальная Q4_K_M размером около 17,77 ГБ работает с текстом, изображениями и видео и поставляется вместе с мультимодальным проектором. Текстовая IQ4_XS размером около 14,7 ГБ предназначена для чата, программирования, RAG и вызова инструментов, но не поддерживает изображения и видео. Квантизация уменьшает требования к памяти, однако для запуска рекомендуются GPU с 24 ГБ и более видеопамяти, не менее 64 ГБ оперативной памяти и современная сборка llama.cpp. Для использования полного контекста 256K требуется значительный объём системной RAM, поскольку KV-кэш может храниться вне видеопамяти.

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ-gdn4 — квантизированная версия языковой модели Qwen3.8-27B, разработанная TelperionAI на базе модели Qwen/Qwen3.8-27B. Она предназначена для локального и серверного запуска больших языковых моделей, включая генерацию текста, рассуждения, работу с кодом, математическими и STEM-задачами, чат-сценарии и мультиязычные запросы. Модель рассчитана на использование через Transformers и vLLM; README отдельно указывает поддержку speculative decoding с MTP. Это смешанная квантизация INT4 W4A16 с группами размера 32 и асимметричным представлением весов. Для большинства MLP-проекций и GDN-линейных проекций используется INT4, часть слоёв MLP и все проекции self-attention хранятся в INT8, а lm_head, embed_tokens, нормализации, параметры состояния GDN, vision tower и MTP-head — в BF16. Квантизация выполнена в два этапа: AWQ с учетом активаций и последующая GPTQ-компенсация ошибок. Размер модели составляет около 22,6 ГБ; для работы требуется GPU с Compute Capability не ниже 7.5, то есть поддерживаются устройства уровня Turing и новее. Сильная сторона модели — удачный баланс размера и точности: по приведённым тестам она ближе к исходной BF16-модели, чем некоторые сопоставимые INT4-варианты, при заметно меньшем объёме, чем FP8-релиз. При этом переход GDN-проекций на INT4 немного снижает точность по сравнению с более крупной версией модели с GDN в INT8, а производительность зависит от GPU и реализации Marlin; измерения на B300 не следует напрямую переносить на Ampere. Модель распространяется по лицензии Apache-2.0.

Карточка модели Ahriman07/Qwen3-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели RedHatAI/Qwen3-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.