II.4Отладка, тестирование и качество ПО

grimjim/mistralai-Mistral-Nemo-Instruct-2407 — инструктивно дообученная языковая модель на базе Mistral Nemo, разработанной совместно Mistral AI и NVIDIA. Она предназначена для диалога, следования инструкциям, генерации текста и вызова инструментов. Модель использует плотную архитектуру Transformer семейства Mistral с 40 слоями, GQA и 12,1 млрд параметров; контекстное окно составляет 131 072 токена. Доступны веса в формате Safetensors. Модель рассчитана на многоязычные задачи, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский; обучающие данные также включают код. Подходит для чат-ботов, помощников и генерации ответов по инструкциям. Выпускается по лицензии Apache 2.0. В карточке разработчика модель названа демонстрацией возможностей базовой модели; встроенных механизмов модерации нет.

Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Qwen3.5-35B-A3B-Uncensored-FernflowerAI-MLX-8bit — это мультимодальная MoE-модель, преобразованная в формат MLX для нативного запуска на Apple Silicon. В её основе лежит Qwen3.5-35B-A3B от Alibaba, использованы uncensored-вариант HauhauCS и исправленные веса FernflowerAI от LuffyTheFox. Конверсию выполнил автор репозитория froggeric. Исправление устраняет повреждение двух тензоров в исходных весах, вызывавшее деградацию на длинном контексте. Модель предназначена для диалогов, генерации и анализа текста и кода, работы с изображениями и видео, рассуждений и вызова инструментов. Она содержит около 35 млрд параметров, активирует примерно 3 млрд параметров на токен, использует архитектуру qwen3_5_moe с 256 экспертами, DeltaNet-MoE и Attention-MoE. Поддерживаются текстовые, визуальные и видеовходы, multi-token prediction, переключаемый режим рассуждений и контекст до 262 тысяч токенов, расширяемый до 1 млн с помощью YaRN. Заявлена поддержка 201 языка и словаря размером 248 тысяч токенов. К сильным сторонам относятся высокая вычислительная эффективность MoE, мультимодальность, большой контекст, поддержка tool calling и 8-битное квантование с объёмом около 35 ГБ. Ограничения включают зависимость от совместимых версий mlx-lm и mlx-vlm, необходимость Apple Silicon для целевого сценария и известное замедление примерно в 2,7 раза при декодировании Gated DeltaNet с невокабулярными эмбеддингами; обычный текстовый инференс этим ограничением не затронут. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.5-397B-A17B-AWQ — квантизированная AWQ-версия модели Qwen3.5-397B-A17B, разработанной командой Qwen и распространяемой через Hugging Face. Репозиторий содержит веса и конфигурацию в формате Transformers, полученные методом data-free quantization без калибровочного набора данных. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это каузальная языковая модель со зрительным энкодером, поддерживающая мультимодальные входы. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Общее число параметров составляет 397 млрд, из них 17 млрд активируются при обработке запроса; указаны 60 слоёв и размер скрытого представления 4096. Заявлена поддержка 201 языка и диалекта. В README для запуска через vLLM рекомендуется максимальная длина контекста 32768 токенов. Сильные стороны модели — мультимодальность, широкий языковой охват, высокая вычислительная эффективность разреженной MoE-архитектуры и поддержка вызова инструментов и режимов рассуждения в совместимой инфраструктуре. Ограничения включают очень крупный размер файлов — около 228 ГиБ, высокие требования к GPU-инфраструктуре и зависимость от экспериментальных или предварительных версий vLLM и Transformers; для эффективного запуска также требуется CUDA 12.8 и корректная настройка экспертного параллелизма. Лицензия — Apache 2.0.

cyankiwi/Qwen3.5-4B-AWQ-INT8-INT4 — квантованная версия мультимодальной модели Qwen3.5-4B, основанная на Qwen/Qwen3.5-4B. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура включает каузальную языковую модель с vision encoder и предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Идентификатор указывает на применение квантования AWQ с форматами INT8 и INT4, что ориентировано на снижение требований к памяти и ускорение инференса; README не приводит точных характеристик качества именно этой квантованной сборки. Модель подходит для локального и серверного инференса, мультимодальных приложений, анализа документов и изображений, генерации текста и кода, а также задач с длинным контекстом. К сильным сторонам относятся сочетание языковых и визуальных возможностей, большой контекст, многоязычность и компактный размер. Ограничения квантованной версии, включая возможное снижение точности по сравнению с полной моделью, в README не описаны. Лицензия — Apache-2.0.

Mungert/Qwen3.5-4B-GGUF — это GGUF-квантованная версия мультимодальной модели Qwen3.5-4B, опубликованная Mungert на основе базовой модели Qwen/Qwen3.5-4B-Base, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, визуально-языковых задач, рассуждений, программирования, работы с агентами и анализа изображений. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp. Модель представляет собой авторегрессионную языковую модель с vision encoder и поддерживает обработку текста и изображений. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; размер языковой части составляет около 4 млрд параметров, число слоёв — 32, размер скрытого состояния — 2560. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — кастомная стратегия квантования: отдельные важные слои переводятся в более высокую точность сверх стандартной конфигурации IMatrix, что, по данным автора, может улучшать точность при сохранении преимуществ квантования. Ограничения зависят от выбранного варианта квантования и аппаратного обеспечения; снижение точности по сравнению с полной моделью возможно, а конкретные требования к памяти, результаты бенчмарков и доступные уровни квантования в представленном фрагменте не указаны. Лицензия — Apache 2.0.

cyankiwi/Qwen3.5-9B-AWQ-4bit — это 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Она распространяется в формате, совместимом с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 9 млрд параметров и построена как авторегрессионная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; заявлены 32 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ снижает требования к памяти и может сделать инференс практичнее на совместимом оборудовании, однако возможны потери качества по сравнению с полноразмерной версией, а фактическая производительность зависит от используемого движка. Модель ориентирована на разработчиков и корпоративные приложения, которым нужны мультимодальные ответы, анализ изображений, работа с длинным контекстом, кодом и сложными задачами. README не содержит подробностей о специфических ограничениях, безопасности, точных требованиях к оборудованию или характеристиках именно квантизированной версии. Лицензия — Apache-2.0.

DevinMox/Qwen3.5-9B-GGUF — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen и опубликованная на базе Qwen/Qwen3.5-9B. Модель предназначена для генерации и понимания текста, рассуждений, программирования, агентских сценариев и обработки визуальной информации. Она поддерживает 201 язык и диалект. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated Delta Networks, Gated Attention и разреженного Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README также заявлены повышенная эффективность мультимодального обучения, высокая пропускная способность и сниженные задержки при инференсе. Данные о точных ограничениях качества, требованиях к оборудованию и характеристиках GGUF-квантизации не приведены. Модель распространяется по лицензии Apache-2.0. README указывает совместимость с Hugging Face Transformers, vLLM, SGLang и KTransformers, однако описывает репозиторий как содержащий веса и конфигурации в формате Transformers, поэтому конкретные параметры GGUF-сборки в предоставленных данных не уточнены.

Bernhard Brieger/Qwen3.8-27B-GPTQ-Int4 — это посттренировочная GPTQ-квантизация базовой модели Qwen/Qwen3.8-27B, выполненная Bernhard Brieger. Модель предназначена для общего следования инструкциям, программирования, вызова инструментов и обработки длинного контекста, включая поиск по документам объёмом более 100 000 токенов. Квантизация не включает дообучение, дистилляцию или дополнительное обучение безопасности. Модель имеет мультимодальную архитектуру image-text-to-text Qwen3_5ForConditionalGeneration с языковой частью и vision tower, содержит около 27,78 млрд параметров, 64 слоя и поддерживает нативный контекст до 262 144 токенов; проверена работа с контекстом 163 840 токенов. 48 слоёв используют линейное внимание Gated-DeltaNet, 16 — полное внимание. Весовая часть сжата до 4-битного симметричного формата GPTQ с group size 32: примерно 87,6% параметров квантизированы, а критически важные компоненты, включая эмбеддинги, lm_head, vision tower, нормализации и MTP draft layer, сохранены в bf16. Также поддерживается Multi-Token Prediction для speculative decoding. Ключевое преимущество — снижение объёма весов с 55,56 до 19,54 ГБ при сохранении мультимодальной архитектуры, MTP-компонента и совместимости с GPTQ-совместимыми средами, включая vLLM и SGLang. Ограничение заключается в том, что это именно квантизированная версия базовой модели, поэтому она не предназначена для сценариев, требующих полной точности; в README также не приведены языки, результаты сравнительных бенчмарков или измерение ухудшения качества относительно базовой модели. Модель распространяется по лицензии Apache-2.0.

Apertus-70B-Instruct-2509-GGUF — GGUF-версия 70-миллиардной языковой модели Apertus-70B-Instruct-2509, разработанной Swiss National AI Institute (SNAI) при участии ETH Zurich и EPFL. Это авторегрессионный decoder-only Transformer для генерации и обработки текста, диалоговых сценариев и агентского использования с поддержкой инструментов. Модель обучена с нуля на 15 триллионах токенов, включая веб-данные, код и математические материалы. Она поддерживает длинный контекст до 65 536 токенов и 1811 языков, ориентирована на полностью открытые, прозрачные и многоязычные применения. В архитектуре используются функция активации xIELU, оптимизатор AdEMAMix, а последующее дообучение включало supervised fine-tuning и выравнивание методом QRPO. Формат GGUF предназначен для совместимого локального запуска, однако конкретный уровень квантования в представленных данных не указан. Сильными сторонами модели являются широкий языковой охват, длинный контекст, открытость весов, обучающих данных и сведений о процессе обучения, а также заявленное соблюдение требований к согласию владельцев данных. Ограничения включают высокие требования к вычислительным ресурсам, типичные для модели такого размера, возможные ошибки и неточности при генерации, а также отсутствие данных о характеристиках конкретной GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, но её использование также связано с отдельной политикой допустимого использования Apertus; разработчики рекомендуют применять регулярно обновляемый фильтр для удаления персональных данных из результатов.

Athena-1-7B — инструктивная языковая модель на архитектуре Qwen2, созданная дообучением Qwen/Qwen2.5-7B-Instruct. Разработчик позиционирует её как модель для диалогов, генерации контента и структурированной обработки данных. Веса представлены в формате PyTorch; модель содержит около 7,1 млрд параметров по метаданным. Метаданные указывают контекст до 32 768 токенов, тогда как README заявляет до 131 072 токенов; фактический контекст может зависеть от конфигурации репозитория и используемого ПО. Модель предназначена для следования инструкциям, написания и объяснения кода, математических задач, анализа и суммаризации документов, а также создания JSON и других структурированных ответов. README заявляет поддержку более 29 языков, включая русский, однако в метаданных отмечен английский язык. Модель принимает текст и генерирует текст; в метаданных также указана возможность интерфейса вызова инструментов. Модель распространяется по лицензии Apache-2.0. README заявляет генерацию до 8 000 токенов за ответ; качество на конкретных задачах и фактическая языковая поддержка требуют проверки в целевом сценарии.

A.X K2 — крупная языковая модель класса Mixture-of-Experts, разработанная SK Telecom в рамках южнокорейского государственного проекта Sovereign AI. Это преемник A.X K1 и агентная foundation-модель, обученная с нуля для понимания корейского языка и культуры, а также работы с многоязычными и программными данными. Модель предназначена для генерации текста, следования инструкциям, сложного рассуждения, решения задач и агентных сценариев. Она поддерживает управляемые режимы Think для многошагового рассуждения и Non-Think для кратких ответов с низкой задержкой. Используются английский, корейский, китайский, японский и испанский языки. Архитектура представляет собой decoder-only Transformer с 688 млрд параметров, из которых 33 млрд активируются на каждом токене: 256 маршрутизируемых экспертов, один общий эксперт и выбор восьми экспертов для токена. Модель содержит 61 слой, 64 attention heads и поддерживает контекст до 262 144 токенов; длина 256K достигнута расширением с 128K с помощью YaRN. Ключевые особенности A.X K2 — Multi-head Latent Attention со Sparse Gated Attention для более эффективной работы с длинным контекстом, Gated Norm для стабильного обучения и подавления выбросов активаций, а также нативное обучение в FP8. Чекпойнт предоставляется в block-scaled FP8 E4M3, что уменьшает требования к памяти и подходит для эффективного FP8-инференса без отдельной постквантизации. Ограничения включают высокие системные требования, обусловленные общим объёмом параметров, а также потенциальные риски и ограничения качества, свойственные большим языковым моделям; конкретные результаты бенчмарков в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.

socrate-tech/gemma-3-12b-it-GGUF — это GGUF-версия инструкционно дообученной модели Google Gemma 3 12B, разработанной Google DeepMind и опубликованной в экосистеме Unsloth. Модель построена на базе google/gemma-3-12b-it и предназначена для локального и облачного развертывания, включая использование на ноутбуках, настольных компьютерах и собственной инфраструктуре. Модель принимает текст и изображения, а генерирует текст. Она подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений и других задач генерации текста. Для варианта 12B заявлено контекстное окно до 128K токенов и максимальный объём генерируемого ответа до 8192 токенов; изображения нормализуются до разрешения 896 × 896 и кодируются в 256 токенов. Поддерживается более 140 языков, включая английский, указанный для этой публикации. К сильным сторонам относятся мультимодальность, большое контекстное окно, сравнительно компактный размер по меркам современных моделей и возможность запуска в средах с ограниченными ресурсами. Ограничения включают зависимость качества от доступных вычислительных ресурсов и особенностей GGUF-инференса; конкретный уровень квантования в предоставленных данных не указан. Модель распространяется по лицензии Gemma; применяются условия использования Google.

cyankiwi/GLM-5.3-Flash-AWQ-INT4 — квантизированный чекпойнт модели GLM-5.3-Flash, разработанной Z.ai и опубликованный пользователем cyankiwi. Модель является нативно мультимодальной и предназначена для обработки текста и изображений, включая диалоговые сценарии, программирование, агентные задачи и работу с длинным контекстом. В карточке указаны английский и китайский языки, а README дополнительно заявляет поддержку хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. GLM-5.3-Flash использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 320 млрд параметров, из которых активно используется около 18 млрд; точный максимальный размер контекста в карточке не указан, но модель оптимизирована для длинных контекстов. Данный вариант сочетает схемы compressed-tensors INT4, FP8-block и BF16 в разных модулях, его размер — около 197,19 ГБ. Сильными сторонами модели являются мультимодальность, эффективность инференса, поддержка многоязычных сценариев, программирования и агентных рабочих процессов, а также возможность управления интенсивностью рассуждений через параметр reasoning_effort. Ограничением является необходимость специальной версии форка vLLM для загрузки этого чекпойнта; стандартный vLLM его не поддерживает. Лицензия — MIT.

Mistral Small 3 Instruct 2501 — плотная причинная языковая модель Mistral AI Team с 23,4 млрд параметров, представленная в формате safetensors и предназначенная для генерации текста по инструкциям. Она подходит для диалоговых агентов, рассуждений, вызова функций, формирования JSON и локального инференса; в README также отмечены сценарии тонкой настройки под предметные области и обработка чувствительных данных на локальной инфраструктуре. Модель поддерживает контекст до 32 768 токенов и, согласно карточке, десятки языков, включая английский, французский, немецкий, испанский, китайский и японский. В README заявлены следование системным инструкциям и агентные возможности. Для работы с GPU карточка указывает потребность более чем в 60 ГБ видеопамяти; локальный запуск на меньшем объёме памяти возможен после квантизации. Модель выпущена под лицензией Apache 2.0, допускающей коммерческое и некоммерческое использование.

OceanLabs/Ocean-1-4B-DSpark — дообученная компактная языковая модель общего назначения, основанная на D-Spark-4B и разработанная OceanLabs. Она предназначена для диалогов, написания и перевода текстов, рассуждений, повседневного программирования, вызова инструментов и агентных сценариев. Модель содержит 3,5 млрд параметров по метаданным и использует плотную архитектуру DSparkForCausalLM с чередованием слоёв скользящего и разреженного полного внимания. Контекстное окно достигает 1 048 576 токенов; заявлена поддержка более 200 языков. Модель оптимизирована для эффективного инференса на маломощных устройствах: архитектура снижает расход памяти KV-кэша и вычисления при работе с длинным контекстом. Указана совместимость с NVIDIA, Apple Silicon и CPU, а также с распространёнными средствами запуска и агентными фреймворками. В README приведены параметры базовой модели D-Spark-4B, отличающиеся от размера в метаданных; здесь указан размер из метаданных каталога. Репозиторий распространяется под лицензией Apache-2.0.

Карточка модели TreezzZ/opd-teacher-webshop-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen2.5-1.5B-Instruct-AWQ — квантизированная 4-битная AWQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель относится к каузальным языковым моделям и использует архитектуру на базе transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв и механизм GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантизации, улучшенные возможности следования инструкциям, работы с длинными текстами, кодом, математикой и JSON. Ограничения включают возможную потерю качества относительно исходной версии в формате bfloat16 из-за квантизации; конкретные результаты тестов в README не приведены. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-3B-Instruct-unsloth-bnb-4bit — это 4-битная квантизированная версия Qwen2.5-3B-Instruct, разработанная Unsloth на основе модели Qwen/Qwen2.5-3B-Instruct. Модель предназначена для диалогов, следования инструкциям, генерации текста, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель относится к классу причинных языковых моделей и использует текстовую модальность. В семействе Qwen2.5 заявлена поддержка более 29 языков, включая английский, китайский, русский и другие. Для серии также заявлена работа с контекстом до 128K токенов и генерация до 8K токенов, однако конкретные параметры этой 3B-квантизированной версии в README подробно не указаны. Ключевая особенность сборки — формат Unsloth Dynamic 4-bit, предназначенный для снижения требований к памяти при сохранении лучшей точности по сравнению со стандартной 4-битной квантизацией. Модель подходит для локального запуска, чат-ботов, автоматизации текстовых задач, программирования, анализа данных и дообучения. К преимуществам относятся компактный размер, сниженное потребление памяти и возможности instruction-tuned модели. Ограничения связаны с меньшим размером по сравнению с крупными моделями и возможными потерями точности из-за квантизации; конкретные показатели качества в README не приведены. Указанная лицензия — Apache-2.0.

RedHatAI/Qwen3-30B-A3B-Instruct-2507-quantized.w8a8 — текстовая autoregressive-модель класса Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-30B-A3B-Instruct-2507. Модель принимает текст и генерирует текст, ориентирована на рассуждения, выполнение инструкций на разных языках, перевод, function calling и создание специализированных решений посредством дообучения. Ключевая особенность модели — INT8-квантизация весов и активаций линейных операторов в блоках Transformer. Используются симметричная статическая поканальная квантизация весов и симметричная динамическая потокенная квантизация активаций с применением SmoothQuant и GPTQ через библиотеку llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размеру на диске, а также может примерно вдвое повысить пропускную способность матричных умножений. В документации по развертыванию указан максимальный размер контекста 262144 токена, однако другие характеристики архитектуры и языкового покрытия не приведены. Модель предназначена для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимого API. К сильным сторонам относятся сочетание крупной базовой модели с INT8-компрессией, поддержка многоязычного следования инструкциям, рассуждений и интеграции с функциями. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробных результатов оценивания, перечня поддерживаемых языков и спецификаций аппаратных требований. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимое законодательство и нормативные требования.

Qwen3-4B-Instruct-2507-AWQ-4bit — это 4-битная AWQ-квантизованная версия причинной языковой модели Qwen3-4B-Instruct-2507. Базовую модель разработала команда Qwen, а данную квантизованную сборку опубликовал пользователь cyankiwi. Квантизация выполнена с использованием llm-compressor, схемы W4A16_ASYM для линейных слоёв и набора данных Llama-Nemotron-Post-Training-Dataset; слой lm_head не квантизовался. Модель предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, вызова инструментов и агентских сценариев. Она работает только в non-thinking mode и не формирует блоки <think></think>. Заявлены улучшенные многоязычные возможности и поддержка контекста длиной до 262 144 токенов, однако конкретный перечень языков не указан. Архитектура включает 4,0 млрд параметров, 36 слоёв и Grouped Query Attention с 32 головами для Q и 8 для KV; число параметров без эмбеддингов — 3,6 млрд. Квантизация снижает требования к памяти и может упростить локальное развертывание, но способна влиять на качество по сравнению с полной точностью. В README не приведены точные аппаратные требования и детальное описание ограничений квантизованной версии. Лицензия — Apache-2.0.

Lorbus/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанная на базе Qwen/Qwen3.6-27B с использованием Intel AutoRound. Модель предназначена для обработки текста и изображений, включая диалоговые сценарии, генерацию текста, объяснение сложных тем, программирование и задачи с визуальным вводом. Она совместима с Transformers и vLLM, поддерживает OpenAI-совместимый интерфейс, вызов инструментов и reasoning-сценарии. Модель представляет собой плотную VLM с 27 млрд параметров. Используется схема W4A16: веса хранятся в INT4, активации обрабатываются в FP16; размер группы — 128, квантование симметричное. Объём модели составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Мультитокенная предсказательная голова MTP сохранена в BF16, что позволяет применять нативное speculative decoding в vLLM и получать примерно двукратное ускорение генерации в указанных тестах. Максимальная длина контекста в README демонстрируется до 262144 токенов. Сильные стороны модели — существенно сниженные требования к памяти, высокая скорость инференса и сохранение качества благодаря неквантизированным нормализующим слоям, router-слоям, отдельным проекциям и MTP-компоненту. Ограничения связаны с компромиссом INT4-квантования между точностью и эффективностью; заявленные показатели производительности получены на RTX 5090 и зависят от версии vLLM, аппаратного обеспечения и настроек KV-кэша. Визуальный энкодер MoonViT оставлен в исходной точности, поэтому выигрыш от квантования в основном относится к языковой части. Модель распространяется по лицензии Apache-2.0.

abhishekchohan/Qwen3.8-27B-AWQ-INT4 — это 4-битная AWQ-квантизированная версия модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста, рассуждений, математических и научных задач, программирования, обработки мультиязычных запросов и работы с изображениями. Она поддерживает визуально-текстовые сценарии благодаря встроенному ViT-энкодеру. Модель имеет гибридную архитектуру с 64 текстовыми слоями, включающими стандартное attention и линейное внимание DeltaNet, а также контекст до 262 144 токенов. Используется weight-only формат W4A16: веса хранятся в INT4 с group size 32 и асимметричными zero-point, KV-кэш — в BF16. Размер весов составляет около 20 ГБ, благодаря чему модель рассчитана на запуск с родным контекстом на одной GPU с 48 ГБ памяти. На GPU с 96 ГБ возможно расширение контекста до 524 288 токенов через YaRN, однако retrieval за пределами 262 144 токенов не проверялся. Главное преимущество — существенное снижение требований к памяти при сохранении результатов, близких к BF16-версии: на 9 из 10 заявленных тестов различия находятся в пределах статистического шума, а поиск информации на длинном контексте успешно проверен до 262 144 токенов. Ограничения включают заметное снижение результата в MathVision, неполную проверку визуальных возможностей, отсутствие оценки агентных сценариев и инструментального вызова, а также отсутствие количественной валидации speculative decoding. Модель распространяется по лицензии Apache-2.0.

HivenetQuant/Qwen3.8-27B-NVFP4 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, опубликованная HivenetQuant. Модель предназначена для работы с текстом и изображениями, включая визуальное понимание, генерацию текста и кода, рассуждения, tool calling и ускоренное авторегрессионное декодирование с помощью MTP speculative decoding. В основе используется модель размером 27B параметров. Квантование выполнено по схеме NVFP4 W4A4: веса и активации основного квантованного слоя представлены в FP4 с блочными масштабами FP8 и group size 16. Чувствительные attention- и recurrent-слои DeltaNet сохранены в FP8, а vision encoder, MTP head, lm_head, нормы и router layers — в BF16. Контекст до 262 144 токенов проверен в конфигурации с vLLM и FP8 KV cache. Модель ориентирована на GPU NVIDIA Blackwell с нативной поддержкой FP4, например RTX 5090. Сильными сторонами являются заметное ускорение по сравнению с FP16, сохранение мультимодальных возможностей и MTP, а также близкие к FP16 результаты на проверенных задачах. В опубликованном сравнении разница обычно составляла менее двух процентных пунктов, однако это оценка деградации на репрезентативных выборках, а не полное измерение абсолютных возможностей базовой модели. Ограничения включают зависимость от совместимого оборудования и настроек vLLM, а также возможное снижение качества из-за квантования, особенно на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-init30turns-thinking-step_220 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Qwen3.8-Flash-Next-MLX-Serve-iQ-MLX-3.3bpw — это квантованный пакет модели Qwen3.8-Flash-Next, разработанной Qwen и адаптированной пользователем ddalcu для запуска через mlx-serve на компьютерах Mac с 64 ГБ памяти. Модель предназначена для генерации текста, работы с агентами, кодом, прозой и математическими задачами, а также поддерживает обработку изображений и видео благодаря встроенной vision tower. Доступен формат вызова инструментов Qwen3.8 с XML-синтаксисом; режим рассуждений включён по умолчанию и может быть отключён. Пакет использует экспериментальную архитектуру Qwen4 с MoE, gated residual streams, n-gram embedding и Qwen Sparse Attention. Полный исходный чекпойнт включает около 180 млрд параметров: 125 млрд параметров основного ствола, 51 млрд параметров n-gram-таблицы и 4 млрд параметров MTP-головы. В данном варианте веса квантованы примерно до 3,3 бит на параметр с imatrix-калибровкой. Заявлена нативная длина контекста до 262 тысяч токенов, а для 64-ГБ Mac рекомендован размер контекста 65 536 токенов. Пакет занимает около 52 ГБ оперативной памяти; измеренная скорость на M4 Max составляет примерно 52,6 токена в секунду при декодировании и 762 токена в секунду при предварительной обработке. Главное преимущество — возможность разместить крупную мультимодальную MoE-модель на Mac с 64 ГБ памяти при сохранении около 99% вероятностной массы более тяжёлого варианта mixed-4-8bit. Ограничения связаны с потерями качества из-за агрессивной квантизации, требованиями к памяти и специфической инфраструктурой MLX. N-gram-таблица объёмом 32 ГБ подгружается через отображение файла и при холодном кэше может замедлять обработку длинного первого запроса. Для использования требуется mlx-serve и macOS с настройкой лимита GPU-памяти. Лицензия указана как qwen-community-1.0.

Qwen3-VL-30B-A3B-Instruct-GGUF — мультимодальная vision-language модель, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это инструкционная версия базовой модели Qwen/Qwen3-VL-30B-A3B-Instruct с исправлениями chat template, предназначенная для диалогов и совместного понимания текста, изображений и видео. Модель использует MoE-архитектуру с 30 млрд параметров и 3 млрд активных параметров. Она поддерживает нативный контекст до 256K токенов с возможностью расширения до 1M, обработку книг и многочасового видео, визуальное распознавание, OCR на 32 языках, пространственное рассуждение, анализ STEM-задач, а также генерацию кода и разметки Draw.io, HTML, CSS и JavaScript по изображениям или видео. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильные стороны модели — объединённое текстово-визуальное понимание, работа с длинным контекстом, видео, документами, пространственными отношениями и GUI-агентами, способными распознавать элементы интерфейса, вызывать инструменты и выполнять задачи. Ограничения, включая требования к памяти, производительности и совместимости конкретных GGUF-квантизаций, в README не уточнены. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-32B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-32B-Thinking с мелкозернистым квантованием и размером блока 128; согласно описанию, её показатели почти идентичны исходной BF16-модели. Модель распространяется через Hugging Face и предназначена для обработки текста, изображений и видео. Модель ориентирована на визуальное понимание и рассуждение, OCR, анализ документов, STEM- и математические задачи, пространственное восприятие, понимание динамики видео, генерацию кода и взаимодействие с графическими интерфейсами и инструментами. Она поддерживает контекст длиной 256K токенов с возможностью расширения до 1M, а OCR заявлен для 32 языков, однако полный перечень языков не указан. К архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками для анализа видео. К сильным сторонам относятся развитое мультимодальное рассуждение, распознавание текста в сложных условиях, понимание пространственных отношений, длинных документов и продолжительных видеозаписей, а также возможности визуального агента. Ограничение состоит в том, что на момент публикации README библиотека Transformers не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Карточка модели TreezzZ/r2s-scienceworld-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

SuperQwen3.8-27b-abliterated — мультимодальная диалоговая модель Jiunsong, полученная изменением Qwen/Qwen3.8-27B. Это полноразмерный чекпойнт BF16 в формате safetensors, примерно 52 ГБ, с плотной архитектурой Qwen3.5 и 27 млрд параметров. Изменение rank-4 снижает выраженность отказов; башня обработки изображений и веса MTP сохранены без изменений. Модель принимает текст и изображения и формирует текстовые ответы, поддерживает вызов инструментов и контекст до 262 144 токенов. Модель предназначена для диалогов, анализа изображений, многошаговых рассуждений и работы с инструментами. По карточке, настройки reasoning по умолчанию изменены на medium, а для xhigh добавлено условие остановки после получения ответа. Разработчик сообщает о прохождении конечного набора тестов на возможности, работу с изображениями и инструментами; это не гарантирует качество на всех задачах. Снижение отказов может приводить к ответам на запросы, которые базовая модель отклонила. Лицензия — Apache-2.0.