II.2Создание и понимание программного кода

Карточка модели shrawanp/Qwen3.5-122B-A10B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-122B-A10B, поэтому описание составлено по ней. Qwen3.5-122B-A10B — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen. Репозиторий содержит постобученные веса и конфигурацию в формате Transformers; модель сочетает Gated Delta Networks с разреженной архитектурой Mixture-of-Experts. Всего в модели 122 млрд параметров, из которых при генерации активируются 10 млрд; предусмотрено 256 экспертов, 8 маршрутизируемых и один общий активируются для каждого шага. Модель предназначена для диалога и решения задач по тексту и изображениям, включая рассуждения, программирование, понимание визуального содержимого и работу с инструментами. README также описывает обработку видео и расширенный контекст. Нативное окно контекста — 262 144 токена, с возможностью расширения до 1 010 000. Заявлена поддержка 201 языка и диалекта; точный перечень языков в предоставленной карточке опущен. Среди сильных сторон — сочетание мультимодального понимания, инструментального взаимодействия и разреженной архитектуры, рассчитанной на эффективный инференс. Для запуска требуются совместимые версии Transformers или специализированные движки, например vLLM, SGLang или KTransformers; производительность и расход памяти зависят от инфраструктуры, а README предупреждает о риске нехватки памяти при большом контексте. Лицензия — Apache-2.0.

cyankiwi/Qwen3.5-122B-A10B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Общее число параметров составляет 122 млрд, из которых при обработке активируется около 10 млрд. Архитектура включает 48 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. К сильным сторонам относятся мультимодальность, большой контекст, высокая вычислительная эффективность разреженной архитектуры и возможность локального запуска благодаря AWQ-квантизации. Ограничения включают потенциальные потери качества и точности, характерные для 4-битного представления, а также повышенные требования к памяти и инфраструктуре по сравнению с меньшими моделями. Модель распространяется по лицензии Apache-2.0.

TeichAI/Qwen3.5-27B-Claude-Opus-4.6-Distill — плотная мультимодальная модель семейства Qwen3.5 с 27 млрд параметров, дообученная TeichAI на базе unsloth/Qwen3.5-27B. В README указаны датасет crownelius/Opus-4.6-Reasoning-2100x-formatted и личные данные Claude от EclipseMist; также отмечено, что LoRA предоставил EclipseMist. Модель предназначена для программирования, творческого письма, общего диалога и понимания изображений. Модель принимает текст и изображения и выдаёт текст; карточка также приводит рекомендации для работы с видео. Среди опубликованных проверок — ARC Challenge, GPQA Diamond, HellaSwag и отдельные разделы MMLU; результаты на ARC Challenge и HellaSwag выше, чем у указанной базовой модели, а на GPQA Diamond совпадают. Репозиторий содержит веса safetensors и опубликован под лицензией Apache-2.0. Метаданные относят модель к задачам image-text-to-text и указывают возможности чата и работы с изображениями.

unsloth/Qwen3.5-27B-MTP-GGUF — GGUF-версия модели Qwen3.5-27B, подготовленная Unsloth на основе Qwen/Qwen3.5. Это мультимодальная causal language model с vision encoder, предназначенная для диалога, анализа изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Вариант поддерживает MTP speculative decoding для ускорения генерации примерно в 1,5–2 раза при использовании совместимой версии llama.cpp. Модель содержит 27B параметров, 64 слоя и скрытое измерение 4096. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена ранняя интеграция мультимодальных токенов. Поддерживается 201 язык и диалект, а входные данные могут включать текст и изображения. В README не указана длина контекста. GGUF-варианты используют imatrix-данные, оптимизированные для диалога, программирования, длинного контекста и tool calling. Сильные стороны модели — мультимодальность, широкое языковое покрытие, поддержка рассуждений и инструментов, а также ускоренная генерация с MTP. Ограничения связаны с требованиями к совместимому llama.cpp и специальным режимам запуска: для MTP пока не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B — мультимодальная модель Alibaba с языковой частью и визуальным энкодером. Это post-trained версия базовой Qwen3.5-35B-A3B-Base, распространяемая в формате Transformers и совместимая с Transformers, vLLM, SGLang и KTransformers. Модель принимает текст и изображения и генерирует текст; поддерживает диалог и интерфейс вызова инструментов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активны около 3 млрд; используются 40 слоёв и 256 экспертов, из которых на шаг активируются 8 маршрутизируемых и один общий. Контекст составляет 262 144 токена с возможностью расширения примерно до 1,01 млн. В README заявлена поддержка 201 языка и диалекта, включая задачи рассуждения, программирования, работы с агентами и визуального понимания. Модель подходит для анализа изображений и документов, диалоговых помощников, задач с длинным контекстом и агентных сценариев с вызовом инструментов. Режим рассуждения включён по умолчанию; для высоких нагрузок разработчик рекомендует специализированные движки инференса. Доступны веса и конфигурации, лицензия — Apache-2.0.

Qwen3.5-35B-A3B-FP8 — мультимодальная причинная языковая модель с vision-энкодером из семейства Qwen3.5, разработанная командой Qwen. Представленная версия содержит FP8-квантизированные веса и конфигурацию в формате Hugging Face Transformers и предназначена для локального или серверного вывода в Transformers, vLLM, SGLang, KTransformers и совместимых системах. Модель ориентирована на работу с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект, имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируются около 3 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий эксперт. В модели 40 слоёв и скрытая размерность 2048. Ключевое преимущество версии FP8 — существенно более эффективный по памяти и вычислениям вывод при заявленной производительности, почти идентичной исходной модели. Ограничения включают необходимость совместимой инфраструктуры и ПО для FP8-инференса, а также то, что README не приводит подробных сведений о фактических требованиях к оборудованию, безопасности и результатах по отдельным тестам для данной квантизированной версии. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-4B-AWQ-4bit — 4-битная AWQ-квантизованная версия модели Qwen3.5-4B, созданной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для локального и серверного инференса в задачах генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это мультимодальная авторегрессионная языковая модель с vision encoder и унифицированным vision-language обучением. Она содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Указана поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. К основным преимуществам относятся сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры и сниженные требования к памяти благодаря 4-битной AWQ-квантизации. К ограничениям относятся возможные потери качества и точности по сравнению с полной версией Qwen3.5-4B из-за квантизации, а также отсутствие в предоставленных данных подробностей о фактических требованиях к оборудованию и результатах именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

cosmicproc/Qwen3.5-4B-NVFP4 — это квантизированный вариант мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Модель представляет собой причинную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, агентских сценариев и других задач, требующих совместной обработки текста и визуальной информации. Заявлена поддержка 201 языка и диалекта. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. В архитектуре объединены Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется раннее слияние мультимодальных токенов. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Вариант NVFP4 использует квантизацию весов и активаций основных линейных слоёв трансформера в формате W4A4 с помощью NVIDIA Model Optimizer, что снижает требования к памяти и может повысить производительность. Для полноценного W4A4-инференса требуется GPU NVIDIA Blackwell, включая RTX 50-й серии, RTX PRO 6000 Blackwell и B-series. На GPU поколений Ada, Hopper и Ampere модель может загружаться, но специализированные FP4-ядра активаций не будут использоваться, поэтому преимущество W4A4 по скорости не проявится. Модель совместима с Transformers, vLLM, SGLang и другими фреймворками. Лицензия — Apache 2.0.

Smoffyy/Qwen3.5-9B-Instruct-Revised-GGUF — это переработанная GGUF-квантизация модели Qwen3.5-9B, опубликованная Smoffyy и основанная на официальной модели Qwen. Вариант конвертирован с помощью llama.cpp и сохраняет исходные возможности модели, но включает исправленный и улучшенный шаблон диалога. Модель предназначена для локального запуска в задачах общения, рассуждений, программирования, работы агентных систем и анализа изображений. Модель представляет собой причинную языковую модель с vision-энкодером, поддерживает текстовые и визуальные входы, а для работы с изображениями требуется дополнительный файл mmproj-f16.gguf. Размер языковой части — 9 млрд параметров; указана гибридная архитектура на основе Gated Delta Networks, разреженного Mixture-of-Experts и Gated Attention, с 32 слоями и скрытой размерностью 4096. Заявлена поддержка 201 языка и диалекта. Вариант по умолчанию работает без режима рассуждений; переключение выполняется через специальные маркеры в системном промпте. Рекомендуемый баланс качества и требований к памяти обеспечивает квантизация q4_k_m, для которой в README приведён ориентир около 10 ГБ VRAM при контексте 64K. Главное преимущество версии — исправления шаблона чата: управление режимом рассуждений, устранение пустых блоков рассуждений и поддержка developer-роли. При этом README указывает, что по возможностям модель не отличается от Pure GGUF-варианта. Ограничения связаны с зависимостью требований к VRAM и качеству от выбранного уровня квантизации, а также с необходимостью отдельного vision-проектора для мультимодальной работы. Модель и производные распространяются по лицензии Apache 2.0.

prithivMLmods/Qwen3.5-9B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Alibaba Qwen и основанной на Qwen/Qwen3.5-9B. Модель содержит около 9 млрд параметров, использует гибридную архитектуру Gated DeltaNet и Gated Attention, поддерживает контекст до 262 тысяч токенов с возможностью расширения свыше 1 млн токенов посредством RoPE scaling и словарь размером 248 тысяч токенов. Заявлена поддержка 201 языка и раннее объединение текстовых, графических и видеоданных для единого мультимодального понимания. Модель предназначена для генерации текста, мультимодального диалога, анализа изображений и видео, OCR, ответов на вопросы по визуальному содержимому, разбора документов и PDF, разработки программного обеспечения, frontend-разработки, многоязычных чат-ботов и агентских сценариев с вызовом инструментов. Она поддерживает переключаемый режим рассуждений и Multi-Token Prediction (MTP): дополнительные выходные головы прогнозируют несколько будущих токенов за один проход, что может ускорять инференс и спекулятивное декодирование без отдельной draft-модели. Доступны варианты от BF16/F16 до квантований Q2_K–Q8_0, а также отдельные мультимодальные проекционные файлы. Сильными сторонами заявлены большой контекст, мультимодальность, широкий языковой охват, поддержка tool calling и возможность локального запуска через llama.cpp и Ollama, а также развёртывания через vLLM и SGLang. Для BF16 требуется около 18 ГБ видеопамяти, для 4-битных вариантов — около 5 ГБ; качество и требования к ресурсам зависят от выбранного квантования. README не приводит подробностей об ограничениях, систематических рисках или фактической совместимости всех вариантов с указанными средами. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, подготовленная IG1. Модель предназначена для задач генерации текста и мультимодального взаимодействия в формате image-text-to-text, включая диалоги, рассуждения, программирование, работу с мультиязычными запросами и, при соответствующей поддержке сервера, вызов инструментов. Базовая модель разработана командой Qwen; в карточке также указаны наборы данных UltraChat, GSM8K, CodeAlpaca и Aya, использованные для калибровки квантизации. Модель использует гибридную архитектуру Mamba с компонентами attention и поставляется в формате NVFP4. При квантизации длина последовательности была увеличена до 8192 токенов, а калибровочная выборка — до 1024 примеров из разговорных, математических, программных и мультиязычных данных. Для запуска рекомендуется vLLM на GPU NVIDIA; в примере конфигурации для RTX 5090 заявлена максимальная длина контекста около 110 880 токенов, однако фактический размер зависит от настроек и доступной видеопамяти. К сильным сторонам относятся сниженное потребление памяти благодаря NVFP4, поддержка режимов с рассуждением и без него, а также профили для общих, программных и творческих сценариев. Ограничением является несовместимость или нестабильная работа FP8 KV cache: по данным автора, его использование может приводить к быстрой деградации качества или повреждению результатов квантизации. Карточка рекомендует развертывание через vLLM и содержит настройки для оптимизации работы на RTX 5090. Модель распространяется по лицензии Apache 2.0.

AtomicChat/Qwen3.6-27B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.6-27B, подготовленный и самостоятельно квантизированный командой Atomic Chat из оригинальных весов с использованием importance matrix. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых сценариях, программировании, фронтенд-разработке и рассуждениях на уровне репозитория. Для работы рекомендуется использовать llama.cpp и применять шаблон чата Qwen3.6 через параметр --jinja. Модель содержит 27,8 млрд параметров, имеет плотную decoder-архитектуру с 64 слоями, 24 attention heads и 4 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Базовая Qwen3.6-27B поддерживает текст и изображения, однако представленные в этом репозитории GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты квантизации от Q2_K до Q8_0; Q4_K_M заявлен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при повышенных требованиях к памяти. К сильным сторонам относятся офлайн-запуск, широкий выбор размеров, калибровка всех вариантов с importance matrix и сохранение большинства характеристик полноточной модели, особенно начиная с Q4_K_M. Ограничения включают потерю качества в низкобитных вариантах, значительные требования к оперативной или видеопамяти и отсутствие поддержки изображений в поставляемых файлах. В README указана лицензия Apache-2.0.

mattbucci/Qwen3.8-27B-AWQ — квантованная версия модели Qwen3.8-27B, разработанной Qwen и опубликованной mattbucci. Модель предназначена для задач генерации текста, рассуждений, вызова инструментов, анализа изображений и понимания видео, прежде всего в сценариях серверного инференса через SGLang. Она рассчитана на однопользовательскую работу с длинным контекстом до 262 144 токенов при конфигурации с двумя видеокартами RTX 3090. Модель использует 4-битное квантование AWQ/GPTQ в формате W4A16 с размером группы 128 и симметричными весами INT4. Веса занимают около 18,7 ГБ; архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet, а 16 — полное внимание. Башня обработки изображений, lm_head и отдельные параметры Gated DeltaNet сохранены в BF16. Проверены текстовые, математические, программные, визуальные и видео-сценарии; в указанных тестах модель показала высокие результаты на MMLU и HumanEval, а также успешно работала с контекстом свыше 250 тысяч токенов. Сильные стороны модели — поддержка нескольких модальностей, длинного контекста, рассуждений и инструментов при существенно меньшем объёме памяти по сравнению с полноразмерной моделью. Ограничения включают отсутствие MTP и недоступность MTP-ускоренного speculative decoding, снижение доступного контекста при параллельной обработке нескольких запросов, а также относительно низкий результат LAB-Bench, поэтому модель следует отдельно проверять для научных задач и специализированного протокольного QA. Квантование и валидация выполнялись на архитектуре Ampere с AWQ_Marlin; другие GPU не тестировались разработчиком. Лицензия — Apache-2.0, унаследованная от базовой модели.

cyankiwi/Qwen3.8-27B-AWQ-INT4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем cyankiwi. Модель представлена в формате Hugging Face Transformers и использует квантование AWQ с точностью INT4; размер файлов модели составляет около 21,02 ГБ. Лицензия — Apache-2.0. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, а также длительных агентских сценариев с планированием и обработкой обратной связи от окружения. Это causal language model с vision encoder, которая нативно понимает изображения и видео, включая документы и STEM-диаграммы. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и скрытую размерность 5120. Архитектура сочетает Gated DeltaNet и Gated Attention, а также использует Multi-Token Prediction. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Режим рассуждений включён по умолчанию, но может отключаться для отдельных запросов; глубина рассуждений настраивается параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться с помощью preserve_thinking. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка видео, длинного контекста, управляемого рассуждения и агентского выполнения задач при относительно компактном для класса 27B размере. К ограничениям относятся потери точности, возможные для INT4-квантования, а также необходимость совместимого программного обеспечения и значительного объёма памяти для локального запуска. README не содержит подробных числовых результатов тестирования, поэтому качество на конкретных бенчмарках по этим данным оценить нельзя.

Qwen3.8-27B-GPTQ-INT4 — квантованная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем abhishekchohan. Модель предназначена для диалогов, следования инструкциям, математических и научных задач, программирования, агентских сценариев и мультиязычной работы. Она поддерживает текстовые и визуальные входы, а также нативный контекст до 262 144 токенов. Используется 4-битное асимметричное квантование весов INT4 с GPTQ, group_size=32 и статическим упорядочиванием активаций. Квантированы основные линейные слои 64 текстовых слоёв, тогда как нормализации, эмбеддинги, языковая голова, визуальный ViT-энкодер, слои DeltaNet и предиктор MTP сохранены в BF16. Размер весов составляет около 27 ГБ вместо примерно 55,6 ГБ у версии BF16. Калибровка выполнена на данных по следованию инструкциям, математике, науке, коду и мультиязычным задачам. По представленным оценкам, модель в целом сохраняет качество BF16-версии в пределах статистического шума на большинстве тестов и полностью сохраняет результаты поиска информации в контексте до 262 144 токенов. При этом на MathVision зафиксировано снижение результата на 2,5 пункта, а поведение агентских сценариев и вызова инструментов отдельно не оценивалось. Поддерживаются thinking, tool calling и speculative decoding при использовании совместимой версии vLLM; полный контекст требует значительного объёма видеопамяти. Лицензия — Apache-2.0. Расширение контекста до 1 млн токенов через YaRN в этом чекпойнте не проверялось.

HivenetQuant/Qwen3.8-27B-NVFP4 — квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, опубликованная HivenetQuant. Модель предназначена для работы с текстом и изображениями, включая визуальное понимание, генерацию текста и кода, рассуждения, tool calling и ускоренное авторегрессионное декодирование с помощью MTP speculative decoding. В основе используется модель размером 27B параметров. Квантование выполнено по схеме NVFP4 W4A4: веса и активации основного квантованного слоя представлены в FP4 с блочными масштабами FP8 и group size 16. Чувствительные attention- и recurrent-слои DeltaNet сохранены в FP8, а vision encoder, MTP head, lm_head, нормы и router layers — в BF16. Контекст до 262 144 токенов проверен в конфигурации с vLLM и FP8 KV cache. Модель ориентирована на GPU NVIDIA Blackwell с нативной поддержкой FP4, например RTX 5090. Сильными сторонами являются заметное ускорение по сравнению с FP16, сохранение мультимодальных возможностей и MTP, а также близкие к FP16 результаты на проверенных задачах. В опубликованном сравнении разница обычно составляла менее двух процентных пунктов, однако это оценка деградации на репрезентативных выборках, а не полное измерение абсолютных возможностей базовой модели. Ограничения включают зависимость от совместимого оборудования и настроек vLLM, а также возможное снижение качества из-за квантования, особенно на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-all — текстовая генеративная модель на базе Qwen3.8-27B, разработанная сообществом thomasgardiner с использованием базовых чекпойнтов Qwen и RadixArk. Архитектура сочетает Gated DeltaNet и полное внимание, включает 64 слоя и поддерживает ввод и вывод текста. Модель предназначена для генерации текста, решения математических задач, ответов на сложные вопросы, следования инструкциям и генерации кода. Ключевая особенность — оптимизация NVFP4-квантизации для ускорения декодирования на GPU NVIDIA RTX 5090 и платформах SM120. Часть линейных проекций переведена из FP8 в NVFP4 с симметричной блочной схемой квантизации, тогда как отдельные компоненты сохраняют формат BF16. Размер чекпойнта уменьшен с 20,6 до 18 ГБ. Заявлено ускорение декодирования на 13–17% относительно RadixArk/Qwen3.8-27B-NVFP4 при сопоставимой точности; в полном стеке оптимизаций прирост относительно стандартного SGLang достигает 25–33% на фиксированных запросах. По представленным тестам модель сохраняет близкую к исходному NVFP4-чекпойнту точность на GSM8K, MATH-500, GPQA Diamond, IFEval и HumanEval, однако небольшое снижение наблюдается на части математических и кодовых задач. Для эффективного использования требуются совместимые версии SGLang и FlashInfer, CUDA 13.0, а на SM120 — специальный патч backend b12x; рекомендуемая конфигурация использует спекулятивное декодирование DFlash2. Лицензия — Apache-2.0.

mlx-community/Qwen3.8-27B-OptiQ-4bit — квантованная MLX-версия модели Qwen3.8-27B, разработанной Qwen, с оптимизацией mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель поддерживает работу с текстом и изображениями и предназначена для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и других сценариев мультимодального помощника. В режиме text-only её можно загружать через mlx-lm, а для image+text и расширенных возможностей требуется mlx-optiq. Модель использует гибридную архитектуру: три четверти из 64 блоков применяют linear attention, остальные — full attention. Квантование выполнено в смешанной точности: 237 чувствительных к потере качества слоёв представлены в 8-bit, а 261 менее чувствительный слой — в 4-bit; размер группы — 64. Vision tower сохранён в формате bf16 и поставляется отдельным файлом размером около 0,9 ГБ. Общий размер модели на диске составляет примерно 18,9–19 ГБ. Данные о размере контекстного окна и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание мультимодальности, локальный запуск без облака и PyTorch, а также экономия памяти за счёт квантования при сохранении высокой производительности в тестах: 84,1% на MMLU, 96,1% на GSM8K, 92,1% на HumanEval и 93,5% на BFCL-V3 simple. Ограничения включают зависимость от экосистемы MLX и Apple Silicon для целевого сценария, необходимость mlx-optiq для обработки изображений и расширенного сервера, а также возможное снижение качества по сравнению с полноразмерной моделью из-за квантования. Лицензия — Apache-2.0.

MrFuzzihead/Qwen3.8-35B-A3B-Distill-APEX-GGUF — это набор GGUF-квантизаций модели Qwen3.8-35B-A3B-Distill, разработанной Empero и квантизированной MrFuzzihead методом APEX при участии команды LocalAI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений, программирования, следования инструкциям, вызова функций и агентного использования. В основе лежит разреженная Mixture-of-Experts-архитектура примерно на 35 млрд параметров, из которых для каждого токена активируются 8 из 256 маршрутизируемых экспертов, а также общий эксперт. Модель использует 40 слоёв с гибридной схемой Gated DeltaNet и Gated Attention; полный attention применяется только в 10 слоях, что снижает нагрузку на KV-кэш. Заявлен нативный контекст до 262 144 токенов. Базовая модель мультимодальная и сохраняет vision tower, однако дистилляция выполнялась только для текста, а визуальные возможности не были проверены. Поддерживаются отдельные vision-проектор и MTP-компоненты для мультимодальности и спекулятивного декодирования. Ключевая особенность — APEX-квантизация с разной точностью для типов тензоров и позиций слоёв, учитывающая разреженность MoE. Доступны варианты размером примерно от 10,9 до 25,3 ГБ, рассчитанные на видеокарты с 12–24 ГБ памяти и различные компромиссы между качеством, размером и скоростью. I-варианты используют importance matrix на разнообразных данных, включая диалоги, код, рассуждения, вызов инструментов и агентные трассы, и ориентированы на более высокую точность. Модель использует постоянно включённое дистиллированное пошаговое рассуждение с блоком <think>, поэтому адаптивного переключателя уровня рассуждений нет. Распространяется по лицензии Apache-2.0.

Furiosa-AI Qwen3-8B-FP8 — это версия модели Qwen3-8B-FP8, подготовленная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель разработана на базе Qwen3 компании Qwen и предназначена для генерации текста, диалоговых приложений, решения задач, программирования, математического рассуждения, вызова инструментов и построения агентных систем. Доступен OpenAI-совместимый API. Модель представляет собой плотный causal transformer с grouped-query attention и примерно 8,2 млрд параметров. Она работает только с текстом на входе и выходе; в README явно указан английский язык. Qwen3-8B поддерживает гибридный режим рассуждений: по умолчанию модель может формировать рассуждение перед ответом, а для отдельных запросов рассуждения можно отключать. Также поддерживается вызов функций через parser hermes. Веса статически квантизированы в FP8 с размером блока 128, а активации динамически квантизируются в FP8 во время выполнения. К сильным сторонам относятся сочетание качества рассуждений и эффективного режима без рассуждений, поддержка инструментов и агентных сценариев, а также оптимизация для FuriosaAI RNGD. Ограничения включают зависимость от Furiosa-LLM и оборудования RNGD для описанного способа запуска, а также то, что характеристики языковой поддержки и контекстного окна в данной карточке не раскрыты. На RNGD используется tensor parallelism с размером 8 PE, соответствующий одной карте RNGD. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-8B-GGUF — версия языковой модели Qwen3-8B, подготовленная Unsloth в формате GGUF на базе Qwen/Qwen3-8B. Qwen разработана Alibaba Cloud. Модель предназначена для диалоговых приложений, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Это каузальная языковая модель с 8,2 млрд параметров, из которых 6,95 млрд приходятся не на embedding-слои. Архитектура включает 36 слоёв и Grouped-Query Attention с 32 головами для Q и 8 для KV. Поддерживаются режимы «мышления» и «без мышления», между которыми можно переключаться в запросах. Нативная длина контекста составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Заявлена поддержка более 100 языков и диалектов; в метаданных README отдельно указан английский язык. Сильными сторонами являются рассуждение, следование инструкциям, многоязычность, генерация кода и поддержка агентских задач, а также возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают отсутствие в предоставленных данных подробностей о фактической производительности, требованиях к оборудованию и поддерживаемых инструментах запуска. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-8B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений и обычным режимом генерации в рамках одной модели. Модель построена как causal language model и содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою. Архитектура включает 36 слоёв и grouped-query attention с 32 головами Q и 8 головами KV. Базовый контекст составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Qwen3 заявляет поддержку более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Квантизация выполнена в 4-битном формате с размером группы 128. По сравнению с более ранними квантизованными версиями заявлена повышенная эффективность по числу токенов в секунду благодаря параметру desc_act=False. Квантизация снижает требования к памяти и подходит для локального или серверного развёртывания, однако может приводить к потере качества по сравнению с полной точностью; конкретные показатели качества и требования к оборудованию в README не приведены. Для работы рекомендуется vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache 2.0.

Карточка модели Mahesh111000/qwen3-8b-hanabi-init30turns-thinking-step_220 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели Mahesh111000/qwen3-8b-hanabi-primerl-step109 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_115 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_145 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели Mahesh111000/qwen3-8b-hanabi-rl-base-1to1-24k-step_220 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели Mahesh111000/qwen3-8b-hanabi-tinker-s105-prime-step255 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

cyankiwi/Qwen3-Next-80B-A3B-Instruct-AWQ-4bit — 4-битная AWQ-квантизованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, опубликованная пользователем cyankiwi и разработанная в рамках семейства Qwen. Это каузальная текстовая модель для генерации текста, ответов на вопросы, программирования, следования инструкциям, агентских сценариев и работы с длинными контекстами. Модель поддерживает только instruct-режим без блоков рассуждений <think></think>. Архитектура сочетает Gated DeltaNet и Gated Attention с разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене; используется 512 экспертов, 10 активных экспертов и один общий эксперт. Модель имеет 48 слоёв, контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В README языки и мультимодальные возможности не указаны; заявлена работа с текстом. Сильные стороны — высокая эффективность по числу активируемых параметров, потенциально высокая скорость инференса, поддержка ультрадлинного контекста и конкурентные результаты в задачах знаний, рассуждений, программирования, следования инструкциям и мультиязычности. Ограничения включают необходимость совместимой версии transformers и значительные требования к вычислительным ресурсам, несмотря на 4-битную квантизацию; качество на конкретных задачах зависит от реализации инференса и квантизации. Лицензия базовой модели — Apache-2.0.

unsloth/Qwen3-Next-80B-A3B-Instruct-bnb-4bit — 4-битная версия инструкционной causal language model Qwen3-Next-80B-A3B-Instruct, опубликованная Unsloth на основе модели Qwen. Она предназначена для генерации текста по инструкциям, решения задач на знания и рассуждения, программирования, написания текстов, многоязычных сценариев и агентских задач с вызовом функций. Модель работает только в instruct-режиме и не формирует блоки <think></think>. Архитектура сочетает Hybrid Attention на основе Gated DeltaNet и Gated Attention с разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на токен; число слоёв — 48, экспертов — 512, активных экспертов — 10. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Указаны обучение на 15 трлн токенов, Multi-Token Prediction и оптимизации стабильности. 4-битное представление снижает требования к памяти по сравнению с полной версией, однако README не приводит точные требования к оборудованию и сведения о поддерживаемых языках. Сильные стороны модели — высокая параметрическая эффективность, потенциально высокая скорость инференса, работа с очень длинным контекстом и результаты, сопоставимые с более крупной Qwen3-235B-A22B-Instruct-2507 на отдельных тестах. Ограничение состоит в том, что модель предназначена только для инструкционного, нерассуждающего режима; характеристики конкретной 4-битной квантованной сборки могут отличаться от результатов исходной модели. Лицензия — Apache-2.0.