II.4Отладка, тестирование и качество ПО

Qwen3-30B-A3B-Instruct-2507-REAM — сжатая версия Qwen3-30B-A3B-Instruct-2507, представленная как модель Samsung SAIL Montréal. Она предназначена для диалогов, выполнения инструкций и генерации текста. В MoE-слоях число экспертов уменьшено со 128 до 96 методом REAM; README сообщает о 23 млрд параметров и объёме файлов 44 ГБ против 31 млрд параметров и 57 ГБ у исходной модели. Это снижает требования к хранению и памяти GPU примерно на 25%. По оценке авторов, модель сохраняет не менее 94% исходной производительности на ряде тестов, хотя результаты зависят от задачи. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 262 144 токенов, библиотеку Transformers и формат safetensors. В README приведены тесты на следование инструкциям, математические задачи, вопросы с вариантами ответа и генерацию кода. Метаданные указывают лицензию Apache-2.0. В README заявлено 23 млрд параметров, тогда как метаданные каталога указывают 2,6 млрд; размер параметров стоит сверить с файлами модели перед планированием вычислительных ресурсов.

Карточка модели rayss868123/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой heretic-org/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

QuantTrio/Qwen3.5-35B-A3B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий QuantTrio содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантизация выполнена методом data-free, без калибровочного датасета. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и анализа изображений с текстовыми запросами. Модель представляет собой causal language model с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35B параметров, из которых при обработке активируется около 3B; указаны 40 слоёв, hidden dimension 2048 и контекст до 32768 токенов в рекомендуемой конфигурации vLLM. Поддерживаются 201 язык и диалект. Доступны вызовы инструментов, reasoning-режим и speculative decoding через соответствующие возможности vLLM. Ключевые преимущества — существенно меньшие требования к памяти по сравнению с полной версией модели, эффективный MoE-инференс и поддержка текстово-визуальных задач. Ограничения включают зависимость от очень новых версий vLLM и Transformers, CUDA 12.8, специальных параметров запуска и настройки expert parallelism при распределённом инференсе; README не содержит независимых результатов бенчмарков для этой AWQ-версии. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, стремясь сохранить качество при малой разрядности. Модель распространяется в вариантах для GPU и CPU с различными компромиссами между размером, скоростью и качеством; размер доступных вариантов в приведённой таблице составляет от 9,41 до 17,9 ГБ при 2,17–4,12 бит на вес. Модель предназначена для текстовых и визуально-текстовых задач, включая диалоговое применение, программирование, агентные сценарии, function calling и обработку изображений. Она поддерживает vision-возможности при запуске через llama.cpp с автоматической загрузкой vision projector. Для работы рекомендуются llama.cpp или LM Studio; на момент публикации Ollama не поддерживает эту модель на базе Llama.cpp GGUF. В README не указаны языки и размер контекстного окна. К сильным сторонам относятся доступность нескольких уровней квантизации, оптимизация под разные аппаратные платформы и заявленная ориентация на сохранение качества при низкой разрядности. Ограничения включают зависимость характеристик от выбранного варианта квантизации и оборудования, а также отсутствие в README подробных численных результатов benchmark-тестов для конкретных файлов. Модель распространяется по лицензии Apache-2.0.

AMAImedia выпустила эту сборку в рамках платформы NOESIS; это текстовая версия NeoHorse-1-9B, объединённая из Qwen/Qwen3.5-9B и TokenRhythm/NeoHorse-1-9B. Модель использует плотную архитектуру Qwen3.5 для генерации текста и диалога, а репозиторий содержит GGUF и safetensors; метаданные указывают 7,2 млрд параметров и контекст до 262 144 токенов. Исходный NeoHorse дообучен для работы с агентными сценариями, инструментами, кодом и инструкциями, а в README для этой сборки также описана абляция отказов (abliteration). Модель ориентирована на многоязычный текстовый вывод, включая английский, русский, китайский и другие языки из метаданных. Она подходит для локального диалога, следования инструкциям, задач программирования и текстовых агентных систем с инструментами. Заявленные результаты NeoHorse относятся к исходной модели; README не приводит отдельной оценки качества именно этой сборки. Это текстовая сборка без весов зрения, а запуск примеров для перепакованного релиза на GPU не проверен. Лицензия — Apache-2.0.

Qwen3.8-27B-Brainwaves-1M-qx86-hi-mlx — экспериментальная объединённая модель, разработанная независимой AI-лабораторией NightmediaAI (Монтана, США). Она создана на основе нескольких моделей семейств Qwen3.6 и Qwen3.8, включая Wichtel-Qwen3.6-27B, Qwen3.8-27B-heretic-ara и варианты Cold Fusion и GAIN. Модель содержит около 27 миллиардов параметров и распространяется в формате MLX с квантизацией qx86-hi. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, исследовательских и математических задач, а также творческого письма, сюжетной генерации и ролевых сценариев. В метаданных указаны английский, китайский, японский и испанский языки. Заявлена поддержка контекстных окон до 1 миллиона токенов; конфигурацию RoPE можно изменить на 512 тысяч, 1 миллион или вернуть к стандартным 256 тысячам токенов. Вариант qx64-hi также предоставлен для экспериментальной работы с контекстом до 2 миллионов токенов. По приведённым тестам модель показывает лучшие результаты по ряду бенчмарков и меньшую perplexity по сравнению с базовой Qwen3.8-27B. Для конфигурации qx86-hi указаны пиковое потребление памяти около 33 ГБ и скорость около 171 токена в секунду, однако фактические показатели зависят от оборудования и настроек. Это экспериментальный merge, поэтому поведение различных квантизаций может отличаться, а заявленные сверхдлинные контексты требуют дополнительной проверки. Лицензия — Apache-2.0.

RedHatAI/Qwen3.8-27B-INT4 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная RedHatAI. Это мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration: принимает текст и изображения, генерирует текст. Заявлены поддерживаемые языки английский и китайский. Размер контекста в README не указан. Модель предназначена для диалоговых приложений, следования инструкциям, рассуждений, решения математических задач, ответов на вопросы и обработки визуально-текстовых запросов. Веса линейных операторов в блоках Transformer квантизированы до INT4, активации сохраняют исходную точность, а KV-cache использует FP8. Оптимизация снижает размер на диске и требования к памяти GPU примерно на 75% по сравнению с 16-битным представлением и подготовлена для инференса через vLLM с поддержкой выбора инструментов и мультимодального кодировщика. По результатам оценки модель сохранила большую часть качества BF16-версии на тестах IFEval, MMLU-Pro, GSM8K Platinum, MATH-500, GPQA Diamond и AIME 2025; небольшое снижение наблюдается на большинстве benchmark-ов, хотя на GSM8K Platinum результат оказался выше. Ограничения включают возможные потери качества из-за квантизации, отсутствие сведений о размере контекста и неполное описание требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

Rombo-LLM-V2.5-Qwen-32b — плотная языковая модель на 32 млрд параметров, разработанная Rombo-Org как дообученная версия Qwen2.5-32B-Instruct. README также сообщает о слиянии instruct- и base-моделей методом TIES, но метаданные классифицируют происхождение как дообучение Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалоговой генерации текста; в метаданных также заявлен интерфейс вызова инструментов. Архитектура — Qwen2ForCausalLM семейства Qwen2, формат весов — safetensors, контекст — до 32 768 токенов. Базовая модель поддерживает диалог, программирование, математику и структурированные ответы, однако README не приводит независимых оценок заявленного превосходства этой версии. Лицензия — Apache-2.0.

Snowflake Arctic Instruct — инструктивно дообученная языковая модель команды Snowflake AI Research Team на базе архитектуры Arctic. Она предназначена для диалогов, генерации текста и кода, а также для задач классификации текста. Архитектура — гибридный трансформер с разреженным MoE: в карточке описана комбинация плотной модели на 10 млрд параметров и остаточного блока MoE с 128 экспертами; для полной архитектуры указаны 480 млрд параметров и 17 млрд активных параметров с выбором двух экспертов. Метаданные репозитория указывают размер 8 млрд параметров, поэтому эта цифра расходится с описанием полной архитектуры в README. Модель принимает текст и генерирует текст или код. Родной размер контекста — 4096 токенов. Для запуска README рекомендует Transformers версии 4.39 или выше и загрузку с доверенным пользовательским кодом; для инференса предлагается сервер с восемью H100 из-за размера модели. Модель выпущена Snowflake под лицензией Apache-2.0, допускающей использование в исследованиях, прототипах и продуктах.

AFM-4.5B — инструкционная языковая модель Arcee.ai для диалогов и генерации текста. Это плотный decoder-only трансформер с архитектурой ArceeForCausalLM; в карточке указано 4,5 млрд параметров, а в метаданных — 6 млрд. Модель дообучена на основе arcee-ai/AFM-4.5B-Base с supervised fine-tuning и последующим обучением с подкреплением по проверяемым результатам и предпочтениям людей. Модель предназначена для генерации ответов и выполнения инструкций в различных средах развёртывания — от облака до периферийных устройств. Обучение включало данные для математических рассуждений и генерации кода. Среди архитектурных особенностей — grouped-query attention и активации ReLU²; поддерживаются диалоговый режим и контекст до 65 536 токенов. Указаны языки: английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский. Модель распространяется под лицензией Apache 2.0. Карточка приводит оговорку о вариативности результатов на бенчмарках и рекомендуемые параметры генерации, но не описывает подробно конкретные слабые стороны модели.

airoboros-l2-c70b-3.1.2 — экспериментальная диалоговая модель jondurbin на архитектуре Llama 2, дообученная на Llama 2 70B Chat с использованием преимущественно синтетических данных набора airoboros-3.1. Модель содержит 68,7 млрд параметров, работает с текстом и рассчитана на контекст до 4096 токенов; для диалога использует шаблон Llama 2 Chat. Модель предназначена для выполнения инструкций и широкого круга текстовых задач: ответов по предоставленному контексту, суммаризации, извлечения информации из логов, обезличивания текста, программирования и генерации структурированных аргументов для функций. В README отмечено, что акцент сделан на следовании инструкциям, а не на непринуждённом общении и ролевой игре. Для MathJSON автор рекомендует низкую температуру генерации. Автор характеризует модель как экспериментальную и сообщает о тестовом дообучении поверх чат-версии Llama 2. Возможны ошибки и выдуманные ответы; для вопросов по контексту рекомендуется явно просить не придумывать ответ при нехватке сведений. Модель распространяется под лицензией Llama 2.

Bonsai-27B-gguf — компактная 1-битная версия языковой модели класса 27B, разработанная Prism ML на базе Qwen3.6-27B. Модель предназначена для генерации текста, диалогов, рассуждений, решения математических задач, программирования и агентских сценариев с локальным запуском через llama.cpp на CPU, CUDA или Metal. Также предусмотрена мультимодальная обработка изображений через отдельную vision tower, однако основной режим — текстовый. Модель использует гибридную архитектуру с примерно 75% linear attention и 25% full attention, SwiGLU, RoPE и RMSNorm. Она содержит около 27,3 млрд бинарных языковых весов и vision tower примерно на 0,46 млрд параметров. Контекстное окно составляет до 262 тысяч токенов; KV-кэш квантизован до 4 бит. Формат GGUF Q1_0_g128 использует веса со значениями −1 и +1 и групповым масштабированием FP16, обеспечивая эффективные 1,125 бита на вес и размер около 3,9 ГБ вместо примерно 54 ГБ у FP16. В комплект входит слой DSpark для speculative decoding, заявлено ускорение декодирования до 1,37 раза на CUDA. Сильные стороны модели — очень малый размер, возможность запуска 27B-класса на обычных ноутбуках и одиночных GPU, сохранение рассуждений и агентского поведения при экстремальном сжатии, а также длинный контекст. Ограничения связаны с агрессивной 1-битной квантизацией: заявленное качество составляет около 90% от FP16, а результаты зависят от аппаратной платформы и поддержки специализированных ядер. Для обработки изображений требуется дополнительный пакет mmproj объёмом около 0,63 ГБ. Модель распространяется по лицензии Apache 2.0.

MoonRide/gemma-4-31B-it-heretic-ara-GGUF — GGUF-версия инструкционной модели MoonRide/gemma-4-31B-it-heretic-ara, созданной на базе Google Gemma 4 31B IT. Модель модифицирована с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm; заявленная цель модификации — уменьшить склонность исходной модели к отказам. Семейство Gemma разработано Google DeepMind. Модель относится к плотной архитектуре с примерно 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения и генерирует текст; для семейства Gemma 4 заявлена поддержка более 140 языков. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также оптимизации для длинного контекста. Файлы представлены в различных вариантах GGUF-квантизации; рекомендуемые README варианты занимают около 12,1 и 12,6 ГБ. Основная сильная сторона модели — сочетание крупного контекста, мультимодального понимания, возможностей генерации текста, рассуждений и программирования с существенно меньшим числом отказов по сравнению с исходной Gemma 4 31B IT: в приведённом сравнении отказов было 11 из 100 против 99 из 100. При этом декенсоринг может изменить поведение и защитные свойства исходной модели; указанная оценка основана на ограниченном внутреннем тесте, а KL divergence относительно оригинала составляет 0,0508. Для загрузки README рекомендует llama.cpp версии b8751 или новее. Модель распространяется по лицензии Apache 2.0. Перед использованием необходимо учитывать, что снижение числа отказов не означает гарантии корректности, безопасности или точности ответов, а качество и потребление памяти зависят от выбранной GGUF-квантизации и аппаратной конфигурации.

ArchiveStudio/gemma-4-E4B-it-assistant — ассистент на базе Gemma 4 E4B от Google DeepMind. Карточка описывает его как черновую модель Multi-Token Prediction (MTP): в спекулятивном декодировании она предлагает несколько следующих токенов, которые основная модель проверяет параллельно, ускоряя генерацию без изменения её качества. Модель предназначена для низколатентного диалогового и локального использования. Семейство Gemma 4 поддерживает текст и изображения, а модели E2B и E4B также работают с аудио; семейство умеет генерировать текст и, по карточке, обрабатывать видеокадры. Указаны задачи рассуждения, программирования, распознавания речи, перевода речи в текст, OCR и разбора документов. Для E4B заявлено контекстное окно 128K токенов; семейство поддерживает более 140 языков при предобучении и более 35 языков в штатном режиме. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Карточка описывает возможности всего семейства Gemma 4, поэтому отдельные функции, включая видео, нельзя уверенно приписать именно этому чекпойнту. Точный размер этой модели и список поддерживаемых языков отдельно не приведены. Механизм MTP требует совместимого целевого чекпойнта и конвейера спекулятивного декодирования.

GLM-5.3-Flash-Alis-MLX-4bit — это 4-битная сборка модели GLM-5.3-Flash, разработанной Zhipu AI (zai-org), адаптированная для выполнения через MLX на устройствах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии программирования, работы с прозой, анализа табличных данных и решения математических задач. Базовая модель имеет архитектуру glm5_next: 320B параметров, из которых 18B активируются на токен (320B-A18B), mixture-of-experts с 288 экспертами, 34 слоями линейного внимания и 11 слоями DSA, а также механизмом mHC. Данная версия получена потоковой деквантизацией официального релиза FP8 и сохраняет маршрутизатор MoE и correction bias в формате FP32. В README также указана поддержка спекулятивного декодирования и двухузлового tensor parallelism, однако часть этих режимов относится к отдельным сборкам или экспериментальной инфраструктуре, а не непосредственно к опубликованному checkpoint. К сильным сторонам относятся существенно сниженный объём хранения по сравнению с полной моделью, оптимизация под MLX и высока скорость генерации на мощных системах Apple Silicon; для конфигурации M3 Ultra 512GB заявлялась скорость около 29 токенов в секунду при обычном декодировании. Ограничениями являются очень высокие требования к памяти, зависимость производительности от аппаратной конфигурации и MLX-окружения, а также экспериментальный статус некоторых режимов параллельного и спекулятивного декодирования. Модель распространяется по лицензии MIT.

HauhauCS-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модифицированная версия Qwen3.6-35B-A3B, разработанная HauhauCS. Модель предназначена для диалогов, генерации текста, рассуждений, программирования и мультимодальных сценариев с обработкой текста, изображений и видео. Ключевая особенность Aggressive-варианта — удаление отказов при сохранении заявленных возможностей исходной модели; по данным README, модель не отказывает в ответах, хотя иногда может добавлять короткие дисклеймеры. Модель использует гибридную MoE-архитектуру: 35 млрд общих параметров, около 3 млрд активных параметров на один проход, 256 экспертов и 8 маршрутизируемых экспертов на токен. Архитектура включает линейное и полное softmax-внимание в соотношении 3:1, 40 слоёв и нативный контекст до 262 тысяч токенов. Заявлена поддержка английского, китайского и других многоязычных сценариев. Доступны GGUF-квантизации Q2–Q8, включая пользовательские K_P-варианты, оптимизированные с помощью importance matrix; размер файлов составляет примерно от 11 до 44 ГБ. Для работы с изображениями требуется отдельный файл mmproj. Сильными сторонами являются большой контекст, низкое число активных параметров для MoE-модели, мультимодальность, широкий выбор квантизаций и отсутствие встроенных отказов. Ограничения включают высокие требования к памяти, возможное появление дисклеймеров, зависимость качества от выбранной квантизации и необходимость корректной настройки runtime; для llama.cpp рекомендуется использовать флаг --jinja и не менее 128 тысяч токенов контекста для сохранения возможностей рассуждения. Модель распространяется по лицензии Apache-2.0.

HermesNova — языковая модель на архитектуре Llama 3.1, созданная линейным слиянием Hermes-3-Llama-3.1-8B от Nous Research и Llama-3.1-SuperNova-Lite от Arcee AI с помощью mergekit. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста в диалоговом формате, включая вызов инструментов. Модель подходит для ведения диалогов, ответов на инструкции, рассуждений и генерации кода. Заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors; лицензия — llama3.1.

Hunyuan-1.8B-Instruct — компактная инструктивная языковая модель Tencent из семейства Hunyuan. Это плотная авторегрессионная модель на 1,8 млрд параметров для генерации текста и диалогового взаимодействия; она поддерживает вызов инструментов через соответствующий интерфейс. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений, задач по математике и программированию, а также агентных сценариев. Поддерживаются быстрый и медленный режимы рассуждения и контекст до 256K токенов. В карточке приведены результаты тестирования разных вариантов семейства, но отдельные цифры для модели 1.8B не следует считать гарантией качества в реальных задачах. Модель разработана Tencent и опубликована 30 июля 2025 года. Для запуска описана поддержка Transformers, TensorRT-LLM, vLLM и SGLang. Сведения о лицензии в предоставленных данных отсутствуют.

活字3.5（Huozi 3.5）是哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）开发的稀疏混合专家语言模型，用于中文和英文对话、指令遵循及通用文本生成。模型基于 Chinese-Mixtral-8x7B 和活字3.0训练，并经过指令微调与模型融合；每个专家层含8个前馈网络，每次计算稀疏激活其中2个。README称模型共有46.7B параметров、推理时激тивируется около 13B; метаданные указывают 7.2B параметров. Поддерживается контекст до 32 768 токенов. Модель заявлена для работы с китайскими и английскими знаниями, математическими рассуждениями, генерацией кода, многоходовым диалогом и безопасными ответами. Доступны веса в формате safetensors, а для инференса описаны Transformers, vLLM, ModelScope, OpenAI API и преобразование в GGUF. Лицензия репозитория — Apache 2.0; для коммерческого использования авторы просят связаться с правообладателем и получить письменное разрешение. Модель может выдавать фактические ошибки, предвзятый или вредоносный контент, поэтому ответы требуют проверки. Заявления о возможностях и оценках приведены авторами; качество зависит от сценария и настройки генерации.

InternLM-20B 是上海人工智能实验室联合商汤科技、香港中文大学和复旦大学发布的 плотная авторегрессионная языковая модель с архитектурой InternLM. В карточке указано, что модель содержит 19,6 млрд параметров, имеет 60 слоёв и предварительно обучена на более чем 2,3 трлн токенов английского, китайского и программного кода. Её основное назначение — генерация текста; модель также ориентирована на понимание, рассуждения, математику, программирование и вызов инструментов. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 4096 токенов; README сообщает о возможности расширения до 16 тыс. токенов с помощью экстраполяции при инференсе. В карточке описана базовая предварительно обученная версия; SFT и RLHF относятся к отдельной Chat-версии. README сообщает о сравнительных результатах на языковых и экзаменационных тестах, но они не гарантируют качество для конкретного применения. Лицензия репозитория — Apache-2.0; в README отдельно сказано, что для коммерческого использования весов требуется запросить разрешение. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст.

Mistral-Large-218B-Instruct — плотная языковая модель на 217,7 млрд параметров из семейства Mistral, созданная автором репозитория путём слияния исходной Mistral Large 2. Модель предназначена для генерации текста и диалоговых сценариев. Она поддерживает несколько естественных языков, а также обучена на более чем 80 языках программирования; заявленное контекстное окно — 128 тыс. токенов. Для запуска нужны значительные вычислительные ресурсы: в карточке рекомендованы восемь ускорителей H100 с суммарно 640 ГБ памяти либо распределённый запуск на нескольких машинах. Лицензия Mistral Research License разрешает использование и модификацию для исследований и некоммерческих целей. Автор описывает модель как экспериментальную тестовую сборку; встроенных механизмов модерации нет, ответы могут отражать предвзятость обучающих данных и требуют проверки в чувствительных сценариях.

Nemotron-3-Nano-30B-A3B-GGUF — это квантизированная GGUF-версия языковой модели NVIDIA Nemotron-3-Nano-30B-A3B, подготовленная пользователем bartowski на базе NVIDIA. Квантизация выполнена с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на задачи общего назначения, включая работу с текстом, кодом, математикой, научными данными, следование инструкциям и агентские сценарии. В метаданных указаны поддерживаемые языки: английский, испанский, французский, немецкий, японский и итальянский. Архитектурные подробности и размер контекста в README не указаны; из названия известно обозначение 30B A3B. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Рекомендуемыми названы варианты Q6 и Q4. Сильная сторона модели — широкий выбор квантизаций и возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полными BF16-весами. При этом более сильная квантизация может снижать качество генерации, а низкокачественные варианты предназначены прежде всего для систем с ограниченным объёмом RAM. Лицензия указана как NVIDIA Open Model License; точные условия следует уточнять в тексте лицензии NVIDIA.

Qwen/Qwen1.5-32B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer, предназначенная для диалогов и генерации текста. В этой версии 31,7 млрд параметров; контекст — до 32 768 токенов. Модель обучена на больших массивах данных и адаптирована для общения. Семейство поддерживает несколько естественных языков, а токенизатор рассчитан на работу с разными языками и кодом; в карточке модели отдельно отмечен английский. Для варианта 32B применяются Group Query Attention, а также SwiGLU и смещение в проекциях QKV. Модель работает через Transformers и формат safetensors; для загрузки README рекомендует transformers версии 4.37.0 или новее. Модель подходит для чат-ботов, ответов на вопросы и свободной генерации текста. При переключении между языками или нестабильном качестве генерации README советует использовать параметры из generation_config.json. Лицензия в метаданных указана как other, поэтому конкретные условия использования следует сверить с файлами репозитория.

QuantFactory/Qwen2.5-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели Qwen от Alibaba Cloud. Это каузальная текстовая модель для диалогов, генерации текста, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она также улучшена для задач программирования и математики. Модель содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, и включает 28 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV внимания, связанные эмбеддинги слов и GQA с 12 головами для Q и 2 для KV. Поддерживаются контексты до 32 768 токенов и генерация до 8192 токенов. Модель многоязычная и поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Квантизация в формате GGUF может снизить требования к ресурсам и упростить локальный запуск, однако README не содержит сведений о конкретном типе квантизации, размере файлов, точности или производительности. Модель предназначена для текстовых сценариев и не заявляет поддержку изображений или других модальностей. Распространяется по лицензии Apache-2.0.

Qwen2.5-1.5B-Instruct-GGUF — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это вариант базовой модели Qwen2.5-1.5B-Instruct в формате GGUF для локального запуска, в том числе с использованием llama.cpp. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также генерации структурированных ответов, включая JSON. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд приходятся на параметры без учёта эмбеддингов, имеет 28 слоёв и GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Указана поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся небольшой размер, возможность локального запуска, улучшенные следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также устойчивость к различным системным промптам. Ограничения связаны с компактным масштабом в 1,5 млрд параметров и потерями точности, возможными при квантовании; конкретные показатели производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.5-122B-A10B-AWQ — квантизированная AWQ-версия модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий QuantTrio использует data-free quantization, то есть квантизацию без калибровочного набора данных. Модель предназначена для мультимодальных сценариев image-text-to-text, включая понимание изображений и текста, рассуждения, программирование и агентские задачи. Это causal language model со зрительным энкодером и гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Всего модель содержит 122B параметров, из которых при генерации активируются 10B; предусмотрены 48 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активируемый эксперт. Заявлена поддержка 201 языка и диалекта. В примере запуска через vLLM указан максимальный контекст 32768 токенов, а также поддержка tool calling, reasoning и speculative decoding. К сильным сторонам относятся мультимодальность, высокая параметрическая ёмкость при меньшем числе активируемых параметров и оптимизация для эффективного инференса через AWQ и Mixture-of-Experts. Ограничения включают значительные требования к GPU-памяти: размер файлов модели составляет около 77 GiB; для рекомендуемой конфигурации требуется vLLM с экспериментальными версиями зависимостей, CUDA 12.8 и настройка expert parallelism. Модель распространяется по лицензии Apache-2.0.

RobinsonLabs Qwen3.5-122B-A10B-REAP-30-abliterated-GGUF — набор квантованных GGUF-версий языковой модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-88B. Исходная модель представляет собой примерно 30%-ную экспертную pruning-версию Qwen/Qwen3.5-122B-A10B, уменьшенную с 122B до примерно 88B параметров при сохранении архитектуры qwen35moe и бюджета из 10B активных экспертов. Модель поддерживает стандартное предсказание одного токена, без Multi-Token Prediction; конфигурация содержит 48 слоёв и 879 тензоров. Данные о поддерживаемых языках и размере контекстного окна в карточке не указаны. Модель предназначена для генерации текста, рассуждений, программирования, математических и фактических задач, а также следования инструкциям. Abliteration уменьшает склонность к отказам в ответах на запросы, связанные со взрослым и творческим содержанием, при этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальному неправомерному поведению. В опубликованных проверках модель получила 5/5 на тесте способностей, 2 отказа из 25 на общем тесте отказов и 10/10 на ограниченном наборе проверок детской безопасности, однако эти результаты не гарантируют сохранность защитных механизмов во всех сценариях. Распространение выполняется в формате GGUF с importance-matrix-квантизацией и вариантами Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3_K_M, IQ3_M, IQ3_XS, IQ2_M и IQ2_XS. Качество, требования к памяти и скорость зависят от выбранного варианта квантизации. Модель лицензирована по Apache-2.0; использование должно быть ответственным, поскольку она помечена как предназначенная не для всех аудиторий.

Qwen3.5-9B-AWQ — это квантованная в формате AWQ версия модели Qwen/Qwen3.5-9B, опубликованная пользователем nicklas373. Конвертация выполнена с помощью llm-compressor версии 0.10.0.1 с использованием наборов данных Salesforce/wikitext и lmms-lab/COCO-Caption2017. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и задач понимания изображений в рамках мультимодальной архитектуры. Базовая модель представляет собой causal language model с vision encoder, однако приведённая конфигурация запуска через vLLM ориентирована на текстовый режим и включает специализированные chat template, reasoning parser и tool-call parser. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated DeltaNet, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии AWQ — снижение требований к памяти и потенциально более эффективный инференс при сохранении возможностей базовой модели. Ограничения включают зависимость от совместимого стека инференса и необходимость специальной настройки vLLM; фактическая работоспособность мультимодального режима для данной конвертации в README описана неоднозначно. Лицензия в предоставленных данных не указана. Для запуска рекомендуется vLLM с quantization compressed-tensors, tokenizer базовой модели Qwen/Qwen3.5-9B и параметрами, приведёнными в README.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored. Квантизацию выполнил mradermacher. Модель предназначена для генерации и обработки текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и исследовательских экспериментов. В метаданных заявлена поддержка английского, китайского, японского и испанского языков, а также conversational, instruction-tuned и multilingual-сценариев. Доступны варианты с разными уровнями квантизации — от Q2_K размером 13,3 ГБ до Q8_0 размером 37,9 ГБ, включая IQ4_XS, Q4_K_M и другие форматы. Для мультимодального использования предоставляются дополнительные файлы mmproj. Более качественные варианты требуют больше памяти, тогда как компактные быстрее и экономичнее, но могут сильнее терять качество; конкретные характеристики архитектуры, максимального контекста и производительности в README не указаны. Лицензия — Apache-2.0.

MKRWW/Qwen3.8-27B-int4-AutoRound — производная квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для локального запуска и сервинга через vLLM на потребительских GPU, включая обработку текста, изображений и аудио, задачи рассуждения, программирования, математики, вызова инструментов и описания изображений. Архитектура определяется базовой моделью Qwen3.8-27B и представлена в Transformers как Qwen3_5ForConditionalGeneration; заявлена поддержка мультимодальных сценариев и контекста до 262 144 токенов. В модели применена весовая квантизация INT4 методом Intel AutoRound с group_size 128 и форматом auto_round:auto_gptq. Квантизованы 64 блока языкового декодера, тогда как vision- и audio-компоненты, эмбеддинги, lm_head и отдельные малые проекции сохранены в FP16. Размер весов составляет около 17,45–17,5 ГБ, благодаря чему модель запускается на одной видеокарте с 24 ГБ памяти; для полного контекста 262K рекомендуется конфигурация из двух таких карт. Для CPU и небольшого объёма VRAM этот репозиторий не предназначен. Сильные стороны — заметно сниженное потребление памяти, сохранение мультимодальных возможностей и совместимость с vLLM, включая reasoning и tool calling. Модель по умолчанию использует рассуждение, поэтому при малом лимите вывода ответ может быть обрезан; видимое отдельное поле reasoning_content также требует дополнительной настройки. Приведённые в README результаты являются внутренним сравнением, а не формальным независимым бенчмарком. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.