II.4Отладка, тестирование и качество ПО

Qwopus3.6-35B-A3B-v1-MTP-GGUF — модель Jackrong, основанная на unsloth/Qwen3.6-35B-A3B. Это мультимодальная модель в формате GGUF для генерации текста и обработки связок «изображение—текст», ориентированная на диалоговые сценарии, рассуждения, работу с инструментами и вызов функций. В метаданных указана поддержка английского, китайского, испанского, русского и японского языков. Релиз сохраняет MTP-компоненты исходной архитектуры Qwen3.6. Multi-Token Prediction позволяет одновременно предсказывать несколько последующих токенов и использовать speculative decoding: черновая модель предлагает последовательность токенов, а целевая модель проверяет её параллельно. Это может повысить скорость инференса при совместимости используемого движка с MTP, включая llama.cpp и производные решения. Доступны варианты с разными уровнями квантования — от Q2_K до Q8_0, а также BF16. Для оптимальной производительности требуется соответствующая draft-модель, поддерживающая спекулятивное декодирование; без такой связки преимущество MTP может быть недоступно. Точный размер контекста, подробности архитектуры, результаты оценки качества и ограничения мультимодальных возможностей в README не указаны. Модель распространяется по лицензии Apache 2.0.

ZEUS 8B V17 — объединённая языковая модель, созданная автором карточки с помощью mergekit методом DARE TIES на основе unsloth/Meta-Llama-3.1-8B-Instruct и ещё четырёх моделей Llama 3.1. Это плотная архитектура Llama с примерно 7,5 млрд параметров, предназначенная для диалогов и генерации текста; поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель подходит для диалоговых ассистентов, генерации и продолжения текста, а также задач, где полезно обрабатывать длинный контекст. В карточке приведены результаты оценивания, включая 79,41% на IFEval (0-shot) и 32,34% на BBH (3-shot). Лицензия в предоставленных данных не указана.

T145/ZEUS-8B-V18 — языковая модель семейства Llama 3.1, созданная с помощью mergekit методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединение также вошли VAGOsolutions/Llama-3.1-SauerkrautLM-8b-Instruct, arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и рассчитана на генерацию текста и диалоги. Нативный контекст составляет до 131 072 токенов; указаны интерфейс вызова инструментов и формат весов safetensors. В README приведены результаты оценивания, включая 78,34% на IFEval и 32,53% на BBH. Карточка не сообщает явно о поддерживаемых естественных языках и лицензии, поэтому область применения и условия использования следует сверить с карточками базовых моделей и репозитория. Оценки из README относятся к указанным тестам и сами по себе не гарантируют качество в конкретных сценариях.

Carnice-V3-27b-Pollard — это квантизированная версия модели Carnice-V3, разработанной kai-os и подготовленной PollardWeights с использованием метода Pollard Weights. Модель предназначена для диалоговых и универсальных задач генерации текста, а также поддерживает мультимодальные сценарии с изображениями при подключении отдельного визуального проектора. Она распространяется в формате GGUF и совместима с llama.cpp, ik_llama.cpp, Ollama, LM Studio и другими совместимыми приложениями. Модель содержит около 27,4 млрд параметров и использует архитектуру qwen3_5. В карточке указана поддержка английского языка; базовая модель заявлена как текстовая, а обработка изображений доступна через проектор mmproj-Carnice-V3-BF16.gguf, который необходимо загрузить отдельно. Основной вариант PollardMix IQ3_S занимает 12,08 ГБ вместо примерно 54,72 ГБ в формате f16; также доступны варианты IQ4_XS и Q6_K с большим размером и потенциально более высокой точностью. Распределение битов выполняется по чувствительности отдельных слоёв, а не равномерно. Для IQ3_S указаны perplexity 7,88 и производительность около 6,9 токена в секунду, однако скорость зависит от оборудования. Сильной стороной модели является существенное снижение требований к памяти при сохранении единого набора весов и совместимости со стандартной экосистемой GGUF. Ограничения включают потерю точности из-за квантизации, зависимость производительности от оборудования и необходимость ik_llama.cpp для некоторых вариантов Trellis; для мультимодального режима требуется отдельный BF16-проектор. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Lambent/Eidolon-v2-14B — чат-модель на архитектуре Qwen2 с 14 млрд параметров и контекстом до 131 072 токенов. Автор указывает, что модель дообучена на основе Lambent/proto-nova-eidolon-v2alpha0.3-14B, а та настроена от arcee-ai/SuperNova-Medius; также применялись DPO, дополнительное обучение на инструкционных данных и продолженное предобучение. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста в диалоге и выполнения инструкций; заявлен интерфейс вызова инструментов. По словам автора, исправлена синтаксическая проблема предшественника, но оценка EQ-Bench примерно на один балл ниже, что может указывать на небольшое снижение качества рассуждений. В карточке указана лицензия CC BY-NC 4.0, поэтому применение ограничено некоммерческими сценариями. Тег «Not For All Audiences» связан автором с обучающими данными; автор также отмечает заметную цензуру.

FranQwenStein-35B — языковая модель на архитектуре Qwen2, собранная Nisten методом evo-merge из Qwen2.5-32B-Instruct, Qwen2.5-32B-AGI и Qwen2.5-32B-Base. Она предназначена для диалогов и генерации текста с выполнением системных инструкций; в карточке также приведены результаты оценок на нескольких бенчмарках. Модель содержит 33,9 млрд параметров и поддерживает контекст до 131 072 токенов. По README, слияние сохраняет защитные ограничения Qwen и усиливает следование системному промпту; автор сообщает о результате примерно на 1% выше Qwen2.5-72B-Instruct на GPQA Diamond Zero-Shot. Эти оценки приведены автором и не гарантируют аналогичного качества в других сценариях. Репозиторий распространяется в формате safetensors по лицензии MIT.

gemma-4-12B-it-GGUF — это GGUF-сборка мультимодальной модели Google DeepMind gemma-4-12B-it, опубликованная prithivMLmods. Модель предназначена для генерации и понимания текста, анализа изображений, видео и аудио, категоризации контента, сжатия контекста и локальных AI-приложений без зависимости от API. Она также ориентирована на агентские сценарии и многошаговое рассуждение. Модель имеет 12 млрд параметров и унифицированную encoder-free архитектуру: текстовые, визуальные и аудиоданные поступают непосредственно в основу LLM без отдельных vision- и audio-энкодеров. Заявлены сниженные задержка и потребление памяти, поддержка Multi-Token Prediction для ускорения вывода и работа на устройствах примерно с 16 ГБ памяти. В README указан английский язык и мультимодальный режим image-text-to-text; размер контекста не указан. Доступны варианты GGUF от Q2_K до Q8_0, а также BF16 и F16, с размерами основных файлов от 4,83 до 23,8 ГБ. Сильными сторонами являются мультимодальность с нативной поддержкой аудио, возможность локального запуска и широкий выбор уровней квантования. Ограничения README не описывает; в частности, отсутствуют подробности о фактической производительности, поддерживаемых языках кроме английского, максимальном контексте и требованиях к конкретному оборудованию. Модель распространяется по лицензии Apache 2.0.

MuXodious выпустил статические квантизованные GGUF-сборки Gemma 4 26B A4B Instruct, дообученной с помощью Heretic 1.2.0 и Arbitrary-Rank Ablation. Это диалоговая мультимодальная модель семейства Gemma 4 с архитектурой Mixture-of-Experts; в этой версии доступны текстовый и визуальный ввод и текстовый вывод. В репозитории есть GGUF и GGUF BF16. Шаблон чата обновлён с исправленной версией от Google. Модель предназначена для диалога, рассуждений и анализа изображений, включая извлечение информации из документов, OCR, понимание диаграмм и интерфейсов. README семейства Gemma 4 также описывает генерацию и редактирование кода, суммаризацию, поддержку длинного контекста до 256K токенов и мультиязычность; эти свойства приведены для семейства и отдельно не подтверждены для данной сборки. Ablation заметно уменьшила отказы: в приведённой проверке их стало 3 из 104 против исходных 103 из 104. Модель распространяется под лицензией Apache 2.0. Из-за ablation-процедуры она может отказывать реже, поэтому ответы на потенциально рискованные запросы требуют проверки; результаты теста отказов не гарантируют поведение в других сценариях. Для запуска GGUF требуется совместимый движок и корректный шаблон чата.

Карточка модели unsloth/GLM-4-9B-0414 на Hugging Face совпадает с карточкой zai-org/GLM-4-9B-0414, поэтому описание составлено по ней. GLM-4-9B-0414 — текстовая генеративная модель семейства GLM-4 от Z.ai. По метаданным это плотная архитектура GLM-4 с 8,8 млрд параметров, рассчитанная на контекст до 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. Модель поддерживает диалог и интерфейс вызова инструментов. Она предназначена для генерации текста в диалоге и решения общих задач с инструкциями. В README описан вариант GLM-Z1-9B-0414 с усиленными рассуждениями, особенно в математике, однако карточка относится к GLM-4-9B-0414, поэтому эти свойства нельзя уверенно приписать ей. Метаданные указывают китайский и английский языки. Лицензия — MIT.

google_gemma-3-27b-it-qat-GGUF — это GGUF-квантизация instruction-tuned модели Gemma 3 с 27 млрд параметров, разработанной Google. Квантизацию выполнил bartowski на основе QAT-весов Google с использованием llama.cpp и метода imatrix. В карточке модель обозначена как image-text-to-text, поэтому она предназначена для генерации текста по текстовым и, вероятно, визуально-текстовым входным данным. Основной файл Q4_0 имеет размер около 15,62 ГБ и рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантования — от BF16 и Q8_0 до Q3 и IQ-форматов, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Для Q4_0 заявлены улучшения благодаря QAT и поддержка онлайн-репаковки для ARM- и AVX-совместимых CPU. Языки, размер контекста и точные архитектурные характеристики в README не указаны. Модель подходит для локального запуска, диалоговых приложений и мультимодальных сценариев, поддерживаемых Gemma 3 и используемым рантаймом. Более высокие варианты квантования обеспечивают лучшее качество, но требуют больше памяти; низкие варианты экономичнее, однако могут заметно уступать по качеству. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.

gradientai-Llama-3-8B-Instruct-262k-GGUF — набор квантованных файлов модели gradientai/Llama-3-8B-Instruct-262k, подготовленный организацией Featherless AI Quants. Модель относится к классу text-generation и предназначена для генерации текста и выполнения инструкций в сценариях локального или совместимого с GGUF инференса. Известно, что это 8-миллиардная instruct-модель семейства Llama 3 с заявленным контекстом до 262 тысяч токенов. README не указывает поддерживаемые языки, точную архитектуру, мультимодальные возможности, результаты оценки или специальные сценарии применения. Доступны варианты квантования Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер составляет примерно от 3,0 до 8,1 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Сильными сторонами модели являются большой заявленный контекст и широкий выбор GGUF-квантований, подходящих для разных аппаратных конфигураций. Ограничения README не раскрывает: отсутствуют сведения о качестве, скорости, требованиях к оборудованию, языковом покрытии и поведении на конкретных задачах. Лицензия в предоставленных данных не указана.

Hermes-Mistral-Saul-Slerp — объединённая модель генерации текста, созданная с помощью mergekit из Equall/Saul-Instruct-v1 и NousResearch/Nous-Hermes-2-Mistral-7B-DPO. Она основана на архитектуре Mistral, содержит 7,1 млрд параметров и предназначена для диалогов и генерации ответов по текстовым инструкциям; поддерживает контекст длиной до 32 768 токенов. Модель объединяет навыки двух исходных чекпойнтов методом slerp. Подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста на основе инструкций. Репозиторий содержит веса в формате safetensors. Лицензия Apache-2.0.

RedHatAI/Inkling-FP8-dynamic — мультимодальная модель, разработанная RedHatAI на основе thinkingmachines/Inkling. Она предназначена для генерации текста по текстовым, графическим и аудиовходам, включая диалоговые сценарии, анализ изображений и аудио, а также универсальные задачи рассуждения и обработки мультимодального контента. Модель использует архитектуру InklingForConditionalGeneration и Mixture-of-Experts с 975 млрд общих параметров, из которых 41 млрд активируются для отдельного запроса. Веса и активации языкового блока квантизированы в FP8: веса используют статическое поканальное масштабирование, а активации — динамическое масштабирование на уровне токенов. Энкодеры изображений и аудио, эмбеддинги, нормализация, смещения, маршрутизация MoE и отдельные слои сохранены в исходной точности. Квантизация примерно вдвое уменьшает размер модели на диске и требования к памяти по сравнению с 16-битным представлением. В конфигурации развертывания заявлена поддержка контекста до 131 072 токенов и до четырёх изображений и одного аудиофайла на запрос. К сильным сторонам относятся поддержка нескольких модальностей, высокая общая ёмкость MoE-модели, снижение требований к GPU-памяти благодаря FP8 и готовность к инференсу через vLLM. Ограничения включают значительный абсолютный размер модели, необходимость совместимой версии vLLM с поддержкой FP8 для Inkling и отсутствие в README сведений о языках, результатах бенчмарков и качестве после квантизации. Модель распространяется по лицензии Apache-2.0.

JOSIE-1.1-4B-Thinking — плотная языковая модель с 3,7 млрд параметров, разработанная Gökdeniz Gülmez на основе Qwen3-4B-Thinking-2507. Это полновесное дообучение для многошаговых рассуждений, математики, научно-технических задач и творческого письма. Модель поддерживает чат и генерацию текста; в карточке указана работа с 13 языками, включая русский, английский, испанский, французский, немецкий, китайский и японский. Метаданные указывают контекст до 262 144 токенов, а README — до 65 536 токенов, поэтому заявленная длина контекста расходится между источниками. Модель предназначена для решения логических задач, математических вычислений, технического анализа и работы с длинными документами. В описании заявлены последовательные рассуждения и прямой стиль ответов без излишней угодливости. Лицензия — MIT. Модель не имеет встроенной фильтрации контента и может выдавать неподходящие ответы. Результаты в узкоспециализированных областях могут быть нестабильны; критически важные ответы следует проверять. README также предупреждает, что для вывода требуется достаточно мощное оборудование.

Карточка модели mylesgoose/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой tanliboy/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. tanliboy/Meta-Llama-3.1-8B-Instruct — текстовая инструктивно настроенная языковая модель семейства Llama 3.1, разработанного Meta. Это плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; модель дообучена для диалогов с помощью SFT и RLHF. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и ориентирована на многоязычный диалог на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель подходит для создания разговорных помощников, ответов на запросы и генерации текста, а также может быть подключена к внешним инструментам через соответствующий интерфейс. Репозиторий содержит веса в формате safetensors. Модель выпущена 6 сентября 2024 года и распространяется по лицензии Llama 3.1 Community License; перед коммерческим или иным применением необходимо соблюдать её условия и Acceptable Use Policy. Качество и безопасность ответов на языках вне восьми заявленных языков могут быть ниже; разработчикам следует оценивать результаты и применять защитные меры в соответствии со своим сценарием. Интеграция внешних инструментов требует отдельной политики и проверки безопасности подключённых сервисов.

richardyoung/Llama-3.2-3B-Instruct-heretic — текстовая разговорная модель на базе Llama 3.2 3B от Meta, опубликованная пользователем richardyoung. Это авторегрессионный трансформер с 3,2 млрд параметров, рассчитанный на генерацию ответов в диалоге и другие задачи генерации текста. В карточке указаны контекст до 131 072 токенов и поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модификация обозначена как heretic, uncensored, decensored и abliterated; конкретный способ изменения модели в предоставленных данных не описан. Модель может применяться для чат-ассистентов, суммаризации, поиска по знаниям и переформулирования запросов. Она принимает текст и выдаёт текст. README указывает лицензию Llama 3.2 Community License — специальное соглашение с условиями использования, включая Acceptable Use Policy. Как и другие компактные языковые модели, она может уступать более крупным моделям в качестве и требует проверки безопасности при внедрении.

Это конвертированная в формат MLX версия Llama 3.3 70B Instruct от Meta, опубликованная сообществом mlx-community. Модель с плотной архитектурой LlamaForCausalLM содержит 69,5 млрд параметров и предназначена для генерации текста и диалоговых сценариев; также поддерживает интерфейс вызова инструментов. Веса представлены в формате safetensors с точностью fp16, а нативный контекст составляет до 131 072 токенов. Модель поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Для использования требуется MLX; README указывает конвертацию из meta-llama/Llama-3.3-70B-Instruct с помощью mlx-lm 0.22.2. Лицензия — Llama 3.3 License; перед использованием следует соблюдать её условия. Это крупная модель, поэтому для запуска требуются соответствующие аппаратные ресурсы.

Llama-3-Groq-70B-Tool-Use-GGUF — набор GGUF-квантизаций модели Llama-3-Groq-70B-Tool-Use, опубликованный bartowski на основе исходной модели Groq. Модель предназначена для генерации текста, использования инструментов и function calling, включая сценарии, где языковая модель взаимодействует с внешними функциями или сервисами. Указан английский язык. Модель относится к семейству Llama 3 и имеет размер 70B параметров. README не содержит сведений о точной архитектуре, длине контекста или поддержке мультимодальности; по указанным данным это текстовая модель без подтверждённой поддержки изображений или других модальностей. Доступны варианты квантизации от F32 до Q2_K и IQ2_M с размерами файлов примерно от 24 до 282 ГБ, что позволяет выбирать баланс между качеством и требованиями к памяти. Для запуска рекомендуются llama.cpp и LM Studio; предусмотрен специальный prompt format на основе шаблона Llama 3. Сильными сторонами являются специализация на tool use и function calling, а также широкий выбор уровней квантизации, включая варианты Q4–Q6, ориентированные на высокое качество при меньшем размере. Ограничениями выступают большие требования к оперативной или видеопамяти даже у квантизированных вариантов и возможное снижение качества при низких уровнях квантизации. Модель распространяется по лицензии llama3; README не уточняет дополнительные условия лицензии.

MiroThinker-1.7 — агентная языковая модель miromind-ai, созданная на основе Qwen3-235B-A22B-Thinking-2507 методом дообучения. Она предназначена для глубокого исследования, многошагового анализа и ответов на сложные вопросы с использованием инструментов; в поддерживаемом агентном сценарии может выполнять до 300 вызовов инструментов за задачу. Модель использует архитектуру Qwen3 MoE, содержит 18,2 млрд параметров и принимает контекст до 262 144 токенов. README сообщает о сильных результатах в задачах исследования, включая BrowseComp, BrowseComp-ZH, GAIA-Val-165 и HLE-Text. Для полноценного использования рекомендован агентный фреймворк с поддержкой инструментов и режимом рассуждений; сама модель в каталоге размечена как генерация текста. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0.

FriendliAI публикует эту версию Mistral-7B-Instruct-v0.2, квантованную в FP8 для более эффективного инференса; исходную модель разработала Mistral AI. Это плотная авторегрессионная языковая модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов на инструкции. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст. Её можно использовать для чат-ботов, ответов на вопросы и выполнения текстовых инструкций. Для запуска в README указан Friendli Container; FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Лицензия — Apache-2.0. README предупреждает, что у исходной instruct-модели нет механизмов модерации, поэтому её ответы могут требовать отдельного контроля.

Nesso-4B — компактная языковая модель-ассистент от Mii, основанная на плотной архитектуре Qwen3. В репозитории указано 4,0 млрд параметров, а метаданные фиксируют 3,7 млрд; модель распространяется в формате safetensors и рассчитана на запуск локально на пользовательском оборудовании. Заявленное окно контекста — до 262 144 токенов, однако для устройств с ограниченной памятью README рекомендует сокращать его. Модель предназначена для повседневного диалога, генерации текста, поиска ответов по документам с RAG, агентных сценариев и использования инструментов. Заявлена поддержка нескольких языков и кросс-языковых задач, но конкретные языки и их качество не перечислены. Поддерживаются Transformers и приложения локального запуска, включая Ollama, LM Studio, llama.cpp и MLX-LM. Лицензия — Mii Open License 1.0; условия следует сверить с текстом лицензии в репозитории.

QRWKV6-32B-Instruct-Preview-v0.1 — диалоговая языковая модель Recursal.AI, созданная преобразованием Qwen2.5-32B-Instruct в вариант архитектуры RWKV-6 без обучения с нуля. Модель имеет 32 млрд параметров; в метаданных заявлен контекст 131 072 токена, тогда как README сообщает, что обучение проводилось до 16 тыс. токенов и для стабильной работы на большей длине может потребоваться дополнительное обучение. Модель предназначена для генерации текста и диалогов, включая ответы на вопросы и интерфейс вызова инструментов. Разработчики приводят результаты ряда языковых и рассуждательных бенчмарков и описывают линейное внимание RWKV как способ снизить стоимость вывода на длинных контекстах. Наследуемые знания и языковой охват зависят от Qwen; README оценивает поддержку примерно в 30 языков. Для модели требуется отдельный код инференса. Распространяется в формате safetensors по лицензии Apache-2.0.

YOYO-AI/Qwen3-30B-A3B-Mixture-2507 — объединённая модель от YOYO-AI на архитектуре Qwen3 MoE. Она создана слиянием Qwen/Qwen3-30B-A3B-Thinking-2507 и Qwen/Qwen3-30B-A3B-Instruct-2507 методом nuslerp; в README указаны параметры float32 для слияния и bfloat16 для выходных весов. Модель предназначена для диалогов, выполнения инструкций и генерации текста, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Метаданные указывают английский и китайский языки, активный размер — 2,6 млрд параметров, контекст — до 262 144 токенов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Практическое качество и ограничения отдельно не описаны; характеристики унаследованных режимов Instruct и Thinking для объединённой модели не уточнены.

Sohailhosseini/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-AWQ-W4A16 — квантизированная версия модели Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста по текстовым и визуальным входным данным, включая диалоговые и инструкционные сценарии; в карточке она обозначена как image-text-to-text и заявлена как подходящая для мультиязычных моделей. Модель содержит 9,7 млрд параметров и использует квантизацию AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет 8,6 ГБ, что в 2,24 раза меньше исходных 19,3 ГБ. Визуальные компоненты, включая vision tower, vision model и multi-modal projector, а также слой lm_head оставлены без квантизации, поэтому сохраняется мультимодальная функциональность. Рекомендуемая длина контекста при запуске через vLLM — до 32 768 токенов. Ключевое преимущество — уменьшенные требования к хранению и потенциально более эффективный запуск по сравнению с исходной моделью; квантизация калибровалась на 256 примерах из HuggingFaceH4/ultrachat_200k. Ограничения включают возможное снижение качества из-за 4-битного представления и совместимость с реализациями vLLM: некоторые старые ядра могут предпочитать симметричную схему W4A16, тогда как данная версия асимметричная. В README указана лицензия Apache-2.0, унаследованная от исходной модели.

Qwen3.6-27B-Fable-Agentic — плотная мультимодальная модель на 27 млрд параметров, созданная LemuraLabs дообучением Jackrong/Qwopus3.6-27B-v2. Она предназначена для диалога, пошаговых рассуждений и вызова инструментов в многоходовых агентных сценариях; архитектура поддерживает работу с текстом и изображениями. В карточке приведены результаты сравнительных тестов с базовой моделью: 88,29% на MMLU-Pro, 97,33% на GSM8K и 57,07% на GPQA-Diamond. Модель подходит для ответов на общие вопросы, математических задач и систем, которые передают запросы внешним инструментам. В README для обслуживания через vLLM указан контекст до 16 384 токенов. Модель распространяется по лицензии Apache-2.0. Заявленные характеристики и результаты приведены в карточке модели и не являются независимой оценкой качества.

TheCluster/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — модель семейства Qwen3.8 с 27 млрд параметров, опубликованная TheCluster. Она преобразована в формат MLX из KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS с использованием mlx-vlm 0.6.13. По метаданным модель предназначена для сценариев image-text-to-text и поддерживает работу с текстом и изображениями в совместимых фреймворках. Модель использует смешанное квантование: большинство тензоров представлены в 8-битном аффинном формате с размером группы 32, а отдельные важные тензоры сохранены в bf16. Итоговая точность составляет 9,450 бит на вес, что снижает требования к памяти по сравнению с полноразмерной моделью, но может ограничивать качество относительно исходной версии. Заявлена поддержка множества языков, включая английский, китайский, русский, испанский, французский, немецкий, японский, корейский, арабский, украинский и другие; размер контекста в README не указан. Модель ориентирована на универсальные задачи генерации и анализа с заявленным режимом без ограничений содержательного характера. По умолчанию reasoning_effort установлен в low, чтобы избегать избыточного рассуждения. Для режима рассуждений рекомендуются temperature 1.0, top_p 0.95 и top_k 20, а для instruct-режима — temperature 0.7, top_p 0.80, top_k 20 и presence_penalty 1.5. Повышение presence_penalty может уменьшать повторения, но иногда приводит к смешению языков и снижению качества. Лицензия — Apache-2.0.

Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen/Qwen3.8-27B. Квантование выполнено разработчиком Ar4ikov с BF16-весов базовой модели с использованием llm-compressor и формата compressed-tensors/pack-quantized. Модель предназначена для генерации и понимания текста, а также работы с изображениями через image-text-to-text сценарии. Она поддерживает режимы рассуждения и обычной генерации, параметр reasoning_effort и нативный контекст до 262 144 токенов; расширение до 1 млн токенов возможно через YaRN согласно данным базовой модели. Языковой стек и полный список поддерживаемых языков в README не указаны. Модель использует схему W4A16_ASYM с asymmetric zero-point, размером группы 128 и BF16-активациями; основные линейные слои текстовой части хранятся в INT4. Эмбеддинги, lm_head, vision-башня, чувствительные компоненты Gated DeltaNet и MTP-голова оставлены в BF16, что сохраняет визуальную часть и спекулятивное декодирование. Ключевое преимущество — снижение потребления памяти и ускорение инференса в рантаймах с нативными INT4-ядрами, например vLLM или SGLang. При загрузке через transformers веса распаковываются в BF16, поэтому экономии VRAM не будет. Квант не прошёл полноценную benchmark-валидацию, проверена только связность генерации, поэтому перед промышленным использованием необходимы собственные оценки качества. Модель распространяется по лицензии Apache-2.0.

greghavens/Qwen3.8-27B-bnb-4bit — это 4-битная NF4-квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для обработки текста и изображений, включая задачи visual question answering, генерацию текста по изображениям и работу с агентами и инструментами. Указан английский язык. Размер модели — около 18,60 ГБ в шести сегментах, что позволяет запускать её на одной видеокарте с 24 ГБ памяти при использовании bitsandbytes и совместимого ускорителя. Квантизация применяется к 496 языковым линейным слоям, тогда как vision tower, lm_head, входные эмбеддинги и нормализующие слои сохранены в bfloat16. В комплекте также присутствует MTP head в bfloat16 для speculative decoding в vLLM и SGLang, хотя Transformers его не использует. Модель совместима с Transformers и поддерживает QLoRA-файнтюнинг через PEFT. Контекст модели в README не указан. По заявленным измерениям, квантизация почти не меняет результаты IFEval и NoveltyBench, а ухудшение perplexity на Wikitext-2 составляет около 1,14%. При этом показатель BFCL для вызова инструментов снижается с 0,8218 до 0,8113, а на нерелевантные запросы модель чаще ошибочно генерирует вызов инструмента. Для Blackwell и сценариев, ориентированных только на инференс, README рекомендует более быстрые варианты NVFP4 или FP8. Модель распространяется по лицензии Apache-2.0.

lued/Qwen3.8-27B-INT8-W8A16-DFlash2 — это квантованная версия Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем lued. Репозиторий изменяет числовое представление модели, сохраняя основные возможности исходной версии, включая vision tower, управление режимом рассуждений и вызов инструментов. Модель предназначена для диалоговых и мультимодальных задач, а также для развёртывания через vLLM на потребительском оборудовании. Модель использует INT8-квантование весов W8A16 с активациями FP16 или BF16 и рассчитана на GPU архитектуры Ampere, включая RTX 3090. Заявлен контекст до 262 144 токенов; размер модели на диске составляет около 28 ГиБ. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до семи токенов за шаг. На двух RTX 3090 заявлена скорость до 117 токенов в секунду при полном контексте, а совпадение наиболее вероятного следующего токена с исходной BF16-моделью составляет 98,1%. Сильными сторонами являются заметное снижение размера, почти полное сохранение поведения исходной модели и ускоренная генерация на совместимом оборудовании. Ограничения включают необходимость отдельной модели DFlash2, использования неподдерживаемых в стабильной версии vLLM патчей и конфигурации с двумя GPU для заявленных характеристик. Языки и точные архитектурные параметры в README не указаны. Модель распространяется по лицензии Apache 2.0.

huginnfork/Qwen3.8-27B-NVFP4A16 — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач понимания изображений и текста, генерации текста по мультимодальному вводу, а также сценариев, где важны сниженное потребление памяти и ускоренный инференс на совместимом оборудовании. Она поддерживает архитектуру семейства Qwen3.5 с гибридом полноформатного внимания и линейного внимания на базе SSM, vision tower и multi-token prediction head. Точные сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Используется схема NVFP4A16 (W4A16): веса 192 MLP-модулей представлены в 4-битном формате FP4 с групповыми масштабами FP8 E4M3, а активации остаются в bf16. Пути self-attention, linear attention, vision tower, lm_head и MTP head также сохранены в bf16. Размер модели составляет около 28,8 GiB в шести shards против 51,7 GiB для исходной bf16-версии. Такой подход обеспечивает существенное сжатие при сохранении наиболее чувствительных к ошибкам компонентов в более точном формате. Сильными сторонами являются экономия памяти, отсутствие квантизации активаций и сохранение в bf16 attention-, SSM- и визуальных компонентов. По приведённым измерениям, perplexity на wikitext-2-raw выросла с 6,9416 до 7,1497, то есть примерно на 3%, что указывает на некоторую потерю точности относительно родительской bf16-модели. Производительность и совместимость зависят от поддержки NVFP4A16 и используемого программно-аппаратного стека. Модель распространяется по лицензии Apache-2.0.