I.3Извлечение и структурирование данных

Карточка модели Bloxyest/Qwen3.5-9B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

cyankiwi/Qwen3.6-35B-A3B-AWQ-4bit — квантованная 4-битная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. В карточке указано, что квантование выполнено с калибровкой на данных для STEM-задач и агентных сценариев. Это каузальная языковая модель с визуальным энкодером, предназначенная для работы с текстом и изображениями, включая программирование, фронтенд-разработку, рассуждения на уровне репозиториев и агентные рабочие процессы. Она поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Заявлена длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта; в архитектуре используются Gated DeltaNet и Gated Attention. Размер файлов модели составляет около 24,97 ГБ. Потенциальные сильные стороны — высокая эффективность за счёт разреженной активации экспертов, большой контекст, мультимодальность и ориентация на кодинг и агентные задачи. Ограничения и точные требования к аппаратному обеспечению в README не указаны; результаты приведённых бенчмарков также представлены неполностью. Лицензия — Apache-2.0.

Это квантованная версия NVFP4 модели Qwen3.6-35B-A3B, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В основе лежит WhiskyAKM/Qwen3.6-35B-A3B-GGUF, происходящая от Qwen/Qwen3.6-35B-A3B. Исходная мультимодальная модель разработана командой Qwen и использует архитектуру Mixture-of-Experts с гибридным линейным и полным вниманием: всего 35 млрд параметров, из которых на токен активируются 3 млрд. Модель принимает текст, изображения и видео и генерирует текст. Она предназначена для диалога, рассуждений, агентного программирования, анализа изображений и видео, а также вызова инструментов; контекст достигает 262 144 токенов и может расширяться примерно до 1 млн с YaRN. Для мультимодального ввода требуется файл проектора mmproj.gguf. Модель поддерживает более 140 языков. NVFP4 снижает размер весов для инференса, но требует совместимой сборки llama.cpp с поддержкой этого формата. Лицензия репозитория — Apache-2.0.

filvyb/Qwen3.8-27B-heretic-ara-GGUF — это GGUF-квантизированная версия модели coder3101/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих многошаговых агентских сценариев, а также понимания изображений и видео. В карточке указана архитектура causal language model с vision encoder и 27 млрд параметров. Модель использует 64 слоя, архитектуру с комбинацией Gated DeltaNet и Gated Attention, поддерживает управляемый режим рассуждений и имеет нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Она заявлена как мультимодальная модель для работы с текстом, изображениями и видео, однако сведения о поддерживаемых языках отсутствуют. Формат GGUF ориентирован на совместимое локальное инференс-развёртывание, но конкретные требования к памяти и варианты квантования в README не указаны. Ключевая особенность версии — abliteration, направленная на снижение частоты отказов: в приведённом сравнении модель отказалась выполнить 9 из 100 запросов против 92 из 100 у исходной Qwen3.8-27B, при KL-дивергенции 0,0349. Это может повысить полезность модели для сценариев, где требуется меньше ограничивающих отказов, но одновременно может ослаблять встроенные механизмы безопасного поведения. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-8B-FP8-dynamic — это квантизированная FP8-версия языковой модели Qwen3-8B, разработанная Red Hat совместно с Neural Magic на базе модели Alibaba Cloud Qwen/Qwen3-8B. Модель предназначена для генерации текста, рассуждений, многоязычного следования инструкциям, перевода, вызова функций и создания предметно-ориентированных решений с помощью дообучения. Она поддерживает tool calling и рассчитана на работу с текстовыми входами и выходами. Модель использует архитектуру Qwen3ForCausalLM и поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский и ряд других языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема. По заявлению разработчиков, это примерно на 50% снижает требования к видеопамяти и размер на диске, а также примерно вдвое увеличивает пропускную способность матричных вычислений. Длина контекста в README не указана. Модель оптимизирована для эффективного развёртывания с использованием vLLM, включая OpenAI-совместимый сервер, и валидирована в Red Hat OpenShift AI 2.24, Red Hat AI Inference Server 3.2.1 и vLLM 0.10.0. Ограничения FP8-квантизации и отсутствие сведений о конкретных показателях качества следует учитывать при выборе модели. Распространяется по лицензии Apache 2.0; использование не должно нарушать применимое законодательство и требования экспортного контроля.

Rombo-LLM-V2.5-Qwen-32b — плотная языковая модель на 32 млрд параметров, разработанная Rombo-Org как дообученная версия Qwen2.5-32B-Instruct. README также сообщает о слиянии instruct- и base-моделей методом TIES, но метаданные классифицируют происхождение как дообучение Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалоговой генерации текста; в метаданных также заявлен интерфейс вызова инструментов. Архитектура — Qwen2ForCausalLM семейства Qwen2, формат весов — safetensors, контекст — до 32 768 токенов. Базовая модель поддерживает диалог, программирование, математику и структурированные ответы, однако README не приводит независимых оценок заявленного превосходства этой версии. Лицензия — Apache-2.0.

Azure99/Blossom-V7.1-9B-GGUF — открытая мультимодальная модель общего назначения семейства Blossom-V7.1, разработанная командой Azure99. Эта версия представлена в формате GGUF и основана на Qwen3.5-9B, поэтому ориентирована на локальный запуск на устройствах с ограниченными ресурсами, включая компактные GPU и мобильные устройства. Модель предназначена для повседневного диалога, работы с общими знаниями, математики и рассуждений, программирования, веб-разработки, визуализации данных и агентных сценариев с использованием инструментов. Она принимает текст и изображения, поддерживает два режима рассуждений — medium и max — и умеет рассуждать перед каждым вызовом инструмента. Заявлена поддержка английского и китайского языков. Максимальная длина контекста составляет 262 144 токена, при этом для наилучших результатов рекомендуется использовать до 131 072 токенов. К сильным сторонам относятся мультимодальное понимание изображений, расширенный контекст, поддержка инструментального использования и спекулятивного декодирования MTP в vLLM и llama.cpp. Ограничениями являются меньший размер и, вероятно, более низкие возможности по сравнению с вариантами Blossom на 27B и 35B-A3B, а также необходимость использовать встроенный специализированный chat template и сохранять сообщения с рассуждениями в многоходовых диалогах. Модель распространяется по лицензии Apache-2.0.

Cohere и Cohere Labs разработали Command R+ — авторегрессионную языковую модель на архитектуре Transformer с 104 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. После предварительного обучения она прошла дообучение с учителем и обучение на предпочтениях людей. Command R+ специально обучена для генерации ответов с опорой на предоставленные документы: она может указывать релевантные источники и включать цитаты в ответ. Модель также умеет выбирать внешние инструменты и работать с ними в несколько шагов, что подходит для сложных сценариев с API, базами данных и поиском. Для корректной работы этих функций важно использовать предусмотренный шаблон промпта; отклонение от него может снизить качество. Модель оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, арабского и упрощённого китайского языков. Русский и ещё 12 языков присутствовали в данных предварительного обучения, но не входят в перечень языков, для которых заявлена оптимизация. Веса доступны по лицензии CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs, а коммерческое использование ограничено условиями лицензии.

Dolphin-2.9-Llama3-70B-GGUF — это квантизированная версия языковой модели Dolphin 2.9 на базе Llama 3 с 70 млрд параметров. Исходную модель разработала cognitivecomputations, а квантизации в формате GGUF подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, агентские сценарии и function calling. В README указан английский язык; модальность — текстовая. Размер контекстного окна не указан. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 16,75 до 74,97 ГБ. Более качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; варианты с меньшей разрядностью экономят память, но могут заметно снижать качество. Модель использует формат диалогового шаблона ChatML с ролями system, user и assistant. К сильным сторонам относятся большой размер модели, широкий набор обучающих данных для инструкций, кода, математики, диалогов и вызова функций, а также возможность локального запуска через llama.cpp при выборе подходящей квантизации. Ограничения — значительные требования к оперативной или видеопамяти, зависимость качества от выбранного варианта квантизации и отсутствие в README сведений о точной длине контекста и результатах стандартизированных оценок. Указанная лицензия — llama3.

MLX-квантизированная версия Gemma 4 26B A4B instruction-tuned, разработанная сообществом mlx-community на базе модели Google gemma-4-26B-A4B-it. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска и оптимизации больших языковых моделей на Apple Silicon без PyTorch и облачных сервисов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, выполнения инструкций, tool calling и агентских сценариев. Модель использует смешанную точность: преимущественно 4-bit, при этом чувствительные слои переведены в 8-bit. Из 325 квантизированных слоёв 246 работают в 8-bit и 79 — в 4-bit; размер группы составляет 64. Калибровка проводилась на данных из шести доменов: обычный текст, рассуждения, код, агентские задачи, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 16,4 ГБ. Поддерживается speculative decoding с отдельной моделью-драфтером Gemma 4. Сведения о длине контекста, языках и мультимодальных возможностях в README не указаны. По приведённым результатам модель превосходит стандартную равномерную 4-bit-квантизацию по MMLU, GSM8K, HumanEval и длинноконтекстному извлечению HashHop; совокупный Capability Score составляет 75,76 против 72,95. При этом на IFEval и BFCL-V3 она немного уступает равномерной 4-bit-версии, а размер на диске примерно на 1,9 ГБ больше. Для использования требуется MLX-совместимое окружение, например Apple Silicon с пакетами mlx-lm или mlx-optiq. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

unsloth/gemma-4-E2B-it-UD-MLX-4bit — 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E2B, подготовленная Unsloth на базе google/gemma-4-E2B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как открытые модели с открытыми весами. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, рассуждений, программирования, мультимодального анализа и агентских сценариев с поддержкой function calling. Она принимает текстовые и графические данные, а также аудио, и генерирует текст. Для E2B заявлено контекстное окно до 128K токенов и поддержка более 140 языков. E2B — компактная dense-модель с 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоями, локальным окном внимания 512 токенов и словарём на 262 тысячи токенов. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также Per-Layer Embeddings для повышения эффективности на устройствах. 4-битное представление снижает требования к памяти и подходит для локального запуска через MLX, однако README не приводит подробных результатов бенчмарков или количественной оценки потерь качества после квантизации. Лицензия — Apache 2.0.

GKA-primed-HQwen3-32B-Reasoner — гибридная причинная языковая модель, созданная Amazon на основе Qwen3-32B с помощью конвейера Priming. В ней 32 слоя Attention и 32 слоя Gated KalmaNet (GKA): GKA — рекуррентный слой типа модели пространства состояний, который решает задачу онлайн-регрессии и использует постоянный объём памяти при линейной по длине последовательности вычислительной стоимости. Модель содержит 29,7 млрд параметров и принимает контекст до 128 тысяч токенов. Модель предназначена для диалогов и рассуждений в длинном контексте: решения математических и научных задач, программирования, следования инструкциям и вызова инструментов. Режим рассуждений можно включать и отключать. По заявлению авторов, гибридная архитектура ускоряет генерацию до двух раз на длинном контексте и сокращает расход памяти на KV-кэш; опубликованные тесты показывают близкое к базовой Qwen3-32B или более высокое качество на большинстве перечисленных задач, но более низкий результат на SciCode. Модель доступна в формате safetensors, точность bfloat16, по лицензии Apache 2.0.

unsloth/Llama-3.3-70B-Instruct-GGUF — GGUF-версия мультиязычной большой языковой модели Llama 3.3, разработанной Meta и подготовленной для распространения Unsloth. Это авторегрессионная instruction-tuned модель для генерации текста, диалогов, ответов на вопросы и работы с кодом в текстовых сценариях. Модель содержит 70 млрд параметров и использует оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA). Она принимает и генерирует мультиязычный текст, поддерживает контекст до 128 тыс. токенов и обучалась на более чем 15 трлн токенов публично доступных онлайн-данных; срез знаний — декабрь 2023 года. Указанные языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Для выравнивания поведения применялись supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF). К сильным сторонам относятся большой контекст, диалоговая оптимизация, поддержка нескольких языков и генерация кода. Модель является статичной и обучена на офлайн-данных, поэтому не обладает актуальными знаниями без внешних источников; README также не содержит результатов конкретных бенчмарков или требований к оборудованию для запуска GGUF-версии. Использование регулируется кастомной коммерческой лицензией Llama 3.3 Community License Agreement.

Meta-Llama-3-8B-Instruct-iMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для диалоговых сценариев и задач генерации текста и кода, включая использование в качестве ассистента. Вариант подготовлен с помощью llama.cpp и доступен в наборах K- и IQ-квантов от Q6_K до IQ1_S. Модель представляет собой авторегрессионный языковой трансформер с оптимизированной архитектурой и Grouped-Query Attention (GQA), содержит около 8 млрд параметров и поддерживает контекст до 8 тысяч токенов. Она принимает только текст и генерирует текст или код. Обучение включает предварительное обучение, supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Основной язык — английский; применение для других языков обозначено как выходящее за рамки исходного назначения, хотя дополнительное дообучение возможно при соблюдении условий лицензии. Ключевые преимущества этого варианта — поддержка локального запуска через llama.cpp, наличие множества уровней квантования и использование importance matrix для снижения потерь качества при квантовании. Исправлены настройки токенизатора и EOS-токена для корректной работы инструкционного режима, однако для новых квантов требуется совместимая версия llama.cpp с соответствующими исправлениями и шаблоном чата Llama 3. Модель является статичной и обучена на офлайн-данных; дата отсечения знаний — март 2023 года. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

NVIDIA Nemotron-3-Nano-30B-A3B-BF16 — языковая модель общего назначения, обученная с нуля NVIDIA Corporation для диалогов, рассуждений и выполнения инструкций. Она предназначена для разработчиков чат-ботов, агентных систем, RAG-приложений и других решений на базе ИИ; также подходит для задач программирования и многоязычного общения. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE и 6 слоёв внимания. Всего в ней 30 млрд параметров, из которых активны 3,5 млрд на токен; веса представлены в BF16. Метаданные указывают 1,9 млрд параметров. Контекст в конфигурации Hugging Face составляет 262 144 токена; README сообщает о поддержке до 1 млн токенов при соответствующих настройках и повышенных требованиях к видеопамяти. Модель принимает текст и выдаёт текст, поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Режим рассуждений настраивается через шаблон чата; также заявлен интерфейс вызова инструментов. Модель заявлена как пригодная для коммерческого использования. В метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Русский язык среди поддерживаемых не указан; возможности рассуждения могут снижаться при отключении промежуточного этапа рассуждений, а использование длинного контекста требует больше видеопамяти.

Ornith-1.5-397B-MXFP4 — квантизированная версия модели Ornith-1.5-397B, опубликованная truespirit на базе модели ornith-ai. Это генеративная текстовая модель для задач общего рассуждения, программирования и агентских сценариев; сервер предоставляет OpenAI-совместимый API. README не содержит сведений о поддерживаемых языках и полном наборе модальностей, хотя в архитектуре упоминаются визуальные компоненты. Модель использует архитектуру Qwen3.5 MoE / Ornith 1.5 с 397 млрд параметров. Квантизация выполнена по формату OCP MXFP4 с размером блока 32 с помощью AMD Quark 0.12.post1. В MXFP4 переведены веса маршрутизируемых MoE-экспертов, а attention, shared experts, gates, MTP, визуальные компоненты и lm_head сохранены в BF16. Размер чекпойнта составляет около 239 ГБ, что примерно вдвое меньше исходной версии. Сборка ориентирована на запуск на одной AMD Instinct MI355X с 288 ГБ HBM и TP=1. В протестированной конфигурации с SGLang ROCm достигались примерно 180–200 токенов/с при однопоточном декодировании и около 290 токенов/с при четырёх одновременных запросах; измеренный предел входа составлял около 86 тысяч токенов, а в конфигурации сервера задан контекст до 81920 токенов. Эти показатели зависят от оборудования и программного окружения и не являются оценкой качества модели. Квантизация может приводить к численным отличиям от исходного FP8-чекпойнта. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

RedHatAI/Qwen2.5-7B-Instruct-quantized.w8a8 — мультиязычная текстовая генеративная модель для диалоговых и ассистентских сценариев. Модель разработана Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud и предназначена для коммерческого и исследовательского использования, включая чат на нескольких языках. Она принимает текст и генерирует текст; заявлены поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского и других языков. Модель использует архитектуру Qwen2 и содержит 7 миллиардов параметров в базовой версии. Вариант w8a8 оптимизирован квантованием весов и активаций до INT8. Для линейных операторов трансформерных блоков применяются симметричное статическое поканальное квантование весов и симметричное динамическое потокенное квантование активаций с использованием комбинации SmoothQuant и GPTQ. Это примерно на 50% снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений. Модель рассчитана на эффективное развертывание с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример максимальной длины контекста 8192 токена, а для отдельных конфигураций указано значение 32768; точное ограничение зависит от среды развертывания. Ограничения включают возможное снижение точности из-за квантования и запрет на использование с нарушением применимого законодательства и экспортных ограничений. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

Карточка модели p-e-w/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой Tolu49ja/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Tolu49ja/Qwen3-4B-Instruct-2507-heretic — производная чат-модель семейства Qwen3, созданная на основе Qwen/Qwen3-4B-Instruct-2507 методом abliteration, направленным на снижение частоты отказов. В приведённом сравнении доля отказов снизилась с 99 до 21 из 100 запросов; KL-дивергенция относительно исходной модели составляет 0,43. Репозиторий содержит веса safetensors для Transformers, лицензия — Apache-2.0. Модель предназначена для генерации ответов по инструкциям, рассуждений, работы с математическими и научными вопросами, кодом и инструментами, а также для задач на длинном контексте. Это плотная причинная языковая модель с 3,7 млрд параметров и контекстом до 262 144 токенов; README указывает, что она работает в режиме без пошагового рассуждения. Заявлена поддержка нескольких языков, но конкретные языки не перечислены. Меньшая частота отказов может быть полезна для запросов, которые исходная модель отклоняет, однако приведённая оценка основана на тесте из 100 запросов и не характеризует все сценарии. Как и другие языковые модели, она может ошибаться, а ответы требуют проверки; применение в чувствительных областях требует дополнительной оценки.

arnomatic/Qwen3-4B-Instruct-2507-heretic-av2 — производная чат-модель семейства Qwen3, созданная на основе Qwen3-4B-Instruct-2507 методом abliteration, который снижает склонность исходной модели отказывать в ответах. Это плотная причинная языковая модель с архитектурой Qwen3ForCausalLM, примерно 3,7 млрд параметров и нативным контекстом до 262 144 токенов; поддерживает только режим без «thinking». Предназначена для диалогов и генерации текста по инструкциям, включая рассуждения, математику, программирование, ответы на вопросы и вызовы инструментов. Карточка сообщает о многоязычных возможностях исходной модели, но не перечисляет поддерживаемые языки. В сравнении с исходной моделью в приведённом тесте число отказов снизилось с 100 из 100 до 19 из 100; это не означает полного отсутствия отказов и не является гарантией качества. Доступна в формате Safetensors для Transformers. Лицензия — Apache-2.0.

QuantTrio/Qwen3.5-397B-A17B-AWQ — квантизированная AWQ-версия модели Qwen3.5-397B-A17B, разработанной командой Qwen и распространяемой через Hugging Face. Репозиторий содержит веса и конфигурацию в формате Transformers, полученные методом data-free quantization без калибровочного набора данных. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это каузальная языковая модель со зрительным энкодером, поддерживающая мультимодальные входы. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Общее число параметров составляет 397 млрд, из них 17 млрд активируются при обработке запроса; указаны 60 слоёв и размер скрытого представления 4096. Заявлена поддержка 201 языка и диалекта. В README для запуска через vLLM рекомендуется максимальная длина контекста 32768 токенов. Сильные стороны модели — мультимодальность, широкий языковой охват, высокая вычислительная эффективность разреженной MoE-архитектуры и поддержка вызова инструментов и режимов рассуждения в совместимой инфраструктуре. Ограничения включают очень крупный размер файлов — около 228 ГиБ, высокие требования к GPU-инфраструктуре и зависимость от экспериментальных или предварительных версий vLLM и Transformers; для эффективного запуска также требуется CUDA 12.8 и корректная настройка экспертного параллелизма. Лицензия — Apache 2.0.

Qwen3.5-9B-GGUF — это квантизированная в формате GGUF версия модели Qwen3.5-9B, подготовленная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранить высокое качество при малой разрядности. Модель имеет около 9 миллиардов параметров и поддерживает работу с текстом и изображениями, включая сценарии vision-language. Она предназначена для локального запуска и задач генерации текста, программирования, рассуждений, следования инструкциям и function calling; в README также указаны оценки на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K, IFEVAL и MMLU. Репозиторий предлагает варианты для GPU и CPU с разными компромиссами между размером, скоростью и качеством: от 2.81 до 5.10 bits per weight и примерно от 3.15 до 5.72 ГБ. Для запуска рекомендуются llama.cpp и LM Studio; llama.cpp автоматически загружает vision projector. Ollama на момент публикации README эту модель не поддерживает. Доступны оптимизированные варианты для различных аппаратных платформ, однако конкретный размер контекста, список поддерживаемых языков и подробные результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

FadedRedStar/Qwen3.5-9B-heretic-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-9B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантизацию выполнил FadedRedStar на основе весов coder3101/Qwen3.5-9B-heretic. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, направленного на снижение количества отказов модели. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев. Она поддерживает обработку изображений через встроенный vision encoder и раннее объединение модальностей, формат запросов ChatML, 201 язык и диалект, а также контекст до 262 144 токенов с заявленной возможностью расширения примерно до миллиона токенов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть содержит около 9 млрд параметров, общий объём с vision encoder составляет примерно 10 млрд параметров. Модель по умолчанию генерирует рассуждения перед финальным ответом и поддерживает tool calling. Репозиторий предоставляет варианты квантизации Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы в форматах Q8_0 и BF16 для запуска с поддержкой изображений в llama.cpp. Q4_K_M рассчитан на баланс качества и потребления памяти, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при больших требованиях к памяти. Для ускоренного декодирования доступны дополнительные MTP-файлы. Заявленные показатели обхода отказов являются самоотчётными и независимо не проверялись; изменение поведения безопасности может быть ограничением при использовании модели. Лицензия — Apache-2.0.

Lorbus/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанная на базе Qwen/Qwen3.6-27B с использованием Intel AutoRound. Модель предназначена для обработки текста и изображений, включая диалоговые сценарии, генерацию текста, объяснение сложных тем, программирование и задачи с визуальным вводом. Она совместима с Transformers и vLLM, поддерживает OpenAI-совместимый интерфейс, вызов инструментов и reasoning-сценарии. Модель представляет собой плотную VLM с 27 млрд параметров. Используется схема W4A16: веса хранятся в INT4, активации обрабатываются в FP16; размер группы — 128, квантование симметричное. Объём модели составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Мультитокенная предсказательная голова MTP сохранена в BF16, что позволяет применять нативное speculative decoding в vLLM и получать примерно двукратное ускорение генерации в указанных тестах. Максимальная длина контекста в README демонстрируется до 262144 токенов. Сильные стороны модели — существенно сниженные требования к памяти, высокая скорость инференса и сохранение качества благодаря неквантизированным нормализующим слоям, router-слоям, отдельным проекциям и MTP-компоненту. Ограничения связаны с компромиссом INT4-квантования между точностью и эффективностью; заявленные показатели производительности получены на RTX 5090 и зависят от версии vLLM, аппаратного обеспечения и настроек KV-кэша. Визуальный энкодер MoonViT оставлен в исходной точности, поэтому выигрыш от квантования в основном относится к языковой части. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR опубликовал GGUF-квантизацию MXFP4 MoE мультимодальной модели Qwen3.6-35B-A3B-Fast. В ней 35 млрд параметров, из которых на каждом токене активны около 3 млрд; архитектура сочетает 40-слойный декодер с Gated DeltaNet и полным attention, а для изображений и видео использует 27-слойный энкодер на основе SigLIP. Модель поддерживает чат, анализ изображений и видео, вызов инструментов и сценарии агентного программирования. Заявленное родное окно контекста — 262 тыс. токенов, с расширением свыше 1 млн через YaRN. Эксперты хранятся в 4-битном формате MXFP4, а attention, эмбеддинги и нормализации — в Q8_0; файл визуального энкодера доступен в F16. Репозиторий рассчитан на запуск через llama.cpp: README указывает минимум 24 ГБ видеопамяти для частичной выгрузки и рекомендует 32 ГБ и более для полной выгрузки на GPU. Карточка указывает Apache-2.0. Описание скорости и результатов бенчмарков приведено автором карточки; оно не гарантирует такую же производительность на любом оборудовании.

Lucebox/Qwen3.8-27B-IQ4_XS-fast-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, подготовленная для проекта lucebox. Файл создан на основе IQ4_XS с imatrix-калибровкой от bartowski и полностью переквантизирован в IQ4_XS для снижения объёма и ускорения декодирования. Разработчик исходной модели — Qwen; сборку и оптимизацию файла выполнил Lucebox. Модель предназначена для генерации текста, программирования, математических задач и мультимодальных сценариев с анализом изображений. При использовании отдельного проектора Qwen3.8-27B-mmproj-Q8_0.gguf поддерживает ввод изображений через OpenAI-совместимый формат сообщений, до четырёх изображений за запрос. В README указан максимальный контекст до 131 072 токенов при соответствующей конфигурации сервера. Размер файла составляет 13,54 GiB. Для ускорения текстовой генерации предусмотрена совместная работа с черновой моделью DFlash2 и speculative decoding. Главное преимущество версии — более высокая скорость по сравнению с Unsloth UD-IQ4_XS: на указанном AMD Radeon AI PRO R9700 измерено 37,4 токена/с при обычном декодировании и 174,5 токена/с в сквозном тесте с draft-моделью. Компромисс — немного более низкое качество: относительно Q8_0 зафиксированы рост perplexity на 1,9%, top-1 agreement 92%, результат HumanEval 144/164 и GSM8K 171/200. Показатели зависят от оборудования, настроек и сценария; для задач, чувствительных к качеству, README рекомендует UD-IQ4_XS. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-all — текстовая генеративная модель на базе Qwen3.8-27B, разработанная сообществом thomasgardiner с использованием базовых чекпойнтов Qwen и RadixArk. Архитектура сочетает Gated DeltaNet и полное внимание, включает 64 слоя и поддерживает ввод и вывод текста. Модель предназначена для генерации текста, решения математических задач, ответов на сложные вопросы, следования инструкциям и генерации кода. Ключевая особенность — оптимизация NVFP4-квантизации для ускорения декодирования на GPU NVIDIA RTX 5090 и платформах SM120. Часть линейных проекций переведена из FP8 в NVFP4 с симметричной блочной схемой квантизации, тогда как отдельные компоненты сохраняют формат BF16. Размер чекпойнта уменьшен с 20,6 до 18 ГБ. Заявлено ускорение декодирования на 13–17% относительно RadixArk/Qwen3.8-27B-NVFP4 при сопоставимой точности; в полном стеке оптимизаций прирост относительно стандартного SGLang достигает 25–33% на фиксированных запросах. По представленным тестам модель сохраняет близкую к исходному NVFP4-чекпойнту точность на GSM8K, MATH-500, GPQA Diamond, IFEval и HumanEval, однако небольшое снижение наблюдается на части математических и кодовых задач. Для эффективного использования требуются совместимые версии SGLang и FlashInfer, CUDA 13.0, а на SM120 — специальный патч backend b12x; рекомендуемая конфигурация использует спекулятивное декодирование DFlash2. Лицензия — Apache-2.0.

TelperionAI/Qwen3.8-27B-NVFP4-AWQ-GPTQ — это квантованная версия базовой модели Qwen/Qwen3.8-27B, опубликованная под лицензией Apache-2.0. Модель предназначена для запуска большой языковой модели с меньшими требованиями к памяти, прежде всего в задачах генерации и обработки текста, включая программирование, математику, STEM, диалоги и многоязычные сценарии. В README также указана поддержка speculative decoding через MTP и возможность FP8-квантизации KV-кэша. Модель использует смешанную точность: основные MLP-слои квантованы в NVFP4 с группами размера 16 и FP8-масштабами, часть MLP-слоёв, attention- и GDN-модули работают в динамическом FP8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, MTP-голова и vision tower сохранены в BF16. Квантизация выполнена методом AWQ с последующим GPTQ и калибровкой на сбалансированном наборе данных из кода, математики, STEM, диалогов и многоязычных текстов. Размер чекпойнта составляет около 24,7 ГБ. По приведённому сравнению модель точнее других рассмотренных NVFP4-чекпойнтов и заметно компактнее FP8-версии, сохраняя высокую скорость инференса. AWQ повышает устойчивость к потере качества без увеличения размера или снижения пропускной способности. Ограничения включают необходимость Blackwell-класса GPU, совместимый vLLM с compressed-tensors и то, что оценка проводилась только на одном внутреннем корпусе; качество vision tower отдельно не оценивалось. Acceptance rate для MTP не измерялся.

miifanboy/Spark-X2.5-4B-i1-GGUF — набор GGUF-вариантов модели Spark-X2.5-4B, разработанной XHToken и опубликованной Mii Fanboy. Это компактная универсальная языковая модель для диалогов, написания текстов, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Модель предназначена для локального запуска через Ollama и LM Studio с совместимой реализацией llama.cpp. Spark-X2.5-4B использует гибридную архитектуру внимания, имеет размер 4B параметров, поддерживает нативный контекст до 1 млн токенов и более 200 языков; в метаданных явно указаны английский и китайский. Репозиторий содержит imatrix-квантизованные варианты IQ3, Q3, IQ4, Q4, Q5, Q6 и Q8 с размером файлов примерно от 1,68 до 4,07 ГБ. Квантизация позволяет снизить требования к памяти при сохранении близкого к базовой модели качества; наиболее качественными в приведённых тестах являются Q6_K и Q8_0, а IQ4_XS рекомендован при ограниченном объёме VRAM. Сильные стороны модели — универсальность, поддержка длинного контекста, широкого набора языков и нескольких уровней квантизации для локального развертывания. Ограничения зависят от варианта: низкобитные кванты могут требовать подробных системных подсказок и заметнее уступать базовой модели, а IQ-варианты медленнее работают на CPU; для CPU рекомендуется использовать Q-кванты. Лицензия — Apache-2.0.

d0xin выпустил Swift-Qwen3.8-27B-Uncensored-BF16 — BF16-производную модели ukisai/Swift-Qwen3.8-27b на архитектуре Qwen3.5 dense с генерацией текста по текстовому и визуальному вводу. Модель рассчитана на диалоги, рассуждения, программирование, агентные сценарии и вызов инструментов; заявленная конфигурация контекста — 262 144 токена. Чекпойнт занимает около 52 ГБ, работает через Transformers и может обслуживаться через OpenAI-совместимый API SGLang. Модель получена ранговой абляцией направления в residual stream: изменены 131 из 1199 тензоров, а веса зрения оставлены без изменений. Автор сообщает, что на фиксированной проверке из 100 запросов модель не отказала ни разу, хотя в 10 случаях ответ сопровождался оговоркой; на отдельной проверке из 298 примеров измеримого снижения качества по сравнению с исходной моделью не обнаружено. Эти результаты относятся к описанным наборам и настройкам и не гарантируют поведение на других запросах. Из-за снижения склонности к отказам модель может выдавать небезопасный, незаконный или недостоверный контент. Лицензия указана как other; карточка рекомендует lawful use и предупреждает, что модель не предназначена для регулируемых профессиональных консультаций.