II.4Отладка, тестирование и качество ПО

Qwen3.6-35B-A3B Uncensored Heretic MLX 8bit — мультимодальная версия модели Qwen, разработанной Alibaba Cloud, конвертированная пользователем froggeric в формат MLX для нативной работы на Apple Silicon. Базовая модель — llmfan46/Qwen3.6-35B-A3B-uncensored-heretic; для устранения отказов использовался Heretic v1.2.0 с вариантом метода Magnitude-Preserving Orthogonal Ablation, применённым с учётом гибридной архитектуры внимания Qwen 3.6. Модель предназначена для диалогов, генерации и анализа текста, задач с изображениями и видео, рассуждений и tool calling. Поддерживаются текстовые и визуальные входы, режимы с рассуждением и без него, а также языки English, Chinese и другие языки, обозначенные как multilingual. Указаны размер класса 35B-A3B и 8-битная квантизация. Исправленный chat template поддерживает современные роли, вызовы инструментов и переключатель thinking, а также устраняет проблемы обработки визуальных входов. Сильные стороны модели — мультимодальность, работа в экосистеме MLX, совместимость с MLX-LM, MLX-VLM, LM Studio, llama.cpp, vLLM и другими движками с HuggingFace Jinja templates, а также снижение частоты отказов при заявленной минимальной потере возможностей. Для работы требуются mlx-lm версии 0.31.2 или новее и mlx-vlm версии 0.4.4 или новее. Модель распространяется по лицензии Apache-2.0. README не содержит подробных независимых результатов бенчмарков и не уточняет фактический объём контекстного окна.

bartowski/Qwen3.8-27B-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанной Qwen и сконвертированной bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель поддерживает текстовый и, при наличии отдельного файла mmproj, графический ввод, поэтому может использоваться для текстовых и мультимодальных сценариев. Также заявлена поддержка speculative decoding через MTP. В репозитории представлены варианты квантизации от Q2 до Q8 с размерами файлов примерно от 10 до 29 ГБ; рекомендуемым универсальным вариантом назван Q4_K_M размером 17,44 ГБ, а варианты Q6_K_L, Q6_K и Q6_K_S обеспечивают более высокое качество при большем потреблении памяти. Сильная сторона набора — широкий выбор компромиссов между размером, скоростью и сохранением качества; для вариантов приведены показатели perplexity, Mean KLD и совпадения распределения top-p. Более сильная квантизация требует больше оперативной или видеопамяти, а компактные варианты могут заметнее терять качество. Языки, размер контекстного окна, точные возможности мультимодального ввода и лицензия в представленном README не указаны.

lued/Qwen3.8-27B-huihui-abliterated-INT8-W8A16-DFlash2 — квантованная версия Huihui-Qwen3.8-27B-abliterated, разработанная на базе моделей huihui-ai и Qwen. Это мультимодальная conversational-модель с поддержкой текста и изображений, предназначенная для диалогов, генерации текста, задач рассуждения, tool calling и работы с длинным контекстом. Модель рассчитана на запуск через vLLM и потребительское оборудование, в частности две видеокарты RTX 3090. Модель содержит 27B параметров, использует формат W8A16 с весами INT8 и активациями FP16 или BF16, а также поддерживает контекст до 262 144 токенов. Для ускорения генерации применяется speculative decoding с отдельной моделью-черновиком DFlash2, которая предлагает до 7 токенов за шаг. Размер основной модели составляет около 28 GiB в шести шардах, размер drafter — около 2,02 GiB. По данным README, квантование сохраняет 98,5% совпадения следующего токена с исходной BF16-моделью при среднем KLD 0,000694. Сильные стороны модели — уменьшенный вдвое размер относительно BF16-версии, поддержка длинного контекста, vision tower, thinking controls и tool calling, а также заявленное ускорение генерации на RTX 3090. Ограничения включают необходимость двух GPU с общим объёмом памяти 48 ГБ для заявленного сценария, использование неподдерживаемого в стабильном vLLM DFlash2 с дополнительными патчами и отсутствие собственных измерений скорости именно для этой сборки; приведённые показатели производительности относятся к родственному варианту. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-ROCmFP4-STRIX-MTP-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для генерации текста, рассуждений, работы с инструментами и мультимодальных сценариев с визуальным вводом, прежде всего на системах AMD Ryzen AI Max+ 395 со встроенной графикой Radeon 8060S (gfx1151, Strix Halo). README не указывает разработчика базовой модели отдельно от идентификатора Qwen/Qwen3.8-27B. Используется формат ROCmFP4 с тремя вариантами квантизации и размером файлов 13,33–13,75 GiB; эффективная точность составляет 4,25–4,39 бит на вес. В комплект включена MTP-голова для speculative decoding. Контекст проверен до 65 536 токенов. Для варианта STRIX заявлены скорость декодирования до 30,30 токена/с при настроенном MTP, perplexity 5,8877 на отложенной выборке wikitext-2, успешные тесты зрения 4/4 и tool calling 7/7, включая режим reasoning. Языки README не перечисляет. Сильные стороны модели — высокая скорость на поддерживаемом оборудовании AMD, небольшие требования к дисковому пространству, сопоставимая с Q4_K_M perplexity и опубликованная настройка глубины MTP. Ограничения включают зависимость от AMD Strix Halo и специализированной сборки llama.cpp с поддержкой ROCmFP4; стандартная сборка llama.cpp эти типы тензоров не принимает. Приведённые показатели относятся к конкретной конфигурации и могут не воспроизводиться на другом оборудовании. Модель распространяется по лицензии Apache-2.0.

Atomic-Germ/Qwen3.8-Flash-Next-APEX-GGUF — набор оптимизированных GGUF-квантизаций модели Qwen3.8-Flash-Next, разработанный Atomic-Germ на базе mudler/Qwen3.8-Flash-Next-APEX-GGUF. Модель описана как Mixture-of-Experts архитектура объёмом 125B/177B параметров с технологиями GDN и Qwen Sparse Attention. Репозиторий ориентирован на локальный запуск и совместное использование с Guanaco, включая потоковую загрузку с диска на потребительском оборудовании. Основные варианты включают Q6_K с высококачественной квантизацией весов, Q8_0 для скрытых состояний и F32 для нормализаций, а также более компактный Q4_0 с меньшими требованиями к памяти. В комплект также входит importance matrix imatrix.dat, предназначенная для настройки квантизации и оптимизации динамической выгрузки экспертов. В репозитории заявлен улучшенный шаблон чата с поддержкой многошагового диалога, строгих JSON-схем и параллельных вызовов инструментов. Для запуска через Guanaco указана возможность работы примерно в 24 ГБ памяти; конкретная скорость зависит от оборудования, типа квантизации и используемых ядер. Сильными сторонами являются высокая степень сжатия при заявленном небольшом ухудшении perplexity относительно BF16, оптимизация размещения чувствительных слоёв и поддержка потокового запуска крупных MoE-моделей на ограниченных ресурсах. Ограничения включают зависимость производительности от конкретного оборудования и режима загрузки, отсутствие измерений пропускной способности в README, а также неполную оценку на отложенных данных. Языки, точная максимальная длина контекста и полноценные мультимодальные возможности явно не указаны; в примере запуска используется контекст 128000 токенов. Лицензия — Apache-2.0.

Guile/Qwen3.8-Flash-Next-GGUF — это GGUF-квантизированная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen и квантизированной bartowski с использованием llama.cpp. Модель содержит около 180 млрд параметров и предназначена для задач генерации и понимания текста, а также обработки изображений в мультимодальном режиме при наличии файла mmproj. Поддержка speculative decoding не заявлена. Доступны варианты весов от BF16 и Q8_0 до низкобитных Q2–Q5 и IQ-квантизаций. Размер файлов составляет примерно от 88 до 354 ГБ, поэтому модель рассчитана на системы с большим объёмом оперативной или видеопамяти. В README рекомендуется Q4_K_M как компромисс между качеством и размером, а Q6_K — как вариант с очень высоким качеством. Квантизации используют imatrix, что должно помогать сохранять качество при уменьшении размера, однако более низкие разрядности сопровождаются заметным снижением качества. Модель запускается через совместимые инструменты экосистемы llama.cpp и распространяется с лицензией qwen-community-1.0; указана лицензия other и ссылка на файл LICENSE. Сведения о поддерживаемых языках, размере контекстного окна и точных архитектурных особенностях в предоставленном README отсутствуют.

Inferact/Qwen3.8-Flash-Next-NVFP4 — экспериментальная открытая модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель с энкодером зрения, предназначенная для текстовых и мультимодальных задач, включая обработку изображений, работу с длинным контекстом и агентские сценарии. Артефакты представлены в формате Hugging Face Transformers и совместимы с Transformers, vLLM, SGLang и другими средами инференса. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Архитектура включает 48 слоёв, комбинацию Gated DeltaNet и Qwen Sparse Attention, Mixture of Experts с 512 экспертами и механизм Gated Residual. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов. В README языки обучения или поддержки не указаны. К сильным сторонам относятся эффективная обработка длинного контекста, разреженное внимание на уровне блоков, экономичное масштабирование параметров за счёт n-граммных эмбеддингов и потенциальная пригодность для инференса на ресурсно-ограниченных ускорителях. Модель обозначена как экспериментальный preview, поэтому её стабильность, качество в отдельных задачах и эксплуатационные характеристики следует оценивать самостоятельно; подробные результаты бенчмарков в предоставленных данных отсутствуют. Лицензия указана как qwen-community-1.0.

Qwen3-VL-2B-Instruct-GGUF — это мультимодальная модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-2B-Instruct в формате GGUF: языковой компонент доступен в вариантах FP16, Q8_0 и Q4_K_M, а vision encoder — в FP16 и Q8_0. Модель предназначена для запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF, на CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Модель работает с текстом и изображениями, а семейство Qwen3-VL также ориентировано на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, распознавания и анализа изображений, OCR, пространственного рассуждения, мультимодального reasoning, генерации кода и сценариев visual agent, включая взаимодействие с графическими интерфейсами и инструментами. Заявлены контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона, поддержка OCR на 32 языках, улучшенное понимание пространственных отношений, видео и документов. К ключевым архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения признаков разных уровней vision encoder и выравнивание текста с временными метками для анализа видео. Сильными сторонами являются сочетание компактного размера, мультимодальности, вариантов квантования и возможности локального запуска, однако README не содержит подробных численных результатов бенчмарков, полного перечня языков, точных требований к памяти и детального описания ограничений качества. Распространение модели выполняется по лицензии Apache-2.0.

unsloth/Qwen3-VL-32B-Thinking — репозиторий весов плотной мультимодальной модели Qwen3-VL, подготовленный Unsloth на основе Qwen/Qwen3-VL-32B-Thinking. Это версия Thinking для диалогов и рассуждений по тексту и визуальным данным; модель предназначена для вопросов об изображениях и видео, OCR, визуального анализа и выполнения задач через интерфейс агента с инструментами. Модель принимает текст, изображения и видео, а выдаёт текст. В README заявлены контекст 256K токенов с возможностью расширения до 1M, понимание пространственных отношений, временных меток и событий в видео, разбор структуры длинных документов и OCR на 32 языках. Архитектура относится к семейству Qwen3-VL и реализована как Qwen3VLForConditionalGeneration; файлы представлены в safetensors. Репозиторий включает исправления chat template от Unsloth. Модель подходит для визуального анализа, распознавания текста и рассуждений по изображениям и видео, а также для взаимодействия с графическими интерфейсами и инструментами. Указана лицензия Apache-2.0. README описывает возможности семейства Qwen3-VL; отдельные результаты бенчмарков для этого репозитория не приведены.

ZEUS-8B-V23 — объединённая языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединение также вошли Llama-3.1-Tulu-3-8B, Llama-3.1-Storm-8B, SuperNova-Lite, SauerkrautLM, Lexi-Uncensored-V2 и HuatuoGPT-o1-8B. Модель содержит 7,5 млрд параметров, работает через Transformers и принимает текст для генерации текста; поддерживает диалоги и интерфейс вызова инструментов. Заявленный контекст — до 131 072 токенов. Модель подходит для диалоговых сценариев, генерации ответов и следования инструкциям. В README приведены результаты Open LLM Leaderboard, включая 76,21% на IFEval и 31,47% на BBH; эти показатели относятся к указанным оценочным настройкам и не гарантируют качество в конкретном приложении. В карточке не приведены сведения о лицензии, поэтому условия использования следует проверять в репозитории и у моделей-источников.

Apertus-8B-Instruct-2509 — многоязычная языковая модель для генерации текста и диалогов, опубликованная в репозитории unsloth как дообученная версия swiss-ai/Apertus-8B-2509. Это плотный decoder-only Transformer семейства Apertus с 10,3 млрд параметров и контекстом до 65 536 токенов; модель работает через Transformers и поддерживает интерфейс вызова инструментов. Модель предназначена для многоязычных диалогов, генерации текста и сценариев с длинными документами. В карточке семейство Apertus описано как поддерживающее более 1 800 языков; конкретный основной язык для этой версии не выделен. Модель обучалась на открытых данных с опубликованными сведениями о процессе обучения, а базовое семейство разработано Swiss AI Initiative. Модель может генерировать фактически неверный или нелогичный текст и воспроизводить предвзятости данных. Для неё не предоставлен фильтр выходных данных, в том числе для персональных данных; важные ответы следует проверять. Лицензия — Apache-2.0.

Citaman/command-r-16-layer — текстовая генеративная модель, созданная Citaman с помощью mergekit. В README описано объединение SLERP весов Citaman/command-r-17-layer, а конфигурация использует срезы слоёв 0–16 и 1–17; метаданные каталога классифицируют модель как дообучение указанной базовой модели. Модель основана на плотной архитектуре CohereForCausalLM и содержит 15,3 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Она принимает текст и выдаёт текст. Контекстное окно составляет 8192 токена. Репозиторий распространяет веса в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

GigaChat-20B-A3B-instruct-v1.5 — диалоговая языковая модель семейства GigaChat, разработанная ai-sage и дообученная на базе ai-sage/GigaChat-20B-A3B-base. Модель использует архитектуру DeepseekForCausalLM, содержит 3,1 млрд параметров и поддерживает контекст до 131 072 токенов. Она предназначена для диалога и генерации текста на русском и английском языках. Обновлённая версия получила улучшенное выравнивание ответов: в README сообщается о росте результатов Arena Hard RU с 20,8 до 29,6 и Arena General с 41,1 до 49,1; также приведены результаты на тестах MERA, ru-MMLU и математических задачах. Подходит для диалоговых ассистентов, ответов на вопросы, решения математических задач и генерации текста. Для работы с Transformers требуется версия 4.47 или новее; README предупреждает об особенностях токенизации при использовании vLLM и не рекомендует один из способов подготовки входа. Лицензия — MIT.

GPT-4.1 Mini — среднемасштабная модель OpenAI, рассчитанная на задачи с изображениями и текстом. Она сочетает производительность, сопоставимую с GPT-4o, с меньшей задержкой и стоимостью. В карточке также заявлено контекстное окно в 1 миллион токенов. Модель подходит для обработки текстовых запросов и изображений в сценариях, где важны скорость и стоимость. Доступный фрагмент карточки не раскрывает поддерживаемые языки, конкретные возможности работы с изображениями, ограничения или лицензионные условия.

Huihui-Qwen3.8-27B-abliterated-FP8-v2 — мультимодальная модель для обработки текста и изображений, созданная пользователем batsclamp на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это версия v2, квантизированная из upstream-релиза от 24 августа 2026 года; исходная модель основана на семействе Qwen3.8. Модель предназначена для генерации текста, рассуждений, работы с изображениями, а также сценариев с вызовом инструментов и использованием vLLM. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов при указанной конфигурации обслуживания. Используется гибридная архитектура с Mamba-проекциями и визуальной башней; 256 плотных линейных модулей квантизированы в FP8 E4M3 с поканальными статическими масштабами для весов и динамическим масштабированием по токенам для активаций. Формат хранения — compressed-tensors float-quantized. Визуальная часть, эмбеддинги, нормализации, lm_head и MTP-модуль сохранены в BF16, что позволяет использовать speculative decoding. Преимуществами являются уменьшенный размер по сравнению с BF16-версией, совместимость с vLLM и потенциально более высокая точность квантизации благодаря поканальному масштабированию. При этом качество FP8-варианта не подтверждено полноценными бенчмарками: заявлены только структурная проверка и тестовая генерация. Модель аблитерирована, поэтому у неё удалено исходное поведение отказа и отсутствуют гарантии безопасности оригинального релиза; при высоком уровне reasoning effort она может расходовать очень большой бюджет вывода и возвращать пустой ответ при преждевременном ограничении max_tokens. Лицензия — Apache 2.0.

Карточка модели microperceptron/Kimi-Linear-48B-A3B-Instruct на Hugging Face совпадает с карточкой moonshotai/Kimi-Linear-48B-A3B-Instruct, поэтому описание составлено по ней. Kimi-Linear-48B-A3B-Instruct — разговорная языковая модель от Moonshot AI на архитектуре Kimi Linear. Это гибридная MoE-модель с Kimi Delta Attention и глобальными слоями MLA: в семействе указаны 48 млрд общих и 3 млрд активируемых параметров. Репозиторий содержит веса safetensors и предназначен для генерации текста в диалоговом формате. Модель рассчитана на диалоги и задачи с длинным контекстом. В README для версии Instruct заявлена длина контекста до 1 млн токенов, а архитектура сокращает потребность в KV-кэше и ускоряет декодирование на длинных последовательностях. Для запуска предлагаются Transformers с fla-core и развёртывание через vLLM. Лицензия — MIT. README описывает результаты бенчмарков, но не приводит оценки по всем сценариям; фактическая скорость и качество зависят от оборудования и настроек инференса.

amd/Llama-3.1-8B-Instruct-w-int8-a-int8-sym-test — это вариант Llama 3.1 8B Instruct, опубликованный AMD. Он предназначен для генерации текста, диалоговых ассистентов и других задач обработки естественного языка; инструкционно дообученная версия оптимизирована для многоязычного общения. Вариант содержит 8 млрд параметров и использует 8-битное симметричное квантование весов и активаций; на странице модели также указаны форматы BF16 и I8. README этого репозитория пуст, поэтому характеристики квантования следует считать основными подтверждёнными сведениями именно об этом варианте, а не результатами отдельной оценки качества. Базовая Llama 3.1 разработана Meta и представляет собой авторегрессионную модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она работает с текстом на входе и выдаёт многоязычный текст и код, поддерживает контекст до 128 тысяч токенов и заявленные языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback; модель поддерживает диалоговые сценарии и tool use. Квантование может снизить требования к памяти и ускорить инференс на совместимом оборудовании, но конкретные показатели качества, скорости и совместимости для этого тестового репозитория не указаны. Использование регулируется Llama 3.1 Community License от Meta, а также Acceptable Use Policy. Лицензия допускает коммерческое и исследовательское применение при соблюдении её условий, включая требования к распространению и маркировке; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное условие.

MiniMax-M3-AWQ-int4 — это 4-битная квантованная версия модели MiniMax-M3, разработанной MiniMaxAI, подготовленная репозиторием spectator2026 для запуска на видеокартах NVIDIA A100 через vLLM. Модель предназначена для генерации текста и обработки изображений с поддержкой tool calling, рассуждений и режимов thinking/non-thinking. Она рассчитана на использование в серверных системах, где важны большой контекст и эффективное размещение крупной MoE-модели на оборудовании с архитектурой Ampere. Модель содержит около 428 млрд параметров, из которых примерно 23 млрд активируются на токен, и использует разреженную архитектуру Mixture of Experts с MiniMax Sparse Attention. Заявлен нативный контекст до 1 048 576 токенов, а также мультимодальность text + vision. Применена квантовка AWQ W4A16 с group size 128 только к маршрутизируемым экспертным проекциям MoE; attention, router, общие и плотные слои, embeddings, lm_head и vision tower сохранены в более высокой точности. Размер весов уменьшен примерно с 796 до 225 ГБ. Сильными сторонами являются поддержка текста и изображений, очень длинного контекста, инструментов и рассуждений, а также возможность запуска на A100 в конфигурациях TP-8 или TP-4. Для работы требуется vLLM с тремя специальными патчами, параметр block size 128 и доверие удалённому коду. Ограничения включают высокие требования к GPU-памяти, необходимость ручной настройки vLLM и компромисс между длиной контекста и количеством реплик. По данным README, расхождение с исходной bf16-версией на тесте wikitext составляет около 0,16 KL-дивергенции. Указана лицензия minimax-community; точные условия следует проверять в файле LICENSE.

Ministral-8B-Instruct-2410-HF — версия для Hugging Face модели Ministral-8B-Instruct-2410 от Mistral AI. Это плотная причинно-языковая модель на архитектуре Mistral с 7,5 млрд параметров, дообученная следовать инструкциям и вести диалог. Она принимает текст и предназначена для чата и генерации текста, включая интерфейс вызова функций. Максимальная длина контекста — 32 768 токенов. Модель поддерживает несколько языков, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Подходит для диалоговых помощников, генерации и продолжения текста, а также интеграции с инструментами через вызов функций. В карточке указана лицензия MRL; перед использованием следует учитывать её условия.

Mistral-7B-Instruct-v0.2-expanded — разговорная языковая модель, созданная Arcee AI на основе mistralai/Mistral-7B-Instruct-v0.2. Авторы расширили блоки модели с помощью метода passthrough из mergekit: после каждого пятого слоя добавлен новый слой, в котором параметры o_proj и down_proj инициализированы нулями по подходу LLaMA Pro. Модель имеет плотную архитектуру MistralForCausalLM, содержит 8,9 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; использовать модель можно через библиотеку Transformers. Лицензия в предоставленных данных не указана.

win10/Mistral-Nemo-abliterated-Nemo-Pro-v2 — слитая диалоговая языковая модель на архитектуре Mistral, созданная методом TIES с помощью mergekit. В качестве основы использована natong19/Mistral-Nemo-Instruct-2407-abliterated; в слияние также включены shuttleai/shuttle-2.5-mini и cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель предназначена для диалогов и генерации текста. Она содержит 12,1 млрд параметров, работает с текстом и опубликована в формате safetensors для библиотеки Transformers. Метаданные указывают контекст до 1 024 000 токенов и интерфейс вызова инструментов. Модель поддерживает многоязычную генерацию. Данных о специальных предметных областях или конкретных ограничениях качества в карточке нет. Лицензия в предоставленных сведениях не указана.

Qandora-2.5-7B — объединённая методом mergekit модель для диалогов и генерации текста. Она создана на основе Rombos-LLM-V2.5-Qwen-7b, cybertron-v4-qw7B-MGS и Homer-7B-v0.2 с помощью линейного слияния весов; архитектура — плотная Qwen2, около 7,1 млрд параметров. Модель принимает текст и выдаёт текст, а нативная длина контекста составляет 32 768 токенов. Модель предназначена для диалогового взаимодействия и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

CultriX/Qwen2.5-14B-Hyperionv4 — объединённая языковая модель на архитектуре Qwen2.5, созданная с помощью mergekit. В качестве базовой модели использована CultriX/Qwen2.5-14B-Wernickev3; слияние выполнено методом DARE TIES с участием нескольких моделей семейства Qwen и других производных 14B-моделей. Модель предназначена для генерации текста и диалогового общения, включая сценарии с длинным контекстом до 131 072 токенов. Она поставляется в формате Safetensors и поддерживает интерфейс вызова инструментов. В карточке не заявлена специализация на конкретном языке или прикладной области. Модель содержит 14 млрд параметров. Лицензия в доступных данных не указана.

Qwen2.5-VL-32B-Instruct-AWQ — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen. Это квантизированная AWQ-версия модели Qwen2.5-VL-32B-Instruct с 32 млрд параметров, предназначенная для обработки изображений, видео и текстовых запросов. Указанный язык — английский; точный размер контекста в README не приведён. Модель распознаёт и анализирует объекты, текст, диаграммы, графики, значки и структуру документов на изображениях, поддерживает визуальную локализацию с помощью bounding boxes и точек, а также формирование структурированных данных из счетов, форм, таблиц и сканов. Она рассчитана на визуальные вопросы и ответы, математические и логические задачи, анализ документов, понимание видео длительностью более часа с поиском релевантных моментов, а также сценарии визуального агента, включая управление компьютером и телефоном. Архитектура включает языковую модель Qwen2.5 и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm. Для видео используются динамические разрешение и частота кадров, а также временное позиционирование mRoPE. AWQ-квантизация может снизить требования к памяти и ускорить инференс, однако по приведённым оценкам уступает полной версии по MMMU, MMBench и MathVista, сохраняя сопоставимый результат на DocVQA. Модель распространяется по лицензии Apache-2.0.

Модель stavh2001/qwen3.6-27b-merged_28_05 — дообученная мультимодальная модель семейства Qwen3.5, разработанная stavh2001 на базе unsloth/Qwen3.6-27B с использованием Unsloth и библиотеки TRL. Она предназначена для диалогов с текстом и изображениями; поддерживает интерфейс вызова инструментов. Архитектура — плотная, Qwen3_5ForConditionalGeneration, веса представлены в формате safetensors. Базовая модель насчитывает 27 млрд параметров и рассчитана на анализ изображений, диалоги, программирование и агентные задачи. Модель выпущена под лицензией Apache-2.0. Карточка не описывает отдельную специализацию дообучения или результаты оценки качества, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

Ex0bit/Qwen3.6-35B-A3B-PRISM-NVFP4 — мультимодальная модель для генерации текста, основанная на Qwen/Qwen3.6-35B-A3B и доработанная проектом Ex0bit с использованием настройки PRISM. PRISM направлена на смягчение чрезмерных отказов, удаление нежелательных проявлений предвзятости и пропагандистских шаблонов при сохранении или улучшении качества выполнения задач, связности ответов и мультимодальных возможностей. Модель использует разреженную архитектуру Mixture-of-Experts: общий размер составляет 35 млрд параметров, около 3 млрд параметров активируются для каждого токена, предусмотрено 256 маршрутизируемых экспертов. Веса и активации квантованы в формат NVFP4 W4A4 с использованием compressed-tensors; некоторые компоненты, включая vision encoder, lm_head, роутеры, embeddings и состояние линейно-внимательной SSM, сохранены в BF16. Доступна поддержка мультимодального ввода и MTP draft head для ускоренного спекулятивного декодирования. В README приведён режим обслуживания с ограничением контекста 32768 токенов. Ключевые преимущества модели — существенно сниженные требования к хранению, поддержка мультимодальных сценариев, MoE-эффективность и возможность спекулятивного декодирования. Основные ограничения связаны с аппаратной и программной совместимостью: модель рассчитана прежде всего на GPU NVIDIA Blackwell с архитектурами SM120/SM121 и требует версии vLLM с поддержкой NVFP4; стандартные сборки могут работать некорректно, особенно на SM121. Лицензия Apache 2.0 унаследована от базовой модели.

Qwen3.8-27B-2bit-MLX — мультимодальная квантованная версия модели Qwen/Qwen3.8-27B, разработанная сообществом и преобразованная в формат MLX автором lukaskremla с использованием mlx-vlm 0.6.13. Модель предназначена для задач, объединяющих работу с текстом и изображениями, включая диалоговые сценарии, рассуждения, использование инструментов, анализ видео и обработку длинного контекста. Модель имеет архитектуру Qwen3.8-27B и размер 27B параметров; для весов применяется 2-битное weight-only-квантование с affine RTN и group size 64. Vision tower сохранён в формате BF16, поэтому модель поддерживает мультимодальные входы, включая изображения и видео. Заявлена поддержка нескольких языков, однако конкретный языковой перечень и размер контекстного окна в README не указаны. Квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; характеристики производительности и совместимости зависят от среды MLX. Модель распространяется по лицензии Apache-2.0.

Rabbit-Hole-Ai/Qwen3.8-27B-5090-goldilocks-GGUF — это квантованная версия Qwen3.8-27B в формате GGUF, предназначенная для запуска через llama.cpp. Модель основана на Qwen/Qwen3.8-27B и оптимизирована для размещения на одной видеокарте NVIDIA RTX 5090 с 32 ГБ памяти под Windows 11. Основное назначение — генерация текста с большим контекстом, включая локальный инференс и сценарии, где важны высокая вместимость контекста и поддержка speculative decoding. Файл использует смешанную точность с эффективным показателем 7,36 bpw и занимает около 23 990 МиБ. В составе 866 тензоров применяются 339 тензоров Q8_0, 167 Q6_K и 360 F32; MTP-слой blk.64 сохранён для совместимости с режимом draft-mtp. Для текстовых задач заявлена поддержка контекста до 131 тыс. токенов, а при использовании vision projector — до 110 тыс. токенов. README приводит среднюю KL-дивергенцию относительно исходной BF16-модели 0,001800 для RTN-сборки и 0,001678 для imatrix-сборки. Сильная сторона модели — эффективное использование памяти RTX 5090 за счёт повышения точности квантования в пределах доступного объёма VRAM и сохранения качества, близкого к BF16-оригиналу. Указанная скорость генерации зависит от глубины контекста и конфигурации: для imatrix-файла приводятся значения 72,6 токена/с при глубине 8 тыс. и 64,0 токена/с при глубине 98 тыс. Ограничениями являются требовательность к видеопамяти, заметное падение скорости на длинном контексте и необходимость внимательно выбирать параметры KV-кэша и speculative decoding: сочетание квантованного KV-кэша с определёнными настройками спекулятивной генерации может резко ухудшить производительность. Лицензия — Apache-2.0.

Mike0021/Qwen3.8-27B-GGUF — набор GGUF-конвертаций базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем Mike0021 с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и мультимодального анализа изображений и видео; для работы с визуальными данными требуется отдельный vision projector. Доступны варианты BF16, Q8_0 и архитектурно адаптированный Q4_K_M размером 18,97 ГБ, рекомендованный для практического использования. Модель содержит 64 слоя, поддерживает контекст до 262 144 токенов, а заявленные языки — английский и китайский. В состав также может входить опциональная од Layer MTP-модель для speculative decoding, не изменяющая итоговое распределение вероятностей целевой модели. Для визуального ввода используются отдельные файлы projector размером 0,63 или 0,93 ГБ. Сильными сторонами являются большое контекстное окно, поддержка текста и изображений, варианты с разным компромиссом между качеством и требованиями к памяти, а также сохранённые шаблоны чата и режимы reasoning. Ограничения включают значительный объём файлов и потребность в соответствующих ресурсах памяти; для полной поддержки новой архитектуры требуется llama.cpp ревизии 1692f9e или более новая, поскольку старые версии и некоторые другие GGUF-рантаймы могут быть несовместимы. Лицензия — Apache-2.0.

TheWegemann/Qwen3.8-27B-LowGPU-NoMTP-IQ3XXXS-GGUF — это пользовательская GGUF-квантизация модели Qwen3.8-27B, разработанная TheWegemann совместно с авторами рецепта квантования. Модель предназначена для локального запуска через llama.cpp на видеокартах с 12 ГБ VRAM, включая сценарии работы с агентами, рассуждениями, текстом и изображениями. Модель основана на 27-миллиардной Qwen3.8-27B и занимает примерно 9,3 ГБ. Она использует гибридную архитектуру с блоками Gated DeltaNet и линейного внимания, периодическими блоками полного внимания и 64 слоями. Поддерживаются мультимодальные сценарии с совместимым F16 vision-проектором. В сборке удалена MTP-голова, чтобы уменьшить потребление видеопамяти. Рецепт IQ3XXXS является названием пользовательской схемы смешанного покомпонентного квантования, а не официальным типом квантования llama.cpp; применяются различные форматы, включая IQ1_S, IQ1_M, IQ2, IQ3, IQ4_XS, Q2_K, Q4_K, Q5_K и Q8_0. Тестирование проводилось с полным переносом на GPU, контекстом до 64 000 токенов, кэшем Q4_0, Flash Attention и сервером llama.cpp. Сильная сторона модели — сочетание относительно крупной базовой модели, мультимодальности и большого контекста с возможностью запуска на 12-ГБ GPU. Квантование агрессивно оптимизировано под ограниченный объём VRAM, а финальные слои и отдельные чувствительные тензоры сохранены с более высокой точностью. Ограничения связаны с потерями качества из-за низкой точности, отсутствием MTP и зависимостью фактического потребления памяти от версии llama.cpp, драйверов, настроек и использования видеопамяти. Сборка ориентирована прежде всего на GPU-only запуск; работа при меньшем объёме VRAM или с CPU offload возможна, но не является целевым сценарием. Модель распространяется по лицензии Apache-2.0.