II.3Рефакторинг, миграция и модернизация

DeepSeek V4 Flash REAP K150 Mixed NVFP4 — производная версия DeepSeek V4 Flash, подготовленная sleepyeldrazi на основе официального чекпойнта deepseek-ai/DeepSeek-V4-Flash. Это текстовая MoE-модель для генерации текста и диалогов. REAP удаляет наименее активные эксперты: в слоях 3–42 оставлено по 150 маршрутизируемых экспертов из исходного набора, что соответствует сокращению примерно на 41%; первые три слоя сохранены без такого сокращения. Дообучения не проводилось. Веса упакованы в смешанном формате: NVFP4 для gate/up проекций маршрутизируемых экспертов, Q2_K для down проекций, Q8_0 для внимания, общих экспертов и выходной головы; эмбеддинги сохранены в F16. Конверсия MXFP4 в NVFP4 описана как преобразование формата шкал без изменения значений весовых нибблов. Репозиторий содержит GGUF, однако для запуска требуется специальный движок ds4 с пользовательскими CUDA-ядрами; стандартные сборки llama.cpp и другие обычные GGUF-рантаймы модель не загружают. Калибровка ориентирована на код, вызов инструментов, исследования и поиск знаний. Карточка приводит бюджет памяти для DGX Spark, включая запуск с контекстом до 1 млн токенов при использовании FP8 KV-кэша, но точная длина контекста в метаданных не указана. Лицензия — MIT.

dolphin-2.9.1-mixtral-1x22b-IMat-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.9.1-mixtral-1x22b, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем legraphista. Модель предназначена для локального запуска и задач генерации текста, включая диалоговое взаимодействие, следование инструкциям, программирование, математические задачи, function calling и агентские сценарии, на которые указывают использованные при обучении наборы данных. Заявленный язык — английский. Модель основана на архитектуре Mixtral и имеет обозначение 1x22b; точные характеристики архитектуры и размер контекстного окна в README не указаны. Доступны варианты от BF16 и FP16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 с размером файлов примерно от 8,27 до 44,48 ГБ. Для ряда вариантов применена IMatrix-квантизация, предназначенная для более эффективного уменьшения размера при сохранении качества. Это позволяет выбирать баланс между требованиями к памяти и качеством вывода, однако квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно у компактных вариантов. Для запуска используются совместимые инструменты экосистемы llama.cpp. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, данных о поддерживаемых языках помимо английского, точного контекстного окна или подробных сведений о системных требованиях, поэтому эти характеристики нельзя надежно оценить.

Dolphin-4B — языковая модель, выпущенная roskosmos19 и дообученная на базе XHToken/Spark-X2.5-4B-Base. Она предназначена для диалогов, генерации текста, программирования, рассуждений и агентных сценариев с вызовом инструментов. Модель использует плотную архитектуру Spark2_5ForCausalLM и формат safetensors; размер по метаданным — 3,8 млрд параметров, а заявленная длина контекста составляет 1 048 576 токенов. Для работы доступны шаблон чата с поддержкой нескольких ролей, режима рассуждений и вызова инструментов; модель рассчитана на использование через Transformers и совместимые стеки инференса. В карточке заявлены сильные стороны в следовании инструкциям, программировании и многошаговых задачах. Эти характеристики представлены как утверждения автора и не сопровождаются в карточке результатами оценки. Язык модели явно не обозначен. Лицензия — Apache-2.0.

Eurux-8x22B-NCA — диалоговая языковая модель из серии Eurus, разработанной OpenBMB и оптимизированной для рассуждений. Это дообученная методом SFT и preference learning модель семейства Mixtral с архитектурой Mixture of Experts; в карточке указано 22 млрд параметров и контекст до 65 536 токенов. Модель обучали на многоходовых траекториях UltraInteract и парах предпочтений UltraFeedback. Модель предназначена для генерации ответов в чате и выполнения инструкций, включая задачи по программированию, математике, рассуждениям и общим знаниям. README сообщает о сильных результатах в тестах на эти навыки, однако приведённые результаты не позволяют независимо оценить качество: часть таблицы отсутствует. Для работы доступны веса в формате safetensors и библиотека Transformers. Лицензия — Apache-2.0.

AtomicChat/gemma-4-E2B-it-GGUF — это текстовая GGUF-квантизированная версия модели google/gemma-4-E2B-it, подготовленная Atomic Chat из оригинальных весов Google с использованием importance matrix. Модель предназначена для локального и полностью автономного запуска в задачах генерации текста, чат-диалогов, рассуждений, программирования и обработки длинного контекста. Для корректного применения шаблона диалога требуется поддержка Gemma 4 chat template. Модель имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоёв и контекст до 128K токенов. Это плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используется 8 attention heads и 1 KV head. Базовая модель поддерживает текст, изображения и аудио, однако данный репозиторий содержит только текстовые GGUF-кванты и не включает vision projector. Доступны варианты от Q2_K до Q8_0, включая рекомендуемый баланс качества и размера Q4_K_M. Сильные стороны модели — небольшой размер, возможность офлайн-развёртывания, длинный контекст и несколько уровней квантизации, позволяющих подобрать соотношение скорости, потребления памяти и качества. Уровень качества зависит от выбранного кванта: низкобитные варианты экономичнее, но сильнее теряют точность, тогда как Q6_K и Q8_0 ближе к полноточной версии. Приведённые в README результаты являются опубликованными показателями базовой модели Google, а не независимыми измерениями данного репозитория. Модель распространяется по лицензии Apache-2.0.

Это квантованная сборка диалоговой модели GigaChat3-10B-A1.8B, опубликованная NikolayKozloff в формате GGUF для запуска через llama.cpp. В README указано, что модель получена из ai-sage/GigaChat3-10B-A1.8B-bf16; метаданные характеризуют базовую модель как MoE с 10 млрд параметров и 1,8 млрд активных параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, а также задач по математике и программированию. Базовая модель поддерживает русский и английский языки и контекст до 256 тысяч токенов. Репозиторий указывает формат GGUF BF16, однако название модели также содержит Q6_K; сведения о точном формате файлов в карточке расходятся, поэтому конкретный уровень квантования здесь нельзя подтвердить. Лицензия — MIT.

JetMoE-8B-Chat — разговорная языковая модель семейства JetMoE, созданная авторами проекта JetMoE. Это дообученная версия JetMoE-8B для диалоговой генерации текста. Архитектура включает 24 блока с разреженными слоями Mixture of Attention heads и Mixture of Experts: в каждом слое из восьми экспертов для токена активируются два. Всего модель содержит 8 млрд параметров, из которых при инференсе активны 2,2 млрд; базовая JetMoE-8B обучалась на 1,25 трлн токенов из открытых наборов данных. Модель предназначена для диалогов, ответов на вопросы, написания кода и решения математических задач. README сообщает о сравнительных результатах на языковых и кодовых бенчмарках, однако приведённые таблицы неполны, поэтому эти заявления нельзя независимо оценить по карточке. Контекст составляет 4096 токенов. Модель принимает и генерирует текст; в метаданных заявлена возможность чата, но конкретный список поддерживаемых естественных языков не приведён. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка описывает её как открытую и допускающую дообучение при ограниченных вычислительных ресурсах; практическое качество зависит от запроса и сценария применения.

JiRack Ultra 1B — компактная языковая модель от CMSManhattan для генерации текста и диалогов. Она построена на архитектуре Qwen2, содержит около 1,5 млрд параметров и оптимизирована для инференса на CPU. В карточке заявлены переработанная архитектура с поддержкой тернарных BitNet-признаков, обновлённый токенизатор с тегами маршрутизации, вызова инструментов и робототехники, а также контекст до 131 072 токенов. Доступны веса Safetensors и варианты GGUF с разными уровнями квантования. Модель предназначена для локального запуска на малоресурсном оборудовании, диалоговых сценариев, использования как экспертной модели в RAG-системах и интеграции с агентами и инструментами. Карточка также описывает применение в задачах программирования и робототехники, однако метаданные подтверждают только задачу генерации текста, а заявленные возможности токенизатора не доказывают качество этих специализированных сценариев. В метаданных перечислены 14 языков: английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, русский, арабский, вьетнамский и тайский. Веса опубликованы по лицензии MIT, разрешающей коммерческое использование и распространение. При этом Docker-образ, готовые Ollama-сборки и клиенты интерфейса, согласно карточке, распространяются на отдельных коммерческих условиях.

marin-8b-instruct-GGUF — это набор GGUF-квантизированных файлов модели marin-community/marin-8b-instruct, подготовленный mradermacher. Модель предназначена для генерации текста и выполнения инструкций; варианты GGUF позволяют запускать её локально с разным балансом между качеством, скоростью и потреблением памяти. При обучении использовались наборы данных AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, natural_reasoning, OpenThoughts-114k-math и smoltalk, что указывает на применимость к программированию, рассуждениям, математическим и общим диалоговым задачам. Размер базовой модели — 8 млрд параметров, однако точная архитектура и максимальная длина контекста в README не указаны. Заявлен английский язык; сведения о поддержке других языков и модальностей отсутствуют, поэтому модель следует считать текстовой и ориентированной прежде всего на англоязычные сценарии. Доступны варианты от Q2_K размером около 3,3 ГБ до f16 размером около 16,2 ГБ; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди перечисленных. К преимуществам относятся широкий выбор квантизаций и возможность локального запуска, а также настройка под задачи программирования, рассуждений и генерации текста. Более сильное сжатие уменьшает требования к памяти, но может снижать качество; README отдельно отмечает более низкое качество Q3_K_M. Модель распространяется по лицензии Apache-2.0.

Карточка модели Undi95/Meta-Llama-3-70B-hf на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-70B, поэтому описание составлено по ней. Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

Карточка модели tuneai/Meta-Llama-3-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3 8B Instruct — языковая модель Meta на 8 млрд параметров для диалоговых сценариев. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с подкреплением на основе оценок людей. Модель принимает текст и генерирует текст, в том числе код. Модель предназначена для ассистентского общения и генерации текста на английском языке, в коммерческих и исследовательских приложениях. Она подходит для создания чат-ботов и ответов на запросы; качество и безопасность ответа зависят от сценария и настроек приложения, поэтому для конкретного применения могут потребоваться дополнительные меры защиты. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic-GGUF — это набор GGUF-квантизаций 2-миллиардной текстовой модели MiniCPM5-2B, дообученной на данных Claude с акцентом на агентное использование инструментов, программирование и следование инструкциям. Модель разработана GnLOLot на базе openbmb/MiniCPM5-2B и предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Поддерживаются английский и китайский языки, а встроенный шаблон чата MiniCPM5 упрощает интеграцию. Модель ориентирована на генерацию текста, написание и отладку кода, выполнение многошаговых программных задач, function calling и tool use в агентных сценариях, а также диалоговое следование инструкциям. Она работает только в Thinking-режиме, поэтому может выводить блоки рассуждений перед итоговым ответом. Заявленная длина контекста достигает 128K токенов, однако фактический объём зависит от используемого рантайма и доступной памяти. Доступны варианты F16 размером около 4,7 ГБ, Q8_0 около 2,5 ГБ и Q4_K_M около 1,5 ГБ; Q8_0 рекомендуется как вариант по умолчанию, а Q4_K_M — для устройств с ограниченными ресурсами. К сильным сторонам относятся компактность, возможность локального развертывания, поддержка агентного tool calling, программирования и длинного контекста. В ClawBench дообученная модель показала 44,56 балла в QwenClawBench и 24,32 в WildClawBench, превысив базовую MiniCPM5-2B. Ограничения связаны с небольшим размером 2B по сравнению с передовыми моделями, возможным выводом рассуждений и зависимостью производительности от аппаратного обеспечения и настроек рантайма. Модель распространяется по лицензии Apache-2.0.

Nex-N2.5-mini-APEX-I-MiniPlus-V2.1-GGUF — это квантизированная версия модели Nex-N2.5-mini, разработанной Nex AGI и подготовленной в формате GGUF пользователем IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и локального запуска через llama.cpp, включая сценарии с частичной или полной выгрузкой весов в системную память и большими контекстами. Модель использует разреженную архитектуру Mixture of Experts с 40 слоями и 256 микроэкспертами. Заявлена поддержка контекста до 256K токенов и языков English, Chinese, Spanish, French, German, Portuguese, Italian, Russian, Japanese, Korean, Vietnamese, Thai и Arabic. В текущей версии применена тензорно-ориентированная квантизация: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные компоненты используют варианты IQ3_XXS, Q3_K, Q4_K, Q5_K и Q6_K. Размер сборки составляет примерно 13,74 GiB, или около 14,7 GB. К сильным сторонам относятся сравнительно небольшой объём, сохранение точности маршрутизации экспертов, оптимизация для работы в системной RAM и поддержка длинного контекста. README сообщает о perplexity WikiText-2 6,4725 ± 0,1635 и близком к неквантизированной версии качестве, однако эти результаты следует считать заявленными авторами сборки. Ограничения связаны с потерями качества, присущими квантизации, зависимостью скорости от пропускной способности памяти и требований к объёму RAM или VRAM; для комфортной работы с контекстом до 256K могут потребоваться значительные ресурсы. Модель распространяется по лицензии Apache-2.0.

Nex-N2.5-mini-Uncensored-APEX-GGUF — набор GGUF-квантизаций модели Nex-N2.5-mini от Nex-AGI, подготовленный на базе варианта orcarouter/Nex-N2.5-mini-Uncensored с использованием llama.cpp и localai-org/apex-quant. Модель позиционируется как abliterated, то есть с уменьшенной склонностью к отказам. Формат предназначен для локального запуска через llama.cpp и совместимые интерфейсы. Модель поддерживает текстовые и визуальные сценарии, включая анализ изображений, работу с английским и китайским языками, генерацию текста, программирование и задачи, требующие длинного контекста. Архитектура — Mixture-of-Experts примерно на 34 млрд параметров: 40 слоёв, 256 маршрутизируемых экспертов, выбор 8 экспертов на токен и один общий эксперт в каждом слое. Используется гибрид gated-delta-net и полноразмерного внимания, максимальный контекст заявлен до 262 144 токенов. Основное преимущество — MoE-архитектура и APEX-квантизация со смешанной точностью, которая позволяет выбирать разные уровни точности для слоёв и групп тензоров, обеспечивая несколько вариантов баланса между размером и качеством. Доступны профили Mini, I-Compact, I-Quality и I-Balanced, однако конкретные файлы могут присутствовать не все. Для работы с изображениями требуется отдельный F16-проектор mmproj. Реальное качество зависит от выбранного профиля, аппаратных ресурсов и клиента; приведённые в README внешние результаты APEX нельзя считать измерениями именно этих файлов. Для запуска рекомендуется современная версия llama.cpp, при этом возможна частичная выгрузка слоёв на GPU. Лицензия модели — Apache-2.0.

Olmo 3 7B Think SFT — англоязычная авторегрессионная Transformer-модель для генерации текста, разработанная Allen Institute for AI (Ai2). Она предназначена для диалогов и задач рассуждения, особенно математических задач и программирования; обучение с учителем на Dolci-Think-SFT-7B включало также запросы по общим знаниям и чату. Модель имеет плотную архитектуру Olmo3 и 6,9 млрд параметров, принимает текст и поддерживает контекст до 65 536 токенов. Доступна в формате Safetensors для Transformers. Модель дообучена на основе allenai/Olmo-3-1025-7B. Лицензия Apache 2.0; Ai2 указывает исследовательское и образовательное применение в соответствии со своими правилами ответственного использования. Модель может выдавать неточные сведения и без дополнительной фильтрации генерировать вредный или чувствительный контент; результаты следует проверять.

OpenThinker-7B — языковая модель, разработанная командой OpenThoughts и дообученная на Qwen/Qwen2.5-7B-Instruct с использованием набора OpenThoughts-114k. Она предназначена для генерации текста в диалогах и решения задач, требующих рассуждений, в том числе математических задач, научных вопросов и задач по программированию. Данные OpenThoughts-114k получены методом дистилляции DeepSeek-R1. Модель имеет плотную архитектуру Qwen2, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В карточке приведены результаты оценивания по математике, научным вопросам и программированию; в отдельных тестах модель превосходит Bespoke-Stratos-7B, но уступает DeepSeek-R1-Distill-Qwen-7B. Доступна под лицензией Apache 2.0.

Orca-4B-Thinking — языковая модель для диалогов и задач, требующих многошаговых рассуждений. Согласно README, модель разработана на основе Qwen3-4B и дообучена в стиле DeepSeek-R1 на наборах OpenThoughts-114k и Mixture-of-Thoughts; метаданные связывают её с Qwen/Qwen3.5-4B. Карточка описывает причинную плотную архитектуру Qwen3, а метаданные указывают 3,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации развёрнутых рассуждений и ответов в математике, программировании, естественных науках и головоломках, а также для следования инструкциям и работы с инструментами. README сообщает о режиме Thinking и приводит оценочные результаты бенчмарков, поэтому заявленные улучшения производительности не следует считать независимой проверкой. Поддерживаются английский, немецкий, испанский, французский и китайский языки по тегам метаданных. Лицензия — Apache-2.0.

Ornith-1.5-35B-A3B-MXFP4_MOE_Hybrid-Imatrix-GGUF — это набор оптимизированных квантованных весов в формате GGUF для модели Ornith-1.5-35B-A3B, разработанной Ornith AI. Данные сборки подготовлены jashepp на основе базовой модели и предназначены для запуска в совместимой инфраструктуре GGUF, включая сценарии генерации текста, диалогов, агентной работы, программирования, использования инструментов и задач, требующих планирования и рассуждений. Модель использует архитектуру Mixture of Experts с заявленным размером 35B и конфигурацией A3B. Репозиторий содержит варианты с многоуровневой точностью MXFP4, Q8_0 и F16, а также importance matrix, созданной на основе исходной imatrix и дополнительных данных из промптов, результатов, аудитов, навыков и документации. Доступны файлы размером примерно от 18,5 до 20,7 ГБ. Указанный язык — английский; модель относится к текстовым генеративным моделям. Размер контекста в README не указан. К сильным сторонам относятся улучшенное следование инструкциям и рассуждениям по сравнению с Ornith-1.0, ориентация на агентное программирование и возможность уменьшить требования к памяти за счёт квантования экспертных слоёв при сохранении более высокой точности в критических компонентах. Ограничения включают потенциальные потери качества из-за квантования, зависимость от совместимого загрузчика GGUF и отсутствие в README подробных сведений о фактических требованиях к оборудованию, контекстном окне и результатах независимого тестирования. Распространение указано по лицензии MIT.

Phi-4-reasoning — открытая по весам языковая модель Microsoft Research, дообученная на базе Phi-4 с помощью supervised fine-tuning на примерах цепочек рассуждений и обучения с подкреплением. Она предназначена для диалоговых генеративных приложений, где важны рассуждения и логика, а также ограничены вычислительные ресурсы или допустимая задержка. Основные области обучения и оценки — математика, наука и программирование; модель рассчитана прежде всего на английский язык. Модель использует плотный декодерный Transformer архитектуры Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов. При инференсе рекомендуется ChatML-шаблон; для более сложных запросов авторы советуют выделять больше токенов на генерацию. Модель может ошибаться и не проходила оценку для всех прикладных сценариев, поэтому ответы следует проверять, особенно при использовании в задачах с высокими последствиями. Лицензия — MIT.

HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная MoE-модель в формате GGUF, созданная HauhauCS на базе Qwen/Qwen3.5-35B-A3B. Она предназначена для генерации и понимания текста, работы с изображениями и видео, решения общих и рассуждательных задач, программирования и локального запуска в совместимых средах, включая llama.cpp, LM Studio, Jan и koboldcpp. Модель позиционируется как вариант без встроенных отказов; агрессивная версия может иногда добавлять краткие оговорки, но продолжает генерировать полный ответ. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 маршрутизируемых и 1 общий эксперт на токен, 40 слоёв с гибридным сочетанием линейного внимания Gated DeltaNet и полноформатного softmax-внимания. Нативный контекст составляет 262 тысячи токенов и может быть расширен до 1 млн с YaRN. Поддерживаются текст, изображения и видео, Multi-Token Prediction, словарь на 248 тысяч токенов и 201 язык. Для обработки изображений требуется отдельный файл mmproj. Доступны варианты квантования от BF16 до IQ2_M размером примерно от 65 до 11 ГБ, что позволяет выбирать баланс между качеством и требованиями к памяти. Ограничения включают зависимость мультимодальной работы от дополнительного mmproj-файла, высокие аппаратные требования для крупных вариантов и отсутствие встроенных защитных отказов, что повышает риск небезопасного использования. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-4B-GGUF — это набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-4B, подготовленный командой Atomic Chat. Модель предназначена для локального и полностью автономного запуска задач генерации текста, включая диалоги, рассуждения, программирование и агентские сценарии. В репозитории представлены только текстовые версии без визуального проектора, поэтому изображения не поддерживаются, хотя базовая модель относится к мультимодальным моделям Text и Image. Модель содержит около 4,7 млрд параметров и 32 слоя; заявлены контекст до 262 144 токенов и словарь размером 248 320 токенов. Архитектура описана как плотный декодер с 16 attention heads и 4 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая версии с importance matrix, которая призвана уменьшить потери качества при низкой разрядности. Вариант Q4_K_M указан как оптимальный баланс размера, скорости и качества; файлы занимают примерно от 1,9 до 4,5 ГБ. Сильные стороны модели — возможность офлайн-использования, широкий выбор квантизаций и относительно небольшие требования к памяти. К ограничениям относятся потеря качества в наиболее компактных вариантах, отсутствие поддержки изображений в данном репозитории и необходимость применять шаблон чата Qwen3.5 через параметр --jinja, иначе возможна некорректная генерация диалоговых реплик. Приведённые в README результаты являются опубликованными оценками базовой Qwen3.5-4B, а не независимыми измерениями Atomic Chat. Лицензия — Apache-2.0.

YFC-112358 создал двухэтапную композиционную модель на основе Qwen3.6-27B. На первом этапе с помощью DELLA объединены модели разных происхождений, а на втором к полученному результату линейно добавлено приращение весов Qwopus3.6-27B-Fusion относительно общего предка Qwen/Qwen3.6-27B. Это плотная мультимодальная архитектура семейства Qwen3.5 с интерфейсом чата и вызова инструментов; в репозитории веса представлены в safetensors, а модель использует библиотеку Transformers. Модель предназначена для диалоговой генерации текста и может использоваться для программирования, агентных сценариев и работы с изображениями — такие возможности указаны для базовой Qwen3.6-27B. В README описаны способ слияния и рекомендации по сэмплированию, но нет отдельных результатов оценки качества именно этой версии. Лицензия — Apache-2.0.

Qwen3.6-27B-Jormungandr-i1-GGUF — это квантизированная в формате GGUF версия модели Qwen3.6-27B-Jormungandr, разработанной nightmedia и подготовленной пользователем mradermacher. Модель основана на архитектуре Qwen3.6 с 27 млрд параметров и распространяется в виде imatrix-квантов различных уровней точности и размера. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, исследовательских сценариев, рассуждений, творческого и художественного письма, а также ролевого взаимодействия. В метаданных заявлена поддержка английского, китайского, японского и испанского языков. README указывает, что это vision-модель; для работы с визуальными данными могут потребоваться mmproj-файлы из статического репозитория. Также заявлена поддержка контекста до 256 тысяч или 1 миллиона токенов, однако конкретные ограничения зависят от исходной модели и используемого программного обеспечения. Главное преимущество — широкий выбор квантов GGUF, позволяющий выбирать баланс между размером, скоростью и качеством: от вариантов примерно на 11 ГБ до 22,5 ГБ. Для части вариантов приведены рекомендации по качеству и скорости, но независимые бенчмарки в README отсутствуют. Ограничения включают возможную потерю качества из-за квантования, необходимость совместимого GGUF-движка и дополнительных mmproj-файлов для мультимодальной работы; точные возможности и производительность зависят от выбранного кванта и оборудования. Модель и квантизированные файлы распространяются по лицензии Apache-2.0.

AtomicChat/Qwen3.6-27B-MLX-4bit — это 4-битная MLX-квантизация базовой модели Qwen/Qwen3.6-27B, выполненная командой Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, программирования, агентных сценариев и работы с большими контекстами; заявлена поддержка текстовых и визуальных данных, а также офлайн-запуск на устройствах Apple Silicon через MLX и mlx-lm. Модель содержит 27,8 млрд параметров и 64 слоя, использует плотную decoder-архитектуру Qwen3_5ForConditionalGeneration с 24 attention heads и 4 KV heads. Максимальная длина контекста составляет 262 144 токена, размер словаря — 248 320 токенов. Квантизация откалибрована с помощью importance matrix, что должно помогать сохранять свойства исходной полноточной модели при уменьшенной разрядности. README не содержит точного перечня поддерживаемых языков и результатов сравнительных тестов, поэтому качество в конкретных задачах оценить нельзя. К сильным сторонам относятся большой контекст, поддержка изображений, возможности программирования и repository-level reasoning, а также локальная работа без подключения к сети. Ограничения связаны с 4-битной квантизацией и требованием совместимой MLX-инфраструктуры; практические требования к памяти и производительности в README не указаны. Модель распространяется по лицензии Apache 2.0; квантизацию выполнила Atomic Chat.

barozp/Qwen3.6-28B-REAP20-A3B-GGUF — набор GGUF-квантизаций модели, созданной на основе 0xSero/Qwen3.6-28B-REAP20-A3B, которая, в свою очередь, является вариантом Qwen3.6-35B-A3B от Qwen с удалением 20% экспертов методом REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации текста, диалоговых сценариев, программирования, рассуждений и работы со знаниями, включая локальный запуск через llama.cpp, LM Studio, Jan или Ollama. Указан английский язык. Это разреженная MoE-модель с гибридной архитектурой Qwen3.6, объединяющей Gated DeltaNet и Mixture of Experts. Она содержит около 28 млрд параметров, из которых примерно 3 млрд активны на токен; всего используется 205 экспертов, 8 из которых активируются для каждого токена. Контекст составляет до 262 144 токенов. Репозиторий предоставляет варианты от BF16 до 2-битных и IQ-квантизаций; рекомендуемый вариант Q4_K_M занимает около 17 ГБ и обеспечивает баланс качества и размера. Для него заявлены требования от 20 ГБ VRAM при полном запуске на GPU либо около 24 ГБ RAM при работе только на CPU. Сильные стороны модели — уменьшенный размер по сравнению с исходной MoE-моделью, сохранение примерно 3 млрд активных параметров на токен, широкий выбор квантизаций и совместимость с локальными инструментами на базе llama.cpp. Более сильное сжатие уменьшает требования к памяти, но может снижать качество генерации; точные результаты бенчмарков, поддержка других языков и практические ограничения качества в README не приведены. Распространение заявлено по лицензии Apache 2.0.

Qwen3.6-35B-A3B-Fable-Holo3.1 — мультимодальная модель для диалогов и следования инструкциям, опубликованная Nightmedia. Это слияние Qwen3.6-35B-A3B, Qwen3.6-35B-A3B-Fable-5-Distill и Holo3.1-35B-A3B; архитектура относится к семейству Qwen3.5 MoE. Модель принимает текст и изображения и выдаёт текст. В карточке также описаны варианты для текстового режима, включая сборку с контекстом 1 млн токенов; эти сведения не подтверждают такую длину контекста для основного репозитория. Модель предназначена для мультимодальных диалогов, анализа изображений, рассуждений, задач STEM и программирования. Автор сообщает об улучшении perplexity, скорости и результатов на отдельных тестах после слияния, но не приводит полного описания методики и воспроизводимых сравнений. Модель распространяется под лицензией Apache-2.0.

Myric/Qwen3.8-Flash-Next-APEX-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста, мультимодального анализа изображений и агентного программирования с использованием llama.cpp. В комплект входят основной файл MIDDLE для инференса, BF16-файл как источник для квантования и отдельный vision projector для работы с изображениями. Архитектура представляет собой мультимодальную MoE-модель общим размером около 180 млрд параметров и примерно 6,8 млрд активных параметров. Она содержит 48 слоёв, 512 маршрутизируемых экспертов с выбором top-10, гибридную архитектуру gated-delta-net с полноценным attention в каждом четвёртом слое, разреженное QSA-внимание и n-gram embeddings на уровне слоёв. Заявленный контекст составляет до 262 144 токенов. Поддержка языков в README не указана. Сильные стороны модели — большой контекст, мультимодальные возможности, эффективная MoE-архитектура и хорошие результаты в описанном тесте агентного программирования: 9 из 9 задач и 154 из 154 тестов. Ограничения включают высокие требования к памяти: для MIDDLE требуется около 85,4 GiB под веса, а также дополнительная память под KV-кэш и вычислительные буферы. Для llama.cpp рекомендуется использовать f16 KV-кэш и один параллельный слот; q8_0 KV может приводить к сбоям или некорректным результатам. Параметр reasoning effort high не поддерживается, допустимы xhigh, medium и low. Для работы с изображениями требуется vision projector. Модель распространяется по лицензии Apache-2.0. Для запуска опубликованных файлов необходима актуальная версия llama.cpp с поддержкой qwen4exp; самостоятельная конвертация требует специальной ветки конвертера, поскольку соответствующее исправление ещё не включено upstream.

JC1DA/Qwopus3.8-27B-Flash-INT4-W4A16 — экспериментальная 4-битная версия модели Qwopus3.8-27B-Flash, разработанной Jackrong на основе Qwen/Qwen3.8-27B. Модель ориентирована на генерацию текста, диалоговые сценарии, рассуждения, написание кода, агентские рабочие процессы, использование инструментов и function calling. Заявлена поддержка английского, китайского, испанского, русского и японского языков. В карточке также указан мультимодальный pipeline image-text-to-text и сохранённый visual encoder, однако подробности о возможностях работы с изображениями не приведены. Квантование выполнено с помощью AutoRound 0.12.3 и GPTQ: 4 бита для весов, 16 бит для активаций, размер группы 128. Размер модели составляет около 19 ГБ вместо примерно 54 ГБ в FP16, что уменьшает объём памяти приблизительно на 65%. В FP16 сохранены проекционные матрицы linear attention во всех 64 слоях, модуль MTP и visual encoder. Модель совместима с Transformers и другими средами, поддерживающими GPTQ/AutoRound, а также предназначена для высокопроизводительного сервинга через vLLM. Сильные стороны модели — сниженное потребление памяти, пригодность для локального запуска, длительных агентских сценариев и speculative decoding. На ARC-Easy квантованная версия показала 84,13% точности против 83,71% у FP16-версии. Ограничения включают возможный компромисс между эффективностью и точностью: в указанном наборе MMLU-Pro модель получила 91,28% против 92,73% у базовой Qwen3.8. Возможны нестабильность рассуждений, циклы и неэффективные траектории; качество применения инструментов зависит от промпта, окружения и оркестрации. Релиз обозначен как экспериментальный и предназначен для исследований, локальной оценки и технических экспериментов. Лицензия — Apache-2.0.

Qwopus3.8-27B-Flash-V2-bf16 — конверсия модели Jackrong/Qwopus3.8-27B-Flash-V2 в формат MLX BF16, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon. Это мультимодальная модель семейства Qwen3.5 с архитектурой условной генерации; она принимает текст, изображения и видеоматериалы и поддерживает чат, работу с инструментами и генерацию кода. В конверсии сохранены шаблон чата и настройки мультимодального процессора исходной модели. Модель подходит для диалогов и задач с кодом, а также для вопросов по изображениям и видео. Для мультимодального запуска README рекомендует библиотеку mlx-vlm. Модель распространяется по лицензии Apache 2.0, унаследованной от исходной модели; подробности о назначении и ограничениях приведены в её исходной карточке.

QwQ-MathOct-7B — дообученная PrithivMLmods языковая модель на базе Qwen/Qwen2.5-7B-Instruct. Это плотная причинная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Она ориентирована на математические задачи, рассуждения, помощь с кодом, следование инструкциям и создание структурированных ответов; поддерживает контекст до 32 768 токенов и работает через Transformers. Модель подходит для пошагового объяснения решений, генерации и разбора кода, подготовки учебных материалов, многоязычного общения и создания содержимого. В карточке заявлена поддержка более 29 языков, включая русский и английский. Возможные ограничения — ошибки в неоднозначных задачах, устаревшие знания, унаследованные от обучающих данных смещения и необходимость проверки ответов, особенно в чувствительных сценариях. Указана лицензия Apache-2.0.