II.4Отладка, тестирование и качество ПО

Mungert/NVIDIA-Nemotron-Nano-12B-v2-GGUF — это GGUF-версия языковой модели NVIDIA-Nemotron-Nano-12B-v2, разработанной NVIDIA Corporation и преобразованной с использованием llama.cpp. Модель дообучена на базе NVIDIA-Nemotron-Nano-12B-v2-Base и предназначена для генерации текста, диалогов, следования инструкциям и решения задач с рассуждением, включая программирование, математические задачи, чат-ботов, RAG-системы и AI-агентов. Модель имеет гибридную архитектуру Mamba2-Transformer (Nemotron-Hybrid), включающую преимущественно слои Mamba-2 и MLP, а также четыре attention-слоя. Она поддерживает текстовый ввод и вывод, контекст до 128K токенов и управление бюджетом рассуждений во время инференса. В карточке указана поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе о вводе дополнительно перечислены корейский, португальский, русский и китайский языки. Модель имеет размер 12B параметров. Сильными сторонами являются сочетание возможностей рассуждения и обычного диалога, большой контекст, возможность отключать или ограничивать рассуждения, а также оптимизация GGUF-представления с повышением точности отдельных важных слоёв при квантовании. Ограничения включают возможное снижение точности при отключении рассуждений и увеличение размера файлов из-за повышения точности отдельных слоёв; конкретные характеристики производительности зависят от выбранного варианта квантования. Использование разрешено для коммерческих целей в соответствии с NVIDIA Open Model License Agreement.

Qwen3.6-27B-Claude-Opus-DeepSeek-Distilled-Imatrix-MTP-1M-GGUF — квантованная модель в формате GGUF на базе Qwen3.6-27B, опубликованная Brian6145. Она предназначена для локального запуска, агентных сценариев, ReAct-рассуждений, использования инструментов, структурированного вывода, многошагового выполнения задач, анализа кода и работы с длинными документами. Модель поддерживает английский и китайский языки и относится к задачам генерации текста. Вариант дообучен методом дистилляции с использованием Claude Opus, DeepSeek и математико-логических моделей: заявлены улучшения систематичности рассуждений, оркестрации инструментов, завершения задач и математической логики. Контекстное окно расширено с 262 144 до 1 048 576 токенов с помощью YaRN, что позволяет обрабатывать книги, большие кодовые базы и длительные диалоги. В репозитории также заявлена поддержка speculative decoding через MTP; конкретный размер квантования для этой карточки не указан. В качестве сильных сторон заявлены агентное поведение, вызов инструментов, следование инструкциям, структурированный вывод и результаты на внутренних тестах, включая GPQA-Diamond — 83,84% и MMLU-500 — 91,80%. Рекомендуемые параметры генерации — temperature 0,6 и top_p 0,95; отклонение от них, согласно README, может ухудшать стабильность и качество вызова инструментов. Производительность зависит от оборудования и конфигурации инференса. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3.6-27B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.6-27B, созданная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с агентными сценариями и вызовами инструментов. Модель использует смешанную точность: 276 слоёв представлены в 4-битном формате, а 220 наиболее чувствительных слоёв — в 8-битном; размер группы составляет 64. Общий объём на диске — около 17,5 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. README не указывает поддерживаемые языки и размер контекстного окна. Для загрузки доступна библиотека mlx-lm, а расширенные возможности предоставляет mlx-optiq. По приведённым тестам модель демонстрирует высокие результаты в MMLU, GSM8K, следовании инструкциям, вызове функций, генерации кода и извлечении данных из длинного контекста; средний Capability Score составляет 86,04. Ограничениями являются необходимость совместимого оборудования Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и некоторое снижение результатов в отдельных тестах относительно неё. Модель распространяется по лицензии Apache 2.0 и наследует её от базовой модели.

Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound — мультимодальная языковая модель на базе Qwen3.8 Vision-Language Model, подготовленная goldhub с использованием AutoRound. Базовую архитектуру и мультимодальные возможности разработала команда Qwen. Модель предназначена для генерации и анализа текста, программирования, математических и логических рассуждений, творческих задач, а также обработки изображений и видео. Модель содержит 27 миллиардов параметров и использует квантизацию W4A16: веса представлены в 4 битах, активации — в 16 битах, размер группы — 32, применяется симметричная квантизация. Критические компоненты, включая визуальный энкодер, эмбеддинги и отдельные проекции attention, сохранены в FP16/BF16. Заявлена поддержка контекста до 256K токенов, Multi-Token Prediction, а также входных данных в форматах текст, изображение и видео. Указаны языки: английский, китайский, русский, украинский, греческий и иврит. Сильными сторонами являются сочетание мультимодальности, длинного контекста и сниженных требований к памяти по сравнению с полноразмерной моделью. README приводит результаты внутренних тестов по скорости, математике, рассуждениям, программированию и длинному контексту, однако их независимое подтверждение не представлено. К ограничениям относятся повышенные требования к видеопамяти из-за сохранённых слоёв FP16/BF16, необходимость аккуратной настройки батчинга для длинного контекста и потенциальная зависимость запуска от поддержки AutoRound, vLLM, SGLang или remote code. Модель распространяется по лицензии Apache-2.0.

Frosty40/Qwen3.8-27B-GGUF — это квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат GGUF для запуска через llama.cpp. Модель предназначена для генерации и анализа текста, работы с кодом и агентскими сценариями, а также для задач vision-language с обработкой изображений через отдельный vision projector. Поддерживаются большие контексты до 262K токенов, гибридная архитектура с 48 слоями линейного внимания Gated-DeltaNet и 16 слоями полного внимания, а также межслойное позиционное кодирование MRoPE и гибридная recurrent-attention память. Языки в README явно не указаны. Основной рекомендуемый файл использует квантование Q6_K, повышенную точность Q8_0 для attention-проекций и встроенную MTP-голову для speculative decoding; его размер составляет 23,2 ГБ. MTP может ускорять декодирование примерно на 45–95% при поддержке NextN/MTP в llama.cpp. Заявлены высокая близость к версии bf16, особенно для кода и агентских задач, а также сохранение качества vision-инференса. Для работы требуются llama.cpp с поддержкой архитектуры qwen35, а для MTP-версии — дополнительная поддержка NextN/MTP и vision projector. Контекстное смещение недоступно, а превышение объёма памяти видеокарты приводит к выгрузке в оперативную память и снижению производительности. Модель распространяется по лицензии Apache-2.0.

duyntnet/Qwen3-8B-imatrix-GGUF — набор квантованных версий модели Qwen3-8B, опубликованный пользователем duyntnet на основе Qwen/Qwen3-8B. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, программирования, творческого письма, ролевого общения, перевода и агентских сценариев с интеграцией внешних инструментов. Это авторегрессионная causal language model с 8,2 млрд параметров, включая 6,95 млрд параметров без учёта эмбеддингов. Архитектура содержит 36 слоёв и использует Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов. Она допускает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Формат GGUF и imatrix-квантизации ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие интерфейсы. Потенциальные ограничения связаны с потерями качества, зависящими от выбранного уровня квантизации, а также с требованиями к памяти и производительности оборудования; конкретные параметры для отдельных файлов в README не указаны. Лицензия обозначена как other, без уточнения дополнительных условий использования.

Spark-X2.5-4B — компактная универсальная языковая модель семейства Spark-X2.5, опубликованная пользователем qikuanz на базе XHToken/Spark-X2.5-4B-Base. Модель предназначена для диалогов, генерации и редактирования текста, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Она ориентирована на локальное и эффективное развертывание, включая работу через llama.cpp, vLLM, SGLang, MLX, Ollama и LM Studio. Модель содержит около 4 млрд параметров и использует гибридную архитектуру внимания: один слой полного внимания сочетается с тремя слоями внимания со скользящим окном. Заявлена нативная поддержка контекста до 1 048 576 токенов и более 200 языков. В репозитории доступны GGUF-квантизации Q4_0, Q4_K_M и Q8_0, подходящие для запуска на совместимом оборудовании; также заявлена интеграция с агентскими инструментами и широкая аппаратная совместимость. Сильными сторонами модели являются небольшие размеры, поддержка очень длинного контекста, многоязычность, задачи программирования и агентские рабочие процессы, а также наличие нескольких вариантов квантизации. Ограничения связаны с зависимостью фактического потребления памяти и доступного контекста от используемого runtime и оборудования: сами GGUF-файлы не гарантируют совместимость с NPU, ONNX или конкретными библиотеками. Модель и добавленные GGUF-файлы распространяются по лицензии Apache-2.0.

DeepSeek-V3.1 — большая языковая модель, разработанная DeepSeek AI. Она поддерживает гибридный режим: может работать в режиме с рассуждением и без него, переключаясь через шаблон чата. Модель предназначена для диалоговых приложений, генерации ответов, задач, требующих сложного рассуждения, а также для использования инструментов и агентских сценариев. Модель содержит 671 млрд параметров, из которых при генерации активируется 37 млрд, и поддерживает контекст длиной до 128 тысяч токенов. Она дообучена на базе DeepSeek-V3.1-Base, использует расширенное обучение на длинных контекстах и формат данных UE8M0 FP8 для весов и активаций. Режим с рассуждением ориентирован на повышение качества решения сложных задач и сопоставим по качеству с DeepSeek-R1-0528, при этом заявлено более быстрое формирование ответов. Поддержка вызова инструментов заявлена для режима без рассуждения. README не содержит сведений о поддерживаемых языках и мультимодальных возможностях, поэтому модель следует рассматривать прежде всего как текстовую языковую модель. Большой общий размер параметров может предъявлять высокие требования к инфраструктуре, несмотря на меньшее число активируемых параметров. Модель распространяется по лицензии MIT.

Карточка модели ApocalypseParty/G4-31B-SFT-v6-3 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

unsloth/gemma-4-26b-a4b-it-UD-MLX-4bit — MLX-совместимая 4-битная версия instruction-tuned модели Gemma 4 26B A4B, подготовленная Unsloth на основе модели Google DeepMind. Это мультимодальная модель с открытыми весами, предназначенная для локального запуска и дообучения в экосистеме MLX. Модель рассчитана на генерацию текста, рассуждения, программирование, мультимодальное понимание изображений, агентские сценарии и вызов функций. Вариант 26B A4B использует архитектуру Mixture-of-Experts (MoE); обозначение A4B указывает на эффективный объём активируемых параметров около 4B при общем размере модели 26B. Для семейства Gemma 4 заявлены поддержка текста и изображений, контекст до 256K токенов, более 140 языков, настраиваемые режимы рассуждения, нативная поддержка system prompt и function calling. Поддержка аудио для этой версии не указана; в README она отмечена только для малых моделей E2B и E4B. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также эффективность MoE-архитектуры и 4-битной квантизации для локального запуска на совместимом оборудовании Apple Silicon или другом окружении MLX. Ограничения связаны с необходимостью MLX-совместимой инфраструктуры и потенциальными компромиссами 4-битной квантизации, однако количественные характеристики таких компромиссов в README не приведены. Модель распространяется по лицензии Apache 2.0.

Карточка модели arolstar52/gemma-4-31B-it на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

Карточка модели Iambackup/gemma-4-31B-it на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

unsloth/gemma-4-E2B-it — дообученная Unsloth версия мультимодальной Gemma 4 E2B IT от Google DeepMind. Это плотная модель условной генерации с гибридным вниманием: локальные окна чередуются с глобальным вниманием. Она предназначена для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений; карточка указывает контекст до 128 тыс. токенов для E2B/E4B и поддержку более чем 35 языков. Репозиторий содержит веса в формате safetensors. Модель подходит для визуальных вопросов и ответов, извлечения данных из документов, распознавания текста и содержимого диаграмм, понимания интерфейсов и генерации кода. Gemma 4 E2B также поддерживает аудиораспознавание и перевод речи в текст, однако карточка этого репозитория и его pipeline tag обозначают задачу image-text-to-text. Ответы могут содержать фактические ошибки, а качество зависит от формулировки запроса и охвата обучающих данных; модель может ошибаться в нюансах языка и здравом смысле. Лицензия — Apache-2.0.

Карточка модели sebastian06austin/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

InternLM2-Chat-7B-SFT — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это версия с supervised fine-tuning на базе InternLM2-Base-7B; позднее модель InternLM2-Chat-7B дополнительно обучалась с помощью Online RLHF. Параметры модели представлены плотной архитектурой InternLM2ForCausalLM, вес составляют 7,4 млрд параметров, формат репозитория — Safetensors, нативное окно контекста — 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, рассуждений, математических и кодовых задач, творческого письма и анализа длинных текстов; README также описывает возможности вызова инструментов и анализа данных. Карточка отдельно указывает, что SFT-версия выпущена для изучения влияния RLHF. Модель поддерживает китайский и английский языки, а в карточке представлены также результаты оценки языковой компетенции. Заявление README о контексте до 200 тысяч относится к возможностям семейства и запуску через LMDeploy; для этого репозитория метаданные указывают нативный контекст 32 768 токенов. Модель может выдавать предвзятые, дискриминационные или иные вредоносные ответы. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.

JoyAI-LLM Flash — среднеразмерная инструкционная языковая модель, разработанная командой JD/JDopensource. Она предназначена для генерации текста, ответов на вопросы, работы со знаниями, рассуждений, программирования, использования инструментов и автономного решения задач. Модель обучалась на 20 триллионах текстовых токенов с применением оптимизатора Muon, а затем прошла supervised fine-tuning, direct preference optimization и reinforcement learning в различных средах. Заявлена поддержка китайского и английского языков. Модель использует архитектуру Mixture-of-Experts с 48 миллиардами общих и 3 миллиардами активируемых параметров. Она содержит 40 слоёв, включая один dense-слой, 32 attention heads, 256 экспертов, из которых для каждого токена выбираются 8, и один shared expert. Используются attention-механизм MLA, активация SwiGLU, словарь примерно на 129 тысяч токенов и контекст длиной до 128K токенов. Среди заявленных особенностей — FiberPO для повышения устойчивости обучения агентов и методы совместной оптимизации обучения и инференса, обеспечивающие заявленный прирост пропускной способности в 1,3–1,7 раза относительно версии без MTP. README указывает лицензию Modified MIT. Конкретные ограничения, требования к оборудованию и условия коммерческого использования отдельно не описаны.

Ling-3.0-flash-int4 — текстовая генеративная модель от inclusionAI, представленная в формате int4 и распространяемая по лицензии MIT. Она предназначена для генерации текста, рассуждений, следования инструкциям, программирования, задач общего назначения, глубокого исследования и агентских рабочих процессов, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель использует гибридную линейную MoE-архитектуру с чередованием 35 слоёв Kimi Delta Attention (KDA) и 7 слоёв Gated MLA в соотношении 5:1, двумя плотными слоями, 512 маршрутизируемыми и одним общим экспертом; на токен активируется 8 экспертов. Общий объём составляет 124 млрд параметров, активный — 5,1 млрд. Размер скрытого состояния — 2560, число голов внимания — 32, словарь содержит 157184 токена. Контекст обучался поэтапно от 8K до 256K токенов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — высокая вычислительная эффективность, поддержка длинного контекста, рассуждений и агентских сценариев, а также оптимизация для производственного развёртывания. Указана интеграция с иерархическим кэшированием SGLang HiCache и Mooncake, которое, по данным разработчика, снижает время до первого токена на 60–80% при длинных входах. Ограничения включают отсутствие в README подробностей о точности int4, фактических требованиях к аппаратному обеспечению, качестве на конкретных языках и результатах независимой проверки. Лицензия — MIT.

Lion-Lamarck-v.1.0.8 — объединённая с помощью mergekit методом SCE языковая модель на архитектуре Qwen2, опубликованная пользователем nlpguy. В качестве основы использована sometimesanotion/Lamarck-14B-v0.7; в объединение также вошли SuperNova-Medius, Virtuoso-Small, Qwen2.5-14B-Vimarckoso-v3 и DeepSeek-R1-Distill-Qwen-14B. Размер модели — 14 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и генерации текста. Она может использоваться для ответов на вопросы, помощи с математическими задачами и программированием, а также для текстовых задач, требующих рассуждений. Доступны веса в формате safetensors и интерфейс для вызова инструментов. В метаданных не указана лицензия, поэтому условия использования следует проверить на странице репозитория Hugging Face.

bullerwins/Meta-Llama-3.1-8B-Instruct-GGUF — GGUF-квантизированная версия инструкционной модели Meta-Llama-3.1-8B-Instruct, разработанной Meta. Это авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer; инструкционная настройка выполнена с использованием supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского применения, включая создание синтетических данных и дистилляцию. Она работает только с текстом на входе и выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер модели — 8B параметров, контекст — до 128K токенов, используется Grouped-Query Attention. Ключевые преимущества — мультиязычность, поддержка длинного контекста и локального запуска через совместимые инструменты llama.cpp. Эта версия требует llama.cpp 5e2727f или более новой из-за исправлений токенизатора и RoPE. Модель является статичной и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года, поэтому не обладает актуальными знаниями без внешних источников. Качество и потребление ресурсов зависят от выбранного уровня GGUF-квантизации, который в README не указан. Распространяется по коммерческой лицензии Llama 3.1 Community License; использование также ограничено применимыми законами, Acceptable Use Policy и условиями лицензии.

Карточка модели OceanLabs/Ocean-3.7B-agentic на Hugging Face совпадает с карточкой OceanLabs/Ocean-Horizon-3.7B, поэтому описание составлено по ней. Ocean-Horizon-3.7B — плотная авторегрессионная языковая модель с декодерной архитектурой от OceanLabs. В метаданных указано 4,1 млрд параметров, тогда как в названии и README модель обозначена как 3,7B. Она работает через Transformers и имеет нативное контекстное окно 524 288 токенов. Модель предназначена для генерации текста, программирования, математических и научных рассуждений, агентных сценариев и анализа длинных документов. Карточка заявляет настраиваемую глубину рассуждений, специальные токены для них и встроенный вызов инструментов с представлением JSON, XML или Markdown. В README описан многоэтапный процесс обучения, включающий предобучение, расширение контекста, обучение на задачах рассуждения и настройку по инструкциям. Базовая модель не указана. Лицензия Apache-2.0 разрешает исследовательское и коммерческое использование. Заявления о высокой производительности приведены без численных результатов бенчмарков в доступной части карточки.

unsloth/Qwen3.5-397B-A17B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen и подготовленной для локального запуска компанией Unsloth. Модель предназначена для работы с текстом и изображениями, включая диалоговые сценарии, рассуждения, программирование, визуальное понимание, агентские задачи и вызов инструментов. В основе лежит гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts; обозначение 397B-A17B указывает на общий размер 397 млрд параметров и около 17 млрд активных параметров. Заявлена поддержка 201 языка и диалекта. Вариант MTP поддерживает speculative decoding, что может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступны настройки для включения и отключения режима рассуждений, а также улучшения для tool calling и coding. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разрежанной архитектуры, широкое языковое покрытие и возможность локального запуска в формате GGUF. Ограничения связаны с очень большим размером модели и требованиями к ресурсам, необходимостью совместимого ПО и специальной настройки MTP; при этом режиме не поддерживаются параллельные запросы с np > 1 и использование mmproj. README не указывает максимальную длину контекста. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-9B — постобученная мультимодальная модель семейства Qwen3.5, опубликованная в формате Transformers командой Unsloth. Это причинная языковая модель с визуальным энкодером на 9 млрд параметров; архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Модель принимает текст и изображения, ведёт диалог, анализирует визуальные материалы, рассуждает и поддерживает вызов инструментов. Модель рассчитана на мультиязычное применение: карточка заявляет поддержку 201 языка и диалекта. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Веса сохранены в формате safetensors и совместимы с Transformers и рядом серверов инференса. Лицензия — Apache-2.0. Среди подходящих сценариев — вопросы по изображениям и визуальное понимание, многоязычный диалог, программирование, рассуждения и агентные задачи с использованием инструментов. Режим рассуждений включён по умолчанию; высокая пропускная способность и эффективность зависят от выбранного движка и его версии. Для длинного контекста требуются значительные ресурсы памяти, а при нехватке памяти рекомендуется уменьшить окно контекста.

cyankiwi/Qwen3.6-27B-AWQ-INT4 — квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Вариант использует квантизацию AWQ в формате INT4; размер файлов модели составляет около 20,44 ГБ. Лицензия — Apache 2.0. Модель предназначена для генерации текста, программирования, работы с агентными сценариями и анализа изображений с текстовым ответом. В README отдельно отмечены улучшения в агентном программировании, включая работу с frontend-задачами и рассуждение на уровне репозитория, а также возможность сохранять контекст рассуждений из предыдущих сообщений. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Архитектура представляет собой авторегрессионную языковую модель с vision encoder, 27 миллиардами параметров, 64 слоями и контекстом 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. В составе используются Gated DeltaNet, Gated Attention и многошаговое обучение MTP. Квантизация снижает требования к памяти и упрощает локальное развертывание, но может несколько ограничивать точность по сравнению с полноразмерной версией; конкретные потери качества для данного варианта в README не указаны.

palmfuture/Qwen3.6-27B-GPTQ-Int4 — это GPTQ-квантизованная до Int4 версия открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной пользователем palmfuture. Модель представляет собой каузальную языковую модель с визуальным энкодером и предназначена для генерации текста и кода, выполнения инструкций, математического рассуждения, анализа изображений, агентского программирования и работы с большими контекстами. Заявлена поддержка английского, тайского, китайского и других многоязычных сценариев. Исходная модель содержит около 27 млрд параметров, 64 слоя и гибридную архитектуру Gated DeltaNet/Mamba и gated attention, дополненную MTP для многотокенного предсказания и ускорения спекулятивного декодирования. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. В данной версии основные линейные слои квантизованы в Int4 с uniform group_size=32, тогда как нормализации, эмбеддинги, языковая голова, визуальный энкодер и MTP-слои сохранены в формате bfloat16. Указана совместимость с Transformers, vLLM и SGLang; MTP-параметры проверены на vLLM 0.21.0. К преимуществам относятся существенное снижение требований к памяти по сравнению с полноразмерной версией, заявленная 100%-ная успешность GPTQ-квантизации без RTN fallback и сохранение поддержки мультимодального ввода. Ограничения включают возможное ухудшение качества из-за 4-битной квантизации, а также необходимость совместимого программного окружения и нескольких GPU для практического запуска; точные требования к инференсу в README не указаны. Лицензия — Apache-2.0.

hamishivi/Qwen3-8B — дообученная версия Qwen3-8B-Base с изменённым шаблоном чата, который сохраняет промежуточные рассуждения. Это плотная авторегрессионная языковая модель семейства Qwen3 на 7,6 млрд параметров, рассчитанная на генерацию текста и диалог; репозиторий использует Transformers и формат safetensors. Модель подходит для ответов на инструкции, многошаговых рассуждений, решения математических задач, генерации кода, перевода и многоязычного диалога. Она поддерживает переключение режимов рассуждения и обычного ответа, а интерфейс чата допускает интеграцию с инструментами. Метаданные указывают контекст до 40 960 токенов; README описывает 32 768 токенов штатно и до 131 072 с YaRN. В README заявлена поддержка более 100 языков и диалектов. Ограниченный объём карточки не содержит отдельной оценки качества именно этой модификации шаблона. Модель распространяется по лицензии Apache-2.0.

ddalcu/Qwen3.8-Flash-Next-MLX-Serve-mixed-4-8bit — это квантованный пакет модели Qwen/Qwen3.8-Flash-Next, подготовленный для mlx-serve. Модель основана на экспериментальной архитектуре Qwen4 с разреженным вниманием, Mixture-of-Experts, GDN, n-gram embedding и встроенной MTP-головой. Пакет также содержит vision tower для обработки изображений и видео. Модель предназначена для генерации текста, включая работу с кодом, длинными контекстами, диалогами, изображениями и видео, а также для сценариев с инструментами через XML-формат вызовов Qwen3.8. Заявлен нативный контекст до 262 000 токенов. Разреженное внимание после первых 2048 токенов выбирает наиболее релевантные блоки, благодаря чему стоимость внимания не растёт линейно с длиной контекста. Механизм MTP может ускорять декодирование, особенно на коде, но включается отдельно и не используется для запросов с изображениями. Полный состав оценивается в 180B параметров: 125B основной части, 51B n-gram embedding и 4B MTP-головы. Эксперты MoE хранятся в 4-bit, большинство остальных компонентов — в 8-bit, а отдельные параметры и vision tower — в bf16. Пакет рассчитан на Mac с 128 GB памяти и занимает около 75 GB резидентной памяти без учёта KV-кэша. Ограничения mlx-serve включают обработку только одного запроса одновременно, отсутствие пакетированного декодирования и возможное замедление холодного prefill длинных запросов из-за чтения n-gram-таблицы с SSD. Модель использует лицензию qwen-community-1.0; дополнительные условия следует уточнять в файле LICENSE.

Spark-X2.5-4B-Base — предварительно обученная плотная языковая модель семейства Spark2.5 от разработчиков Spark-X2.5. Она содержит 3,8 млрд параметров и предназначена для генерации текста, диалогов, написания и перевода текстов, рассуждений, программирования и использования инструментов в агентных сценариях. Гибридная архитектура чередует один слой полного внимания с тремя слоями внимания в скользящем окне, что помогает снизить вычислительные затраты и расход KV-кэша при длинном контексте. Модель поддерживает контекст до 1 048 576 токенов. README заявляет поддержку более 200 языков, включая английский и китайский; метаданные также отмечают интерфейс для вызова инструментов. Веса доступны в формате Safetensors для Transformers. Модель рассчитана на применение в чат-ботах, программировании и агентных системах; совместима с несколькими аппаратными платформами и системами инференса. Лицензия — Apache-2.0. Заявленные в карточке сравнительные преимущества не сопровождаются здесь подробностями оценок; фактическое качество может зависеть от задачи и конфигурации.

Yi-1.5-9B-Chat — диалоговая языковая модель семейства Yi, разработанная командой 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 8,6 млрд параметров, представленная в формате safetensors. Yi-1.5 продолжает предварительное обучение Yi на корпусе из 500 млрд токенов и проходит дообучение на 3 млн разнообразных примеров; версия Chat предназначена для диалога и следования инструкциям. Модель подходит для ответов на вопросы, рассуждений, задач по математике и программированию, а также понимания и краткого анализа текста. В карточке заявлен контекст 4 тыс. токенов; линейка Yi-1.5 также включает варианты с контекстом 16 тыс. и 32 тыс. токенов. README характеризует 9B Chat как сильную модель среди открытых моделей сопоставимого размера. Лицензия — Apache-2.0.

Apodex-1.1-mini-GPTQ-Int4 — квантизированная версия модели Apodex-1.1-mini, разработанная Apodex AI. Это reasoning-first модель для сложных исследовательских задач с длительным горизонтом выполнения и текстовой генерации. Она ориентирована на работу с документами, наборами данных, таблицами, изображениями, кодом и внешними инструментами, включая декомпозицию задач, параллельную работу субагентов, поддержание состояния и проверку результатов перед выдачей. Модель поддерживает английский и китайский языки, использует шаблон чата Qwen3.5 и обучена для нативного вызова функций. Для агентских сценариев рекомендуется развёртывание через SGLang с OpenAI-совместимым API; в README указаны рекомендуемые параметры с максимальной длиной контекста 262144 токена и лимитом генерации 32768 токенов. Указанный формат GPTQ Int4 снижает требования к памяти, но сведения о точном размере, архитектуре и аппаратных требованиях не приведены. Сильные стороны модели — ориентация на комплексную многоэтапную работу, использование инструментов, адаптивное планирование и встроенная проверка утверждений, источников и вычислений. Ограничения связаны с тем, что результаты зависят от корректной настройки агентской инфраструктуры и доступных инструментов, а количественные показатели в README относятся преимущественно к системам Apodex и Agent Team, а не обязательно к автономной работе данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

Apodex-1.1-mini-NVFP4 — reasoning-first языковая модель для сложных исследовательских задач с длительным горизонтом, разработанная командой Apodex AI. Она предназначена для агентных сценариев, в которых требуется работать с документами, наборами данных, таблицами, изображениями, кодом и инструментами: очищать данные, выбирать методы, выполнять анализ, проверять промежуточные результаты, восстанавливаться после ошибок и формировать проверяемые итоговые материалы. Модель основана на Apodex-1.1-mini и ориентирована на применение через AgentOS и асинхронную Agent Team, способную декомпозировать задачи, координировать параллельных субагентов, сохранять состояние работы, адаптировать план и учитывать обратную связь без полного перезапуска. Поддерживаются английский и китайский языки, генерация текста и нативные вызовы функций. Указан контекст до 262 144 токенов и рекомендуемый максимум генерации 32 768 токенов. Модель следует шаблону чата Qwen3.5; для развёртывания рекомендуется SGLang, а вариант NVFP4 использует соответствующую квантизацию. Сильные стороны модели — выполнение комплексных задач от начала до конца, работа с инструментами и встроенная проверка утверждений по источникам, данным и вычислениям. README приводит конкурентные результаты Apodex-1.1-mini на агентных, финансовых и исследовательских бенчмарках, однако не раскрывает точный размер модели, архитектуру и полный перечень ограничений. Для работы требуются совместимые сервер и парсеры вызовов инструментов; конкретные характеристики производительности зависят от конфигурации развёртывания. Модель распространяется по лицензии Apache 2.0.