II.3Рефакторинг, миграция и модернизация

Sakalti/oxyge1-33B — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве базовой модели использована Qwen/QwQ-32B-Preview, в слияние также включена Qwen/Qwen2.5-32B-Instruct. Модель содержит 32 млрд параметров и принимает текст для генерации текста и диалоговых ответов; метаданные также указывают интерфейс вызова инструментов. Модель подходит для диалоговых сценариев, генерации текста, программирования, математических задач и структурированных ответов — эти возможности описаны для базовой Qwen2.5-32B-Instruct. Максимальная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

ThomasBaruzier/Qwen2.5-14B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Репозиторий подготовлен с использованием llama.cpp и imatrix-квантизации, поэтому предназначен для локального запуска совместимых вариантов модели с различным соотношением качества, размера и требований к памяти. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в attention QKV. Она содержит 14,7 млрд параметров, 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Поддерживаются контекст до 131 072 токенов и генерация до 8192 токенов. Модель предназначена для диалогов, следования инструкциям, генерации длинных текстов, работы со структурированными данными и JSON, а также задач программирования и математики. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Главное преимущество репозитория — широкий выбор квантизаций от IQ1_S до Q8_0 и F16: меньшие варианты экономят память, а более крупные обеспечивают качество, близкое к полной точности. Ограничения зависят от выбранного варианта: агрессивная квантизация снижает размер, но может ухудшать точность и плавность генерации; для работы требуется совместимое ПО, например llama.cpp. Модель распространяется по лицензии Apache-2.0.

dnotitia/Qwen3-4B-Instruct-2507 — вариант Qwen3-4B, опубликованный Dnotitia с изменённым шаблоном чата; веса совпадают с официальным выпуском Qwen3. Шаблон вынесен в отдельный файл и дополнен тегами для совместимости с обучением через TRL и режимом assistant_only_loss. Модель имеет плотную причинную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и нативный контекст до 262 144 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она помогает отвечать на вопросы, рассуждать, решать математические и научные задачи, писать код и вызывать инструменты. Это режим без пошагового thinking-вывода; в карточке также заявлены улучшенное понимание длинного контекста и многоязычные знания. Для запуска рекомендуется актуальная версия Transformers, а для агентных сценариев — Qwen-Agent. Модель распространяется по лицензии Apache-2.0. Карточка не приводит конкретный список поддерживаемых языков, поэтому нельзя определить основной язык; качество может зависеть от языка, запроса и длины входного текста. Для обычных запросов авторы рекомендуют ограничивать генерацию примерно 16 384 токенами, хотя нативное окно контекста значительно длиннее.

AxionML/Qwen3.5-35B-A3B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанная AxionML для задач открытого размещения и развёртывания. Модель предназначена для обработки текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она реализована как авторегрессионная языковая модель с vision encoder и поддерживает архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Модель содержит 35 млрд параметров, из которых активируется около 3 млрд, имеет 40 слоёв и нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют квантование NVFP4, выполненное с помощью NVIDIA TensorRT Model Optimizer; это уменьшает размер модели на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. Формат ориентирован на ускоренный inference на оборудовании с поддержкой Blackwell Tensor Cores. К сильным сторонам относятся высокая параметрическая эффективность за счёт MoE, большой контекст, мультимодальность и сниженные требования к памяти благодаря 4-битному квантованию. Ограничения связаны с зависимостью производительности и качества от совместимого оборудования и программного стека, а также с потенциальными потерями точности, свойственными квантованию; конкретные требования к аппаратному обеспечению и подробные результаты оценки в представленном фрагменте не указаны. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

Qwen3.5-9B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это причинная языковая модель с vision encoder, поддерживающая обработку текста и изображений. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев, визуального понимания и вызова инструментов. Модель содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; заявлены ранняя интеграция мультимодальных токенов и обучение с multi-step prediction (MTP). Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. MTP-режим со speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки llama.cpp. Сильные стороны модели — сочетание языковых и визуальных возможностей, большой контекст, поддержка инструментов и высокая скорость локального инференса в MTP-режиме. Ограничения включают необходимость специальной сборки llama.cpp для MTP; при таком запуске не поддерживаются параллелизм запросов через -np > 1 и параметр --mmproj. Доступна по лицензии Apache 2.0.

mlx-community/Qwen3.6-27B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.6-27B, созданная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с агентными сценариями и вызовами инструментов. Модель использует смешанную точность: 276 слоёв представлены в 4-битном формате, а 220 наиболее чувствительных слоёв — в 8-битном; размер группы составляет 64. Общий объём на диске — около 17,5 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. README не указывает поддерживаемые языки и размер контекстного окна. Для загрузки доступна библиотека mlx-lm, а расширенные возможности предоставляет mlx-optiq. По приведённым тестам модель демонстрирует высокие результаты в MMLU, GSM8K, следовании инструкциям, вызове функций, генерации кода и извлечении данных из длинного контекста; средний Capability Score составляет 86,04. Ограничениями являются необходимость совместимого оборудования Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и некоторое снижение результатов в отдельных тестах относительно неё. Модель распространяется по лицензии Apache 2.0 и наследует её от базовой модели.

nicosuter/Qwen3.8-27B-AWQ — это мультимодальная квантованная версия модели Qwen/Qwen3.8-27B, подготовленная разработчиком nicosuter. Модель предназначена для обработки текста и изображений, включая программирование, математические и научные задачи, вызов инструментов, анализ документов, таблиц и визуальных вопросов. Архитектура и исходные веса унаследованы от Qwen3.8-27B; точное число параметров — 27 млрд. В модели применяется смешанная квантализация: большинство линейных слоёв используют асимметричный AWQ W4A16 с размером группы 128, а отдельные входные проекции Gated DeltaNet квантованы в int8. Зрительный модуль, MTP head, lm_head и ряд других компонентов сохранены в исходной точности, поэтому модель сохраняет мультимодальные возможности. Калибровка включала текстовые, длинноконтекстные, визуальные и связанные с вызовом инструментов примеры длиной до 32 768 токенов, однако точный максимальный контекст модели в карточке не указан. По приведённым тестам, относительно версии Qwen3.8-27B-FP8, среднее снижение качества составило около 0,12 процентного пункта; результаты на задачах вызова функций, программирования и мультимодального анализа практически сохранились. Ограничения включают возможную потерю качества из-за квантализации и отсутствие полноценных оценок агентного применения. Модель распространяется по лицензии Apache 2.0 и использует формат compressed-tensors, совместимый с указанным стеком Transformers и llm-compressor.

cyankiwi/Qwen3.8-27B-AWQ-BF16-INT4 — квантованная версия Qwen3.8-27B, разработанного командой Qwen. Модель представляет собой плотную причинную языковую модель с vision-энкодером, предназначенную для работы с текстом, изображениями и видео. Она поддерживает интеграцию через Hugging Face Transformers, vLLM, SGLang и другие совместимые инструменты. Модель рассчитана на программирование, профессиональные и исследовательские задачи, обработку документов и STEM-диаграмм, а также долгие агентские сценарии с планированием и взаимодействием со средой. Доступно управление режимом рассуждений: его можно отключать и настраивать глубину через reasoning_effort, а контекст рассуждений из предыдущих сообщений — сохранять с помощью preserve_thinking. Языковая часть содержит 27 млрд параметров, 64 слоя и имеет архитектуру с чередованием Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможным расширением до 1 000 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели — около 28,85 ГБ. К сильным сторонам относятся мультимодальность, поддержка видео, гибкое управление рассуждениями и ориентация на сложные многошаговые задачи. Ограничения конкретной квантованной сборки и результаты бенчмарков в предоставленных данных подробно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-int4-AutoRound — мультимодальная версия базовой модели Qwen/Qwen3.8-27B, подготовленная пользователем devan-carlin с использованием Intel AutoRound. Модель предназначена для генерации текста, решения математических и логических задач, программирования, работы с алгоритмами, а также анализа изображений и текстовых запросов. Модель содержит 27 млрд параметров и использует архитектуру qwen3_5 с 64 слоями и чередованием линейного и полноформатного внимания в соотношении 3:1. Поддерживается контекст длиной до 256K токенов. В репозитории присутствует vision tower Qwen3-VL, поэтому модель работает как в текстовом, так и в мультимодальном режиме. Квантизация выполнена в INT4 с помощью AutoRound, с размером группы 128 и симметричным представлением; отдельные компоненты сохранены в 16-битной точности. Основное преимущество — существенное снижение объёма памяти: около 18 ГБ против примерно 52 ГБ для BF16, а также более высокая скорость генерации на конфигурации из четырёх Intel Arc Pro B70. В заявленном тесте скорость составила 47,8 токена в секунду против 30,2 у BF16, при сопоставимом качестве на математических, логических, алгоритмических и программных запросах. Ограничением является более многословная генерация INT4-версии, из-за чего при длинных ответах может потребоваться увеличить параметр max_tokens. Для запуска рекомендуется vLLM с tensor parallelism; на XPU/ARK может потребоваться исправление qzeros guard для загрузки симметричных INT4-весов. Модель распространяется по лицензии Apache-2.0, как и базовая модель.

async0x42/Qwen3-8B-exl3_4.0bpw — это квантованная версия Qwen3-8B, разработанная на базе модели Qwen/Qwen3-8B. В README разработчик квантованной сборки отдельно не указан; исходная модель относится к серии Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, рассуждений, математики, программирования, перевода и агентских сценариев с интеграцией внешних инструментов. Модель имеет около 8,2 млрд параметров, из которых 6,95 млрд не являются embedding-параметрами, 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для Q и 8 для KV. Она поддерживает переключение между режимами рассуждения и обычной генерации, более 100 языков и диалектов, а также текстовую модальность. Нативная длина контекста составляет 32 768 токенов, с использованием YaRN может достигать 131 072 токенов. Суффикс exl3_4.0bpw указывает на формат квантования примерно до 4 бит на вес, однако подробности реализации квантования в README не приведены. Сильные стороны модели — сочетание рассуждений и быстрой универсальной генерации, поддержка многоязычных задач, диалогов, кода и инструментального взаимодействия. Ограничения и фактические показатели производительности для данной квантованной сборки не указаны; качество может отличаться от исходной модели из-за квантования. Модель распространяется по лицензии Apache-2.0.

Карточка модели nassimjp/Spark-X2.5-4B на Hugging Face совпадает с карточкой 0xSojalSec/Spark-X2.5-4B, поэтому описание составлено по ней. Spark-X2.5-4B — компактная языковая модель общего назначения, разработанная командой Spark. Это дообученная версия Spark-X2.5-4B-Base с плотной архитектурой Spark 2.5 на 3,8 млрд параметров; веса опубликованы в формате Safetensors и предназначены для запуска через Transformers. Гибридное внимание сочетает один слой полного внимания с тремя слоями внимания со скользящим окном, а нативный контекст достигает 1 048 576 токенов. Модель рассчитана на диалог, написание и перевод текстов, рассуждения, программирование, вызов инструментов и агентные сценарии. Она поддерживает более 200 языков, а карточка описывает интеграцию с популярными агентными средами и системами инференса. Заявленные сильные стороны — широкий спектр задач и работа с длинным контекстом при оптимизации вычислений и KV-кэша. Качество на конкретной задаче может отличаться; длинный контекст требует достаточной памяти устройства. Лицензия — Apache-2.0.

Карточка модели SwagMessiah100/Spark-X2.5-4B на Hugging Face совпадает с карточкой 0xSojalSec/Spark-X2.5-4B, поэтому описание составлено по ней. Spark-X2.5-4B — компактная языковая модель общего назначения, разработанная командой Spark. Это дообученная версия Spark-X2.5-4B-Base с плотной архитектурой Spark 2.5 на 3,8 млрд параметров; веса опубликованы в формате Safetensors и предназначены для запуска через Transformers. Гибридное внимание сочетает один слой полного внимания с тремя слоями внимания со скользящим окном, а нативный контекст достигает 1 048 576 токенов. Модель рассчитана на диалог, написание и перевод текстов, рассуждения, программирование, вызов инструментов и агентные сценарии. Она поддерживает более 200 языков, а карточка описывает интеграцию с популярными агентными средами и системами инференса. Заявленные сильные стороны — широкий спектр задач и работа с длинным контекстом при оптимизации вычислений и KV-кэша. Качество на конкретной задаче может отличаться; длинный контекст требует достаточной памяти устройства. Лицензия — Apache-2.0.

Apertus-70B-Instruct-2509-GGUF — GGUF-версия 70-миллиардной языковой модели Apertus-70B-Instruct-2509, разработанной Swiss National AI Institute (SNAI) при участии ETH Zurich и EPFL. Это авторегрессионный decoder-only Transformer для генерации и обработки текста, диалоговых сценариев и агентского использования с поддержкой инструментов. Модель обучена с нуля на 15 триллионах токенов, включая веб-данные, код и математические материалы. Она поддерживает длинный контекст до 65 536 токенов и 1811 языков, ориентирована на полностью открытые, прозрачные и многоязычные применения. В архитектуре используются функция активации xIELU, оптимизатор AdEMAMix, а последующее дообучение включало supervised fine-tuning и выравнивание методом QRPO. Формат GGUF предназначен для совместимого локального запуска, однако конкретный уровень квантования в представленных данных не указан. Сильными сторонами модели являются широкий языковой охват, длинный контекст, открытость весов, обучающих данных и сведений о процессе обучения, а также заявленное соблюдение требований к согласию владельцев данных. Ограничения включают высокие требования к вычислительным ресурсам, типичные для модели такого размера, возможные ошибки и неточности при генерации, а также отсутствие данных о характеристиках конкретной GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, но её использование также связано с отдельной политикой допустимого использования Apertus; разработчики рекомендуют применять регулярно обновляемый фильтр для удаления персональных данных из результатов.

Apodex-1.1-mini-GPTQ-Int4 — квантизированная версия модели Apodex-1.1-mini, разработанная Apodex AI. Это reasoning-first модель для сложных исследовательских задач с длительным горизонтом выполнения и текстовой генерации. Она ориентирована на работу с документами, наборами данных, таблицами, изображениями, кодом и внешними инструментами, включая декомпозицию задач, параллельную работу субагентов, поддержание состояния и проверку результатов перед выдачей. Модель поддерживает английский и китайский языки, использует шаблон чата Qwen3.5 и обучена для нативного вызова функций. Для агентских сценариев рекомендуется развёртывание через SGLang с OpenAI-совместимым API; в README указаны рекомендуемые параметры с максимальной длиной контекста 262144 токена и лимитом генерации 32768 токенов. Указанный формат GPTQ Int4 снижает требования к памяти, но сведения о точном размере, архитектуре и аппаратных требованиях не приведены. Сильные стороны модели — ориентация на комплексную многоэтапную работу, использование инструментов, адаптивное планирование и встроенная проверка утверждений, источников и вычислений. Ограничения связаны с тем, что результаты зависят от корректной настройки агентской инфраструктуры и доступных инструментов, а количественные показатели в README относятся преимущественно к системам Apodex и Agent Team, а не обязательно к автономной работе данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

jondurbin/bagel-dpo-34b-v0.5 — диалоговая языковая модель, созданная дообучением Yi-34B-200K с помощью supervised fine-tuning и Direct Preference Optimization (DPO). Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстным окном до 200 000 токенов. Модель предназначена для чата и широкого круга текстовых инструкций. Модель обучалась на данных для вопросов и ответов, рассуждений, программирования, математики, естественных наук, суммаризации, ролевого диалога и вызова функций. В карточке заявлены наборы данных для английских и многоязычных задач, однако основной язык модели отдельно не обозначен. Поддерживаются несколько форматов запросов: Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию — Llama 2. DPO-настройка направлена на улучшение предпочтительности ответов, а дополнительные данные охватывают творческое письмо, следование контексту, код и правдивость. Среди обучающих данных также есть примеры токсичного контента и offensive cybersecurity. Это может отражаться на генерируемых ответах; модель может ошибаться и не гарантирует достоверность или безопасность. Лицензия указана как other, поэтому условия использования следует уточнить на странице модели.

Blossom-V7.1-27B — открытая мультимодальная модель общего назначения от разработчиков семейства Blossom. Это плотная модель архитектуры Qwen3.5 с 27 млрд параметров, дообученная для работы в роли ассистента. Она принимает текст и изображения и генерирует текст; поддерживает диалог, рассуждения, вызов инструментов и агентные сценарии. В README указаны режимы рассуждения medium и max, контекст до 262 144 токенов и рекомендуемый контекст 131 072 токена. Модель предназначена для повседневных вопросов и ответов, знаний общего характера, математики, программирования, веб-разработки, визуализации данных и анализа изображений. Доступны запуски через Transformers, vLLM и llama.cpp; для мультимодального общения и сохранения вызовов инструментов требуется использовать встроенный шаблон чата и сохранять полные сообщения ассистента в истории диалога. Модель распространяется под лицензией Apache-2.0. Для запуска версии 27B требуется достаточно памяти, чтобы разместить веса на GPU; фактическая скорость и доступная длина контекста зависят от оборудования. В README также отмечено, что качество последующих ходов диалога может снизиться, если при повторной передаче истории опускать поля рассуждений или вызовы инструментов.

cyberneurova-Qwen3.8-27B — диалоговая модель CyberNeurova, дообученная на Qwen/Qwen3.8-27B. Это плотная модель на 27 млрд параметров с поддержкой текста и изображений; автор заявляет контекст до 262 тыс. токенов, многоязычность, рассуждения и интерфейс вызова инструментов. Модель рассчитана на диалоги, ответы на вопросы, анализ изображений и программирование, а стиль ответов можно задавать системным промптом. По заявлению автора, модель сохраняет общие знания и навыки рассуждения и набрала 11 из 12 в небольшом исполняемом тесте на программирование. Она публикуется в BF16 и формате safetensors, работает с Transformers и vLLM. Лицензия — Apache-2.0. Автор отмечает, что встроенные отказы ослаблены; качество и безопасность ответов зависят от конкретного применения и заданного промпта.

QuantFactory/dolphin-2.9.2-qwen2-7b-GGUF — это квантизированная версия языковой модели Dolphin 2.9.2 Qwen2 7B, созданная с использованием llama.cpp. Модель разработана и обучена Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Qwen2-7B. В обучении использовались наборы данных для инструкций, диалогов, программирования, математических задач, function calling и агентных сценариев, включая Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction и другие источники. Модель предназначена для генерации текста, выполнения инструкций, ведения диалогов, помощи в программировании, решения математических задач, начальных агентных сценариев и function calling. Она поддерживает контекст до 128k токенов, при этом полновесное дообучение выполнялось с длиной последовательности 16k. Модель является текстовой и рассчитана на использование в формате ChatML; другие модальности в README не заявлены. Языки явно не указаны. К сильным сторонам относятся широкий набор инструкционных, разговорных и кодинговых навыков, поддержка длинного контекста, локальный запуск в формате GGUF и возможность коммерческого использования в рамках условий лицензии Qwen. Модель описана как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть более податливой, включая потенциально небезопасные запросы. Разработчики рекомендуют самостоятельно добавить слой выравнивания и фильтрации перед предоставлением модели пользователям; ответственность за создаваемый контент несёт применяющая сторона. Лицензия указана как tongyi-qianwen license, с разрешением на использование, включая коммерческое, при соблюдении её условий.

Abu-Dju/Falcon-H1-34B-Instruct-GGUF — версия инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это авторегрессионная decoder-only модель на 34 млрд параметров с гибридной архитектурой, объединяющей Transformer attention и State Space Model Mamba. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и научных задач, программирования и многоязычных сценариев. Falcon-H1 поддерживает контекст до 256 000 токенов и 18 языков: арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Гибридная архитектура ориентирована на эффективную обработку длинного контекста и снижение вычислительных затрат. В опубликованных оценках модель показывает сильные результаты в общих, математических, научных, кодовых и инструкционных задачах, хотя её показатели зависят от конкретного теста и не превосходят все более крупные или сопоставимые модели. Для запуска указана совместимость с Hugging Face Transformers, vLLM и актуальными версиями llama.cpp; формат GGUF ориентирован на экосистему llama.cpp. Из-за размера в 34 млрд параметров для инференса могут требоваться значительные вычислительные ресурсы, однако точные требования для данной сборки в README не приведены. Модель распространяется по Falcon-LLM License; применимые условия следует уточнять в тексте лицензии.

ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

unsloth/gemma-4-26b-a4b-it-UD-MLX-4bit — MLX-совместимая 4-битная версия instruction-tuned модели Gemma 4 26B A4B, подготовленная Unsloth на основе модели Google DeepMind. Это мультимодальная модель с открытыми весами, предназначенная для локального запуска и дообучения в экосистеме MLX. Модель рассчитана на генерацию текста, рассуждения, программирование, мультимодальное понимание изображений, агентские сценарии и вызов функций. Вариант 26B A4B использует архитектуру Mixture-of-Experts (MoE); обозначение A4B указывает на эффективный объём активируемых параметров около 4B при общем размере модели 26B. Для семейства Gemma 4 заявлены поддержка текста и изображений, контекст до 256K токенов, более 140 языков, настраиваемые режимы рассуждения, нативная поддержка system prompt и function calling. Поддержка аудио для этой версии не указана; в README она отмечена только для малых моделей E2B и E4B. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также эффективность MoE-архитектуры и 4-битной квантизации для локального запуска на совместимом оборудовании Apple Silicon или другом окружении MLX. Ограничения связаны с необходимостью MLX-совместимой инфраструктуры и потенциальными компромиссами 4-битной квантизации, однако количественные характеристики таких компромиссов в README не приведены. Модель распространяется по лицензии Apache 2.0.

GLM-4.7-Flash — языковая модель семейства GLM от Z.ai, представленная как модель Mixture of Experts с конфигурацией 30B-A3B: около 30 млрд параметров всего и примерно 3 млрд активных на токен. Метаданные Hugging Face указывают 4,1 млрд параметров, поэтому сведения о размере в источниках расходятся. Модель распространяется в формате Safetensors и работает через Transformers; для локального запуска также заявлена поддержка vLLM и SGLang. Модель предназначена для генерации текста и диалогов, включая рассуждения, программирование и агентные сценарии. В карточке приведены результаты бенчмарков по математике, вопросам на научные знания и программированию; заявлено окно контекста 202 752 токена. Карточка указывает английский и китайский языки. Модель выпущена Z.ai под лицензией MIT. Производитель позиционирует её как вариант для относительно лёгкого локального развёртывания с балансом производительности и эффективности. Для vLLM и SGLang требуются версии из основных веток проектов.

Карточка модели genevaquant/Hermes-4-14B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-14B, поэтому описание составлено по ней. Hermes 4 14B — плотная языковая модель Nous Research на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, математики, программирования, STEM, логики, творческого письма и генерации ответов в заданном формате. Модель поддерживает гибридный режим рассуждений, следование схемам и вывод JSON, а также вызов инструментов при соответствующей настройке шаблона ChatML. Размер модели — 14 млрд параметров, длина контекста — 40 960 токенов; основным указанным языком карточки является английский. Модель распространяется под лицензией Apache-2.0. Для работы следует использовать формат ChatML; качество ответов и вызова инструментов зависит от корректной настройки шаблона и инференсного окружения. Заявления README о сравнительных результатах и улучшениях основаны на описании разработчика и не являются независимой оценкой.

Hunyuan-A13B-Instruct — чат-модель Tencent для генерации текста и ответов на инструкции. Она построена на архитектуре Mixture-of-Experts (MoE) с Grouped Query Attention; README указывает 80 млрд параметров всего и 13 млрд активных при выводе. В метаданных репозитория при этом указано 3,1 млрд параметров, поэтому размер модели в карточке и метаданных расходится. Модель предназначена для диалога, сложных рассуждений, математики, научных вопросов, программирования и агентных сценариев с вызовом инструментов. Поддерживает режимы быстрого и пошагового рассуждения, а README заявляет контекст до 256K токенов. Метаданные указывают контекст 32 768 токенов; доступные сведения не позволяют разрешить это расхождение. Для запуска описана поддержка Transformers, TensorRT-LLM, vLLM и SGLang. В README приведены конкурентные результаты на бенчмарках математики, науки, кода, рассуждений и агентных задач, но они не гарантируют аналогичного качества в прикладных сценариях. Языковая поддержка отдельно не перечислена. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в файле LICENSE репозитория.

JiRack Ultra 32B — плотная причинная языковая модель на 32 млрд параметров, разработанная CMSManhattan на основе архитектуры DeepSeek R1-32B и переработанная с поддержкой BitNet-подобных троичных весов. Модель предназначена для генерации текста и диалогов, запуска на CPU, использования в RAG-системах, программировании и агентных сценариях с вызовом инструментов. В README также заявлены токены для маршрутизации, мультимедиа, зрения, звука и робототехники, однако метаданные подтверждают только текстовую генерацию и чат. Контекстное окно составляет 131 072 токена. В репозитории представлены веса safetensors и варианты GGUF, включая Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0; доступное качество и требования к памяти зависят от квантования. В карточке указана поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Заявлена лицензия MIT на веса; Docker-образ, интерфейс и готовые Ollama-квантизации могут распространяться на отдельных коммерческих условиях. Модель рассчитана на локальное или облачное развертывание, в том числе на CPU; для Q4_K_M рекомендуется не менее 24 ГБ оперативной памяти, а для полной точности — от 64 ГБ. README содержит заявления о высокой эффективности и расширенных возможностях инструментального взаимодействия, но не приводит сравнительных оценок качества; наличие специальных токенов само по себе не подтверждает полноценную обработку изображений, аудио или робототехнических действий.

Lion-Lamarck-v.1.0.8 — объединённая с помощью mergekit методом SCE языковая модель на архитектуре Qwen2, опубликованная пользователем nlpguy. В качестве основы использована sometimesanotion/Lamarck-14B-v0.7; в объединение также вошли SuperNova-Medius, Virtuoso-Small, Qwen2.5-14B-Vimarckoso-v3 и DeepSeek-R1-Distill-Qwen-14B. Размер модели — 14 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и генерации текста. Она может использоваться для ответов на вопросы, помощи с математическими задачами и программированием, а также для текстовых задач, требующих рассуждений. Доступны веса в формате safetensors и интерфейс для вызова инструментов. В метаданных не указана лицензия, поэтому условия использования следует проверить на странице репозитория Hugging Face.

Nemotron-H-4B-Instruct-128K — языковая модель NVIDIA для диалогов, следования инструкциям и вызова инструментов. Она дообучена на базе nvidia/Nemotron-H-4B-Base-8K и сочетает архитектуру Nemotron-Hybrid с преимущественно слоями Mamba-2 и MLP и четырьмя слоями Attention. Модель содержит 4 млрд параметров и поддерживает контекст до 128 тысяч токенов. Модель предназначена для одно- и многоходового общения, генерации кода и ответов на математические и научные запросы. Она поддерживает английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский языки. Для запуска NVIDIA указывает NeMo 24.12, Linux и ускорители H100 80 ГБ или A100; модель рассчитана на системы с GPU NVIDIA. Модель прошла несколько этапов дообучения для математики, программирования, естественных наук, чата, инструкций и вызова инструментов, а также предпочтительную настройку. Данные предварительного обучения актуальны по сентябрь 2024 года. NVIDIA позиционирует модель для исследований и разработок; лицензия указана как other, поэтому конкретные условия использования следует уточнить на странице модели.

local-inference-lab/Qwen3.8-Flash-Next-NVFP4 — мультимодальная conversational-модель, дистиллированная из Qwen/Qwen3.8-Flash-Next с применением quantization-aware distillation. Она предназначена для диалогов, общего следования инструкциям, reasoning, программирования, multilingual-сценариев и обработки изображений с текстом. В качестве учителя использовалась исходная BF16-модель Qwen, а обучение проводилось на корпусе из 200 004 844 prompt-and-response токенов и 53 573 документов с последовательностями до 8 192 токенов. Архитектура сохранена без сокращения числа слоёв и экспертов: 48 decoder layers, 512 routed experts на слой, из которых для каждого токена активны 10, гибрид Gated DeltaNet/Qwen Sparse Attention и n-gram embedding tables. Сжатие достигается пониженной точностью весов: routed experts и часть компонентов используют NVFP4, другие проекции — MXFP8, а отдельные параметры остаются в BF16. Также сохранены vision encoder, MTP-модуль, tokenizer, chat template и vision assets. Размер checkpoint составляет около 98 GiB; заявлены оценки AA-LCR 79.4, GPQA Diamond 89.9 и Tool Eval Bench 91. Сильные стороны модели — сохранение исходной архитектуры, обучение с компенсацией ошибок квантования и более высокая эффективность по сравнению с NVFP4 PTQ на GPQA Diamond: при сопоставимом качестве модель использовала меньше токенов. Ограничения включают значительный объём checkpoint, дополнительные требования к памяти для KV cache и runtime buffers, а также необходимость runtime с поддержкой Qwen3.8-Flash-Next и смешанного ModelOpt-формата NVFP4/MXFP8, включая NVFP4 PLE tables. Модель распространяется по лицензии qwen-community-1.0; точные условия следует проверять по указанной license-ссылке.

Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic — текстовая дообученная модель на архитектуре Qwen3.5-9B, опубликованная llmfan46. Она предназначена для генерации ответов с рассуждениями и агентных сценариев с вызовом инструментов, включая вычисления, поиск фактов и работу с большими наборами документов или кодом. В README описана поддержка формата вызова функций Qwen3.5 и контекстное окно до 1 048 576 токенов с YaRN; автор сообщает о проверке на контекстах примерно до 137 тысяч токенов. Модель имеет 9 млрд параметров и обучена методом полного supervised fine-tuning на текстовых данных; визуальная часть унаследована от базы, но не дообучалась и не тестировалась. Архитектура базы мультимодальная, однако основная карточка и pipeline ориентированы на генерацию текста. Указаны английский язык и лицензия Apache 2.0. Автор предупреждает о возможных повторах при жадном декодировании и низкой температуре, а также о небольшом снижении качества на коротком контексте из-за YaRN.

Spark-X2.5-1.7B — компактная языковая модель общего назначения от разработчиков семейства Spark-X2.5. Это постобученная версия базовой модели XHToken/Spark-X2.5-1.7B-Base с плотной архитектурой Spark2_5ForCausalLM; веса доступны в формате Safetensors и рассчитаны на работу через Transformers. Архитектура сочетает полное внимание с окнами скользящего внимания, а заявленная длина контекста составляет до 1 048 576 токенов. Модель предназначена для диалогов, письма, перевода, рассуждений, программирования, вызова инструментов и агентных сценариев. Разработчики заявляют поддержку более 200 языков и обучение примерно на 20 триллионах токенов; карточка приводит результаты сравнительных тестов, но не сами значения таблицы. Модель совместима с несколькими аппаратными платформами и средствами инференса, включая SGLang и vLLM. Модель может подойти для локальных ассистентов, анализа длинных контекстов и агентных рабочих процессов. Большое окно контекста требует достаточной памяти устройства, а при ограниченных ресурсах его рекомендуется уменьшить. Лицензия — Apache-2.0.