II.7DevOps, облако и эксплуатация IT-систем

Dolphin 3.0 Llama 3.2 3B — инструктивно дообученная языковая модель, созданная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на основе Meta Llama 3.2 3B. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов; веса доступны в формате Safetensors. Модель предназначена для локального использования как универсальный диалоговый помощник. Она подходит для генерации текста, программирования, математических задач и работы в агентных сценариях, включая интерфейс вызова функций. Для диалогов используется шаблон ChatML; системный промпт позволяет задавать тон и правила поведения. Обучение опиралось на наборы данных для инструкционного диалога, кода, математики и вызова функций. Модель рассчитана на текстовый ввод и выдаёт текст. В карточке указан английский язык. Количественные результаты оценки качества не приведены. Лицензия — Llama 3.2; условия использования определяются этой лицензией.

Gemma 4 E4B Agentic Opus Reasoning GeminiCLI GGUF — это квантованная GGUF-версия модели на базе Gemma 4 E4B, разработанная RavenX AI. Веса объединяют результаты SFT-дообучения с паттернами рассуждений Opus 4.6, Claude Code и Gemini CLI; LoRA-адаптер слит непосредственно с моделью, поэтому отдельный адаптер и дополнительная конфигурация не требуются. Модель предназначена для диалоговых сценариев, программирования, агентных рабочих процессов и использования инструментов или функций. Она поддерживает форматы рассуждений с тегами <think>, структурированные ответы в стиле Claude и tool calling. В README также заявлена поддержка vision и мультимодальности, однако подробности о поддерживаемых типах входных данных не приведены. Указан английский язык. Модель совместима с Ollama, LM Studio и llama.cpp, а также может работать через OpenAI-совместимые локальные API. Доступны варианты квантования Q4_K_M, Q5_K_M, Q8_0 и F16 размером примерно от 2,7 до 8,3 ГБ; Q4_K_M рекомендован как баланс качества и скорости. Сильными сторонами являются встроенное агентное поведение, рассуждения и поддержка вызова инструментов без отдельного адаптера. Ограничения включают отсутствие опубликованных количественных бенчмарков, неполное описание архитектуры и контекстного окна, а также возможные потери качества из-за квантования. Модель распространяется по лицензии Gemma.

Ttimms/KAT-Coder-V2.5-Dev-REAP-50-GGUF — это квантизированная GGUF-версия модели KAT-Coder-V2.5-Dev, разработанной Kwaipilot и подготовленной Ttimms. Модель предназначена для генерации текста и программного кода, агентного программирования и работы через llama.cpp-совместимые приложения. Указан английский язык. В основе лежит гибридная архитектура Gated-DeltaNet и Mixture of Experts (MoE). В результате 50-процентного pruning методом REAP число экспертов сокращено с 256 до 128, общий размер составляет около 19 млрд параметров, а активными при инференсе являются примерно 3 млрд параметров. Vision tower удалён, MTP head отсутствует. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; рекомендуемый Q4_K_M занимает около 11,4 ГБ и рассчитан на запуск в системах с 16 ГБ памяти. Сильные стороны модели — высокая эффективность MoE при относительно умеренных требованиях к вычислениям, поддержка CPU и Apple Silicon, а также хорошие заявленные результаты на HumanEval+ и MBPP+. Для работы требуется свежая версия llama.cpp с поддержкой архитектуры qwen35moe; поддержка Ollama зависит от обновления встроенной версии llama.cpp. Более качественные кванты требуют больше памяти, а Q8_0 нуждается более чем в 16 ГБ или в выгрузке части вычислений на CPU. Заявленные результаты основаны на одиночных greedy-запусках и имеют заметный разброс между повторными измерениями. Модель распространяется по лицензии Apache-2.0.

Llama-3.1-Minitron-4B-Depth-Base — базовая языковая модель NVIDIA для генерации текста. Она построена на архитектуре Llama 3.1 с авторегрессионным трансформером, механизмом Grouped-Query Attention и позиционными эмбеддингами RoPE; размер модели составляет 4 млрд параметров, а длина контекста — до 131 072 токенов. Модель принимает и выдаёт текст. Модель создана прореживанием слоёв Llama-3.1-8B, после чего её продолжили обучать с дистилляцией на 94 млрд токенов. Она предназначена для адаптации к задачам генерации естественного языка, включая продолжение текста, ответы на вопросы и генерацию кода. Обучающий корпус включал английские и многоязычные тексты, код, диалоги и документы из разных областей; основным языком карточки указан английский. Модель заявлена как готовая к коммерческому использованию. Метаданные указывают лицензию other, поэтому перед применением следует проверить условия NVIDIA. Возможные ограничения — токсичные ответы и усиление предвзятости из обучающих данных, а также неточные, неполные или избыточные ответы; данные предобучения имеют срез до июня 2023 года.

MiMo-V2.6-Distill-Qwen-9B GGUF — набор общественных GGUF-квантизаций модели Xiaomi MiMo, основанной на 9B-чекпойнте MiMo-V2.6-Distill-Qwen-9B от Xiaomi MiMo и архитектуре Qwen3.5-9B. Пакет предназначен для запуска через llama.cpp и включает квантизированные файлы языковой модели, а также совместимый BF16 multimodal projector для обработки изображений. Модель ориентирована на программирование, универсальные агентные задачи, visual coding, кибербезопасность, использование инструментов и мультимодальные сценарии с изображениями. Указана гибридная архитектура Qwen3.5 и нативный контекст до 262 144 токенов, однако практическая длина контекста зависит от выбранной квантизации, настроек KV-cache, среды выполнения и доступной памяти. Поддержка видео данным релизом не заявлена; сведения о языках в карточке явно не указаны, хотя калибровочные данные включают английский, китайский, код, tool- и agent-тексты. Доступно несколько вариантов квантизации с размером примерно от 1,97 до 9,53 GB. Q8_0 обеспечивает наибольшую близость к BF16, а IQ4_XS и Q5_K_S обозначены как компромисс между требованиями к памяти и сохранением точности. Низкобитные варианты Q2, IQ2, IQ1 и Q1 имеют заметно худшую fidelity и рекомендованы только для экспериментального использования. Приведённые измерения отражают совпадение следующего токена на ограниченной выборке, а не качество решения задач, программирования, tool use или визуального понимания. Лицензия указана как other; конкретные условия upstream-лицензии не определены.

Это конвертированная в MLX 6-битную форму версия NVIDIA Nemotron 3 Nano 30B A3B от mlx-community, подготовленная из nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью mlx-lm 0.29.1. Базовая модель NVIDIA — гибридная языковая модель с 30B параметров и активируемыми 3B параметров; она предназначена для диалогов, рассуждений, программирования и агентных приложений. Модель принимает текст и генерирует текст в разговорном формате. В карточке указана поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Репозиторий предназначен для запуска через mlx-lm на устройствах Apple Silicon. Метаданные указывают лицензию «other», поэтому конкретные условия использования следует сверять с лицензией базовой модели и файлами репозитория.

Phi-3.5-MoE-instruct-4bit — это 4-битная квантизированная версия инструкционной языковой модели Phi-3.5-MoE, разработанной Microsoft и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm. Модель содержит около 4 млрд параметров, поддерживает архитектуру Mixture of Experts и распространяется для работы через библиотеку Transformers и инструменты MLX. Модель предназначена для генерации текста в диалогах, ответов на вопросы, выполнения инструкций и генерации кода. Она ориентирована на многоязычные сценарии и может использоваться в локальных приложениях, чат-ботах, помощниках разработчика и системах автоматизации работы с текстом. Максимальная длина контекста составляет 4096 токенов. Лицензия MIT допускает свободное использование при соблюдении её условий. 4-битное представление снижает требования к памяти и подходит для локального запуска, но может уступать полноразмерной версии по точности и качеству генерации.

duyntnet/Qwen2.5-Coder-7B-imatrix-GGUF — репозиторий с imatrix-квантизациями базовой языковой модели Qwen2.5-Coder-7B, разработанной командой Qwen. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, задач code reasoning, text-code grounding, заполнения пропусков в коде и создания основы для code agents. Базовая модель не рекомендуется для обычного диалогового использования без дополнительного дообучения или постобработки. Это каузальная текстовая модель на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и bias в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует Grouped-Query Attention: 28 голов для Q и 4 для KV. Заявлена поддержка контекста до 131 072 токенов, при этом для обработки входов длиннее 32 768 токенов требуется настройка YaRN. Модель обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые данные и синтетические данные; также сохраняет возможности в математике и общих задачах. В README явно указан только английский язык. Репозиторий поддерживает использование через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Лицензия обозначена как other, без дополнительных условий в представленном README, поэтому точные права и ограничения использования требуют проверки исходной лицензии Qwen2.5-Coder.

Qwen3.6-27B-Text-NVFP4-MTP (GGUF) — производная текстовая сборка Qwen3.6-27B, подготовленная для запуска через llama.cpp на NVIDIA DGX Spark. Разработчик убрал модуль обработки изображений и квантовал веса в NVFP4 с помощью nvidia-modelopt; голова MTP сохранена в BF16 для спекулятивного декодирования. Репозиторий также объединяет эту сборку с Qwen3.6-27B и sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP. Модель предназначена прежде всего для программирования и рассуждений в платформе .init: она подходит для помощи при разработке ПО, анализа кодовых баз и работы с длинными техническими документами. README заявляет контекст до 128K токенов и скорость около 40 токенов в секунду на DGX Spark при коротком контексте и включённом спекулятивном декодировании; для длинного контекста указано около 25–35 токенов в секунду. Это показатели для конкретной конфигурации оборудования и настроек. Это текстовая модель с поддержкой чата; обработка изображений отключена. README описывает английский язык, но не подтверждает поддержку других языков. Лицензия — Apache-2.0. Сборка ориентирована на llama.cpp и DGX Spark; заявленные характеристики скорости и использования памяти зависят от оборудования и параметров запуска.

Qwen3.8-27B-Uncensored-Aggressive-i1-IQ4_XS-Smaller-GGUF — это предназначенная для llama.cpp смешанно-квантованная версия модели philbert440/Qwen3.8-27B-Uncensored-Aggressive, опубликованная пользователем aldenw. Модель ориентирована на генерацию текста, включая диалоги, объяснение технических концепций и написание кода. Исходное семейство является мультимодальным, однако в этом репозитории доступен только текстовый вариант без совместимого vision mmproj. Модель содержит 27 млрд параметров, 64 трансформерных блока и поддерживает нативный контекст до 262 144 токенов. Основной GGUF-файл размером 13,34 ГБ использует гибридную схему квантования: FFN-проекции сжаты до IQ3_S, основной набор весов представлен в IQ4_XS, отдельные тензоры внимания — в Q5_K, а output.weight — в Q6_K. Для ускорения методом speculative decoding доступна отдельная MTP-модель Q4_0 размером 1,68 ГБ. К сильным сторонам относятся экономия памяти по сравнению с полноразмерной моделью, сохранение повышенной точности для отдельных важных тензоров и возможность самостоятельного использования основной модели без MTP-компонента. Ограничения связаны с требованиями к памяти: оба файла занимают около 15,02 ГБ без учёта runtime-буферов и KV-кэша, поэтому на видеокартах класса 16 ГБ может потребоваться частичный offload, уменьшение контекста или отказ от MTP. Прирост скорости speculative decoding не гарантирован и зависит от оборудования, контекста и acceptance rate. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-Coder-480B-A35B-Instruct-GGUF — GGUF-версия инструкционной модели Qwen3-Coder-480B-A35B-Instruct, разработанной командой Qwen и опубликованной Unsloth. Это каузальная языковая модель для генерации текста и кода, ориентированная на агентное программирование, использование браузера и другие задачи разработки, включая работу с репозиториями и интеграцию с инструментами вроде Qwen Code и CLINE. Модель использует архитектуру Mixture-of-Experts: 480 млрд параметров всего, из которых 35 млрд активируются при обработке запроса; включает 62 слоя, 160 экспертов и 8 активируемых экспертов, а также Grouped-Query Attention с 96 головами Q и 8 KV-головами. Нативный контекст составляет 262 144 токена, с возможностью расширения до 1 млн токенов посредством YaRN. Модель поддерживает только режим без рассуждений и не генерирует блоки <think></think>. Данные о поддерживаемых языках и мультимодальности в README не указаны; заявлена текстовая генерация. Сильными сторонами являются большой контекст, понимание кода на уровне репозитория и высокая производительность в агентных сценариях. Ограничения включают значительный общий размер модели и необходимость совместимого программного окружения; конкретные требования к оборудованию и производительности для GGUF-вариантов в README не приведены. Модель распространяется по лицензии Apache-2.0.

Step-3.5-Flash-REAP-121B-A11B — сжатая версия Step-3.5-Flash от Cerebras, созданная методом REAP (Router-weighted Expert Activation Pruning). Это разреженная причинно-языковая MoE-модель: из исходных 288 экспертов оставлено 173, а на каждом токене активируются 8; в README указано 121 млрд параметров и 11 млрд активных на токен. Каталог Hugging Face указывает 9,8 млрд параметров, поэтому размер модели по источникам расходится. Модель предназначена для диалогов, генерации кода, математических задач, рассуждений и агентных сценариев с вызовом инструментов. Заявлена длина контекста 262 144 токена. В README говорится о близкой к полной модели производительности и снижении потребления памяти примерно на 40%; для запуска автор рекомендует vLLM с поддержкой Step-3.5-Flash. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. README сообщает лицензию Apache 2.0, тогда как метаданные Hugging Face обозначают её как other, поэтому условия лицензии следует сверить с файлами репозитория перед использованием.

Claude Opus 4.1 — обновлённая флагманская модель Anthropic с улучшенными возможностями программирования, рассуждений и выполнения агентных задач. Её можно применять для помощи при разработке ПО, решения сложных задач и сценариев, где модель выполняет последовательные действия от имени пользователя. В README указано, что модель набрала 74,5% на SWE-bench Verified. Данных о размере, архитектуре, модальностях, языках, контексте и лицензии в предоставленных материалах нет.

Devstral Small 1.1 — языковая модель для агентной разработки программного обеспечения, созданная в сотрудничестве Mistral AI и All Hands AI. Эта версия представлена в формате GGUF и предназначена для работы с llama.cpp, LM Studio и другими совместимыми средствами локального запуска. Модель специализируется на задачах программной инженерии: исследовании кодовых баз, редактировании нескольких файлов, использовании инструментов и работе в составе coding-агентов, включая OpenHands. Это текстовая модель без поддержки изображений. Она содержит 24 миллиарда параметров, использует токенизатор Tekken с размером словаря 131 тысяча токенов и поддерживает контекст до 128 тысяч токенов. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского и ряда других языков. К сильным сторонам относятся ориентация на агентное программирование, большой контекст, поддержка формата function calling Mistral и возможность локального запуска; для GGUF доступны варианты BF16, Q8_0, Q5_K_M и Q4_K_M. Ограничением является текстовая специализация без vision-возможностей, а качество и требования к ресурсам зависят от выбранной квантизации. Согласно README, компактная версия может запускаться на одной RTX 4090 или Mac с 32 ГБ оперативной памяти. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию.

Это 4-битная MXFP4-квантизация инструкционной модели Google Gemma 4 12B-it, подготовленная FreedomAISVR в формате GGUF. В основе лежит плотный декодерный трансформер Gemma4ForCausalLM с 12,08 млрд параметров; README указывает размер файла 6,3 ГБ и целевую платформу — видеокарты NVIDIA Blackwell, включая RTX 50-й серии. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений и задач по коду. Базовая Gemma 4 поддерживает мультимодальное понимание, однако в этой карточке репозитория заявлена задача text-generation и возможность чата; другие входные модальности для данной сборки не подтверждены. README сообщает о контексте до 256 тыс. токенов и приводит результаты скорости на RTX 5060 Ti 16 ГБ. Квантизация уменьшает требования к памяти и ориентирована на запуск локально с llama.cpp на совместимом оборудовании; качество и скорость могут зависеть от реализации и аппаратуры. Модель распространяется по лицензии Apache-2.0. Sведения о поддерживаемых естественных языках в карточке ограничены английским языковым тегом.

GLM-4.6 — языковая модель компании Zhipu AI из семейства GLM-4 MoE, доступная в репозитории в формате safetensors для Transformers. Она предназначена для диалогов, программирования, рассуждений и агентных сценариев с вызовом инструментов и поиском. По сравнению с GLM-4.5 улучшены результаты в задачах кодирования и рассуждений, качество генерации интерфейсов и естественность стиля. Модель поддерживает контекст до 202 752 токенов и ориентирована прежде всего на английский и китайский языки. Модель подходит для генерации и объяснения кода, работы в агентных фреймворках, выполнения многошаговых задач с инструментами и поиска по запросу. В метаданных указано 23,4 млрд параметров и лицензия MIT. README приводит результаты сравнительных оценок, но не содержит подробностей о методике обучения или гарантий качества на конкретных прикладных задачах.

GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная Z.ai. Репозиторий unsloth содержит дообученную версию базовой модели zai-org/GLM-5.3-Flash-BF16 и распространяет веса в формате safetensors; заявлена лицензия MIT. Модель предназначена для диалогов и генерации текста, включая программирование и агентные сценарии. Архитектура GLM-5 Next сочетает разреженное и линейное внимание; в README указаны 320 млрд параметров всего и 18 млрд активных параметров. Разработчик также описывает мультимодальное предварительное обучение и улучшенную эффективность при работе с длинным контекстом, но точная длина контекста этой копии не приведена. Карточка базовой модели характеризует её как мультимодальную и поддерживающую анализ изображений, однако метаданные этого репозитория указывают в качестве задачи только text-generation. Поэтому назначение копии как модели для обработки изображений отдельно не подтверждено. Языковые теги карточки — английский и китайский. Практическое развёртывание требует соответствующей инфраструктуры для модели такого масштаба; в README перечислены SGLang, vLLM, TokenSpeed и KTransformers.

Ling-flash-2.0 — языковая MoE-модель семейства Ling 2.0, разработанная inclusionAI и предназначенная для диалогового использования через генерацию текста. По README, модель обучена на более чем 20 трлн токенов с последующей supervised fine-tuning и многоэтапным reinforcement learning; метаданные указывают 5,5 млрд параметров, архитектуру BailingMoeV2ForCausalLM и базовую модель inclusionAI/Ling-flash-base-2.0. README приводит другие значения: 100 млрд общих и 6,1 млрд активированных параметров, поэтому размер в источниках расходится. Модель ориентирована на сложные рассуждения, генерацию кода, разработку интерфейсов и творческие задачи. README сообщает о контексте 32K с расширением до 128K посредством YaRN; метаданные фиксируют нативный контекст 32 768 токенов. Заявлены высокая эффективность вывода и результаты на бенчмарках по математике, знаниям, коду, финансам и здравоохранению; отдельное назначение для этих отраслей не заявлено. Метаданные отмечают интерфейс вызова инструментов. Модель доступна под лицензией MIT.

RedHatAI/Llama-3.2-3B-quantized.w8a8 — это квантованная текстовая языковая модель семейства Llama 3.2, размещённая Red Hat AI и основанная на модели Meta Llama 3.2. В репозитории указаны формат Safetensors, 8-битная точность и схема W8A8; отдельная карточка модели отсутствует, поэтому сведения о точной процедуре квантования и дополнительных оценках для этой конкретной версии не заявлены. Модель предназначена для генерации текста и кода, а также для адаптации под локальные и периферийные сценарии с ограниченными вычислительными ресурсами. Это авторегрессионная модель с оптимизированной Transformer-архитектурой, примерно 3,21 млрд параметров, текстовыми входами и выходами, поддержкой английского, немецкого, французского, итальянского, португальского, hindi, испанского и тайского языков. Для квантованных текстовых моделей Llama 3.2 заявлен контекст до 8 тысяч токенов. Ключевые преимущества — меньшие требования к памяти, размеру хранения и вычислениям по сравнению с полноточной версией; ограничение — возможная потеря качества из-за квантования, а также отсутствие опубликованной карточки и специфических результатов тестирования именно для данного репозитория. Базовая модель Llama 3.2 разработана Meta, а использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta с дополнительными требованиями Acceptable Use Policy.

MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic-GGUF — это набор GGUF-квантизаций 2-миллиардной текстовой модели MiniCPM5-2B, дообученной на данных Claude с акцентом на агентное использование инструментов, программирование и следование инструкциям. Модель разработана GnLOLot на базе openbmb/MiniCPM5-2B и предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Поддерживаются английский и китайский языки, а встроенный шаблон чата MiniCPM5 упрощает интеграцию. Модель ориентирована на генерацию текста, написание и отладку кода, выполнение многошаговых программных задач, function calling и tool use в агентных сценариях, а также диалоговое следование инструкциям. Она работает только в Thinking-режиме, поэтому может выводить блоки рассуждений перед итоговым ответом. Заявленная длина контекста достигает 128K токенов, однако фактический объём зависит от используемого рантайма и доступной памяти. Доступны варианты F16 размером около 4,7 ГБ, Q8_0 около 2,5 ГБ и Q4_K_M около 1,5 ГБ; Q8_0 рекомендуется как вариант по умолчанию, а Q4_K_M — для устройств с ограниченными ресурсами. К сильным сторонам относятся компактность, возможность локального развертывания, поддержка агентного tool calling, программирования и длинного контекста. В ClawBench дообученная модель показала 44,56 балла в QwenClawBench и 24,32 в WildClawBench, превысив базовую MiniCPM5-2B. Ограничения связаны с небольшим размером 2B по сравнению с передовыми моделями, возможным выводом рассуждений и зависимостью производительности от аппаратного обеспечения и настроек рантайма. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-Midtrain — промежуточная версия плотной причинно-языковой модели серии MiniCPM5, разработанной командой OpenBMB. Она построена на архитектуре LlamaForCausalLM и предназначена для локальных помощников, программирования, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель генерирует текст, поддерживает диалоговый режим и рассчитана на английский и китайский языки. В карточке серии заявлены сильные результаты для своего класса в программировании, математике, длинном контексте, использовании инструментов и агентных задачах; указанные сравнения относятся к MiniCPM5-2B в целом, а не обязательно к этой промежуточной версии. Весы доступны в формате safetensors, лицензия — Apache-2.0. Как промежуточный чекпойнт midtrain, модель может уступать завершённой версии по следованию инструкциям и качеству диалога. Её ответы могут быть неточными, предвзятыми или оскорбительными; модель не заменяет экспертную консультацию в чувствительных областях.

MiniMax-M1-40k — открытая по весам языковая модель MiniMax AI для рассуждений, генерации текста и работы в агентных сценариях. Она использует гибридную архитектуру Mixture-of-Experts с механизмом lightning attention и обучалась с подкреплением на задачах от математических рассуждений до программной инженерии. Вариант 40k рассчитан на бюджет рассуждений до 40 тысяч токенов; метаданные указывают 21,6 млрд параметров и контекст до 10 240 000 токенов. Модель подходит для решения сложных математических задач, написания и анализа кода, работы с длинными документами и использования инструментов через интерфейс function calling. В карточке приведены результаты тестирования на математических, программных, агентных и длинноконтекстных задачах; авторы рекомендуют температуру 1,0 и top_p 0,95. Модель принимает и генерирует текст. README описывает её как модель общего назначения, но не перечисляет поддерживаемые естественные языки. Лицензия репозитория — Apache-2.0. Для воспроизведения результатов стоит учитывать, что оценки SWE-bench получены на выбранном подмножестве задач с описанной авторами методикой.

NeoHorse-1-4B — плотная причинно-языковая модель примерно на 3,4 млрд параметров, разработанная TokenRhythm дообучением Qwen/Qwen3.5-4B. Это прототип для текстовых агентных сценариев: диалогов, вызова инструментов, программирования, рассуждений и следования инструкциям. Модель распространяется в формате Safetensors; карточка указывает контекст до 262 144 токенов и совместимость с Transformers, а README описывает локальный запуск через SGLang и vLLM с OpenAI-совместимым API. В README заявлен прирост среднего результата на десяти бенчмарках относительно исходной Qwen3.5-4B. Выпуск содержит только языковые веса: визуальные веса отсутствуют, поэтому этот репозиторий предназначен для текстового вывода, даже несмотря на мультимодальные возможности базовой модели. Фактическая длина контекста при обслуживании зависит от памяти GPU и настроек сервера. Лицензия — Apache-2.0.

NeoHorse-1-9B-MLX — версия для локального запуска на Apple Silicon модели NeoHorse-1-9B, разработанной TokenRhythm. Это плотная авторегрессионная языковая модель семейства Qwen3.5 с 7,2 млрд параметров, предназначенная для диалогов, программирования, рассуждений, следования инструкциям и работы с инструментами в агентных сценариях. Контекстное окно составляет 262 144 токена. Веса представлены в BF16 и адаптированы для MLX-LM: изменены имена и раскладка тензоров, а также представление нормализации; квантизация не применялась. Модель можно запускать локально через MLX-LM, в том числе как OpenAI-совместимый сервер с поддержкой вызова инструментов. В README указаны результаты исходной NeoHorse-1-9B на наборах тестов, но отдельная оценка этой MLX-версии не приводится. Модель предназначена для Apple Silicon и использует лицензию Apache-2.0. Ограничения: результаты исходной модели не подтверждают идентичное качество этой версии; для запуска требуется совместимая среда MLX-LM на Mac с Apple Silicon.

OpenChat-3.5-0106 — диалоговая языковая модель, разработанная командой OpenChat и опубликованная в репозитории CallComply. Это дообученная на базе Mistral-7B-v0.1 плотная модель класса MistralForCausalLM с 7,1 млрд параметров, предназначенная для генерации текста и общения в формате чата. Контекст модели составляет до 32 769 токенов по метаданным Hugging Face. Модель подходит для ответов на вопросы, написания и анализа кода, общих диалоговых задач и математических рассуждений. В README описаны два режима: общий режим для общения и программирования и режим математических задач; также заявлена экспериментальная поддержка оценки ответов и обратной связи. Русский язык среди явно перечисленных языков не подтверждён. Вес опубликован в формате Safetensors и доступен по лицензии Apache-2.0. README содержит инструкции по развёртыванию через OpenChat и совместимый с OpenAI API сервер на базе vLLM. Приведённые в карточке оценки отражают результаты конкретных бенчмарков и не гарантируют качество на произвольных запросах.

Карточка модели dshive/Qwen3.6-27B на Hugging Face совпадает с карточкой Qwen/Qwen3.6-27B, поэтому описание составлено по ней. Qwen3.6-27B — открытая модель с весами от команды Qwen, представленная как постобученная модель в формате Hugging Face Transformers. Это причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров; она поддерживает чат и интерфейс вызова инструментов. Модель предназначена для программирования, агентных сценариев и работы с изображениями, а README также описывает ввод видео. Указанная длина контекста — 262 144 токена с возможностью расширения до 1 010 000 токенов. В README отмечены задачи на уровне репозитория, разработка интерфейсов и сохранение контекста рассуждений между сообщениями. Модель можно запускать через Transformers и использовать с vLLM, SGLang и KTransformers; для высоких нагрузок авторы рекомендуют специализированные серверы инференса. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.

trohrbaugh/Qwen3.6-35B-A3B-heretic-v2 — модифицированная версия Qwen3.6-35B-A3B, созданная методом abliteration: параметры модели изменены для снижения частоты отказов. В приведённом сравнении модель отказала в 0 из 100 случаев против 99 из 100 у исходной версии; KL-дивергенция относительно оригинала составляет 0,1263. Репозиторий содержит веса в формате Safetensors, совместимые с Transformers и рядом движков инференса. Модель сочетает языковую часть на архитектуре MoE с визуальным энкодером. Всего в ней 35 млрд параметров, из которых активируются около 3 млрд; она принимает текст и изображения, поддерживает диалог и имеет контекст 262 144 токена с возможностью расширения до 1 010 000. README описывает применение исходного семейства для агентного программирования, работы с репозиториями, вызова инструментов и визуальных задач. Модель подходит для диалоговых и агентных сценариев, генерации и анализа кода, а также вопросов по изображениям. Снижение числа отказов не гарантирует корректность ответов и может увеличить вероятность выдачи нежелательного или небезопасного содержания. Лицензия — Apache-2.0.

Mojo24x7/Qwen3.6-35B-A3B-npuaware-rk3588-GGUF — это GGUF-квантизация модели Qwen3.6-35B-A3B, разработанная для ускорения на NPU Rockchip RK3588. Сборка использует backend RKNPU2 в rk-llama.cpp и предназначена для генерации текста, включая работу с документами, кодом, логами и другим длинным контекстом. Модель имеет гибридную архитектуру: 30 блоков Gated-DeltaNet/SSM, 10 полноценных attention-блоков и один MTP-блок. Указана поддержка английского языка. Размер файла Q35-npuaware.gguf составляет 14,89 GiB, средняя точность хранения — 3,60 бит на вес; заявленный контекст — до 32768 токенов. Ключевая особенность сборки — NPU-aware размещение весов: экспертные тензоры переведены в Q3_K и выполняются на CPU, тогда как основные attention- и SSM-проекции сохраняют NPU-совместимые типы Q4_0, Q8_0 и Q6_K. На Radxa ROCK 5B+ с RK3588 и 16 ГБ памяти заявлены показатели 20,4 токена/с для prefilling и 4,8 токена/с для decode, что превосходит сравниваемую квантизацию UD-IQ4_XS при меньшем размере файла. Для работы требуется специальная сборка rk-llama.cpp с backend RKNPU2 и корректными параметрами запуска. Модель особенно подходит для длинных одиночных запросов, но менее эффективна для продолжительных диалогов: из-за рекуррентной архитектуры последующие сообщения требуют повторной обработки большей части контекста. Поддержка 256 экспертов с выбором 8 экспертов на токен обеспечивает MoE-структуру; уменьшение числа активных экспертов до 4 ускоряет decode, но снижает качество. Лицензия — Apache-2.0.

Qwen3-Coder-480B-A35B-Instruct-GGUF — это квантованная версия инструкционной модели Qwen3-Coder-480B-A35B-Instruct, разработанной командой Qwen. Модель опубликована в формате GGUF для использования в совместимых приложениях, включая LM Studio, и предназначена прежде всего для генерации текста и работы с программным кодом в диалоговом формате. Квантование выполнено bartowski на основе llama.cpp, релиз b5962. В README указано обозначение исходной модели с общим размером 480B и конфигурацией A35B, однако подробности архитектуры, фактический размер конкретного GGUF-файла, поддерживаемые языки программирования и естественные языки, модальности и длина контекста не приведены. Формат GGUF и поддержка llama.cpp упрощают локальный запуск в совместимом программном обеспечении, но характеристики производительности, требования к памяти, качество ответов и ограничения конкретного уровня квантования в README не описаны. Лицензия модели и условия использования также не указаны; их следует уточнять на странице исходной модели Qwen/Qwen3-Coder-480B-A35B-Instruct и у распространителя квантованной версии.

Qwen_Qwen3-Coder-Next-GGUF — это квантизированная версия текстовой генеративной модели Qwen3-Coder-Next, разработанной Qwen. Квантизация выполнена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена прежде всего для генерации и обработки текста, включая задачи, связанные с программированием, и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые приложения. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, благодаря чему можно выбирать между качеством ответа, размером файлов и требованиями к оперативной памяти. Размеры представленных файлов составляют примерно от 31,73 до 84,81 ГБ; некоторые варианты разделены на несколько частей. Наиболее качественными считаются Q8_0 и варианты Q6, а Q4_K_M указан как типовой компромисс между качеством и размером. Поддерживаемые модальности, языки, архитектура, количество параметров и размер контекста в README не указаны. Сильной стороной модели является возможность локального запуска и широкий выбор уровней квантизации, включая варианты, оптимизированные для различных аппаратных конфигураций. Ограничения связаны с большими требованиями к дисковому пространству и памяти, а также с потенциальным снижением качества у низкобитных вариантов; для недавно поддерживаемых моделей может потребоваться обновление используемого приложения. Модель распространяется по лицензии Apache-2.0.