II.10Разработка и эксплуатация AI/ML-систем

MiniCPM-Embedding — двуязычная модель текстовых эмбеддингов для поиска, разработанная ModelBest, лабораторией обработки естественного языка Университета Цинхуа (THUNLP) и группой информационного поиска Северо-Восточного университета (NEUIR). Она предназначена для семантического поиска на китайском и английском языках, а также для межъязыкового поиска между ними, в том числе в системах RAG. Модель основана на MiniCPM-2B-sft-bf16 и дообучена на примерно 6 млн открытых, синтетических и закрытых примеров в несколько этапов. Архитектура использует двунаправленное внимание и взвешенный mean pooling. Размер по метаданным — 2,7 млрд параметров; README указывает 2,4 млрд. Размерность эмбеддингов — 2304, максимальная длина входа — 512 токенов. Для запроса можно добавить инструкцию; документы подаются как обычный текст. Модель подходит для поиска по коллекциям документов и межъязычного поиска китайский—английский. Карточка сообщает о тестировании на бенчмарках BEIR и C-MTEB/Retrieval, но приведённые таблицы неполны, поэтому по ним нельзя сделать полный вывод о качестве. Лицензия в предоставленных данных не указана.

saricles/MiniMax-M2.7-NVFP4-GB10-AC — квантизированная версия MiniMax-M2.7 от автора репозитория saricles, подготовленная для генерации кода и агентных сценариев с вызовом инструментов. Модель использует архитектуру MiniMaxM2ForCausalLM типа MoE: исходная модель содержит 230 млрд параметров и 256 экспертов с top-K=8. После посттренировочной квантизации NVFP4 файлы занимают около 141,05 ГБ; в метаданных указано 2,9 млрд параметров, что расходится с README. Квантизация выполнена NVIDIA TensorRT Model Optimizer, а калибровка проведена на смеси датасетов кода, вызова функций, рассуждений и обычного чата. Модель предназначена для генерации кода, многошаговой работы с кодом и математикой, а также для агентных систем, которым нужно вызывать инструменты. Она сохраняет возможности диалоговой модели и рассчитана на запуск на NVIDIA DGX Spark с GB10 и оборудовании семейства Blackwell; README описывает распределённый запуск на двух DGX Spark. Контекстное окно составляет 196 608 токенов по метаданным. В карточке указаны английский и китайский языки. Лицензия обозначена как other, поэтому конкретные условия следует уточнять в репозитории базовой модели и карточке Hugging Face.

unsloth/mistral-7b-bnb-4bit — это напрямую квантизированная 4-битная версия Mistral 7B, подготовленная командой Unsloth с использованием bitsandbytes. Модель предназначена для запуска и дообучения в экосистеме Transformers, в том числе в доступных GPU-средах вроде Google Colab и Kaggle. Основные сценарии использования — генерация и продолжение текста, диалоговые приложения, а также fine-tuning на собственных наборах данных. README указывает поддержку английского языка, библиотекой интеграции является Transformers. Архитектура основана на Mistral 7B, однако точные параметры контекста и другие архитектурные характеристики в карточке не приведены. Формат 4-bit уменьшает требования к памяти; для Mistral 7B заявлено снижение использования памяти примерно на 62% при дообучении с инструментами Unsloth. Сильные стороны модели — компактное 4-битное представление и ориентированность на эффективное дообучение, включая последующий экспорт в GGUF или использование с vLLM. Ограничения включают возможное снижение точности из-за квантизации, зависимость от совместимого программного окружения и отсутствие в README подробных результатов оценки качества. Модель распространяется по лицензии Apache-2.0.

Mistral-NeMo-Minitron-8B-Alpaca-CODE-Python-GGUF-16bit — локально запускаемая модель генерации кода на 8 млрд параметров от Agnuxo, представленная в формате GGUF F16. Карточка позиционирует её как помощника для написания кода на Python и других языках программирования, включая JavaScript, TypeScript, Rust, Go и C++, а также для задач научных вычислений и машинного обучения с NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. Модель предназначена для генерации и помощи с кодом в локальных сценариях; README рекомендует запуск через Ollama и также описывает использование через Transformers. Метаданные относят архитектуру к плотному семейству Mistral, а формат файлов — к GGUF F16. Лицензия — Apache-2.0. В карточке нет подробностей о контексте, языках естественного общения и результатах независимой оценки качества.

ModernCE-base-sts — англоязычный кросс-энкодер для оценки семантического сходства двух текстов. Модель разработал dleemiller на основе answerdotai/ModernBERT-base; она дообучена на датасете sentence-transformers/stsb после предварительного обучения на выборке pair-score-sampled из dleemiller/wiki-sim. Архитектура ModernBERT-base содержит 149 млн параметров, работает с библиотекой sentence-transformers и обрабатывает последовательности длиной до 8192 токенов. Модель принимает пару текстов и выдаёт оценку сходства от 0 до 1, поэтому подходит для сравнения предложений и оценки ответов языковых моделей. На тестовой выборке STS-Benchmark автор сообщает корреляции Pearson 0,9162 и Spearman 0,9122. Доступны веса safetensors и формат ONNX; лицензия — MIT. Результаты оценки могут зависеть от предметной области и не гарантируют точности для любых пар текстов.

korruz/mpnet-base-all-nli-triplet — англоязычная модель Sentence Transformers, дообученная на наборе sentence-transformers/all-nli из microsoft/mpnet-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 для сравнения семантической близости, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура состоит из MPNetModel и слоя среднего объединения токенных представлений; сходство обычно оценивается косинусной мерой. Максимальная длина последовательности — 512 токенов. Модель подходит для извлечения эмбеддингов английского текста и построения систем поиска или группировки по смыслу. В README приведены результаты TripletEvaluator на AllNLI: точность по cosine составила 0,906 на dev и 0,9186 на test. Лицензия — Apache-2.0. Она предназначена для английского языка; качество на других языках не подтверждено, а входы длиннее лимита последовательности потребуют усечения или разбиения.

Dingdust/NeoHorse-1-9B-heretic — текстовая причинная языковая модель на архитектуре Qwen3.5, дообученная TokenRhythm на базе Qwen/Qwen3.5-9B и подготовленная для текстового инференса. Она рассчитана на диалог, следование инструкциям, программирование, рассуждения, использование инструментов и работу в агентных сценариях. По данным карточки, модель содержит 7,2 млрд параметров, поддерживает контекст до 262 144 токенов и распространяется в формате Safetensors; визуальные веса в этой версии отсутствуют. Модель предназначена для локального развёртывания через SGLang или vLLM с OpenAI-совместимым интерфейсом. В отчёте авторов приведено сравнение на десяти бенчмарках, однако примеры развёртывания для этой перепакованной версии ещё не проверены на GPU. Метаданные указывают лицензию Apache-2.0. Тег «heretic» и результаты теста отказов указывают на снижение частоты отказов по сравнению с исходной моделью, поэтому поведение при запросах с потенциально небезопасным содержанием может быть менее ограничительным.

North Mini Code — открытая модель весов для генерации кода, агентной разработки программного обеспечения и выполнения задач в терминале, разработанная Cohere и Cohere Labs. Репозиторий unsloth/North-Mini-Code-1.0 содержит производную версию базовой модели CohereLabs/North-Mini-Code-1.0; метаданные указывают 1,2 млрд параметров, тогда как README базовой модели описывает конфигурацию на 30 млрд параметров, из которых активны 3 млрд. Это расхождение в размере может отражать различия между репозиториями, поэтому размер самой версии Unsloth следует трактовать по метаданным. Модель построена на декодерном Transformer с разреженной архитектурой Mixture-of-Experts и предназначена для текстового ввода и генерации текста. Она поддерживает контекст до 500 тыс. токенов согласно метаданным; README базовой модели приводит 256 тыс. токенов контекста и до 64 тыс. токенов вывода. Модель обучалась для агентного программирования и поддерживает интерфейс вызова инструментов, включая сценарии работы с терминалом. Карточка базовой модели сообщает о двухэтапном дообучении SFT и RLVR. Модель подходит для генерации кода, решения задач разработки с использованием инструментов и выполнения терминальных заданий. Она распространяется по лицензии Apache 2.0. Для запуска README рекомендует актуальные исходные версии Transformers или vLLM; точные результаты могут зависеть от среды и настроек генерации.

NVIDIA-Nemotron-3-Nano-30B-A3B-Base-BF16 — базовая большая языковая модель, обученная NVIDIA с нуля на предсказание следующего токена. Она предназначена для разработчиков и исследователей, которым нужна основа для дообучения под следование инструкциям и создания специализированных ИИ-агентов. Архитектура сочетает Mamba2 и Transformer с экспертами (MoE); модель содержит 30 млрд параметров, принимает и генерирует текст, а в карточке указано окно контекста до 1 млн токенов. Конфигурация Hugging Face по умолчанию использует 256 тыс. токенов из-за требований к видеопамяти. Модель обучалась на коде, математике, научных и общеязыковых данных; NVIDIA приводит поддержку русского и других естественных языков, а также обучение на 43 языках программирования. Заявленные области корпуса включают право, математику, науку и финансы. Для запуска NVIDIA рекомендует GPU-системы, в частности H100-80GB или A100, и NeMo Framework; также перечислены Transformers, vLLM и TRT-LLM. Модель заявлена как готовая к коммерческому использованию, однако метаданные Hugging Face обозначают лицензию как «other», поэтому перед использованием следует проверить условия лицензии в карточке.

bartowski/nvidia_Nemotron-Cascade-14B-Thinking-GGUF — это набор GGUF-квантизаций языковой модели Nemotron-Cascade-14B-Thinking, разработанной NVIDIA. Квантизации подготовлены bartowski с использованием llama.cpp release b7423 и метода imatrix; исходная модель построена на базе Qwen3-14B Base и дообучена NVIDIA с помощью многоэтапного SFT и последовательного доменного reinforcement learning. Модель предназначена для текстовой генерации общего назначения, сложного рассуждения, математических задач, программирования, software engineering, следования инструкциям и tool use. Она рассчитана исключительно на thinking mode и использует шаблон Qwen3-style ChatML с добавлением тега /think. Поддерживается английский язык. Модель имеет около 14B параметров; репозиторий GGUF предлагает варианты от IQ2_XS до BF16 размером примерно от 4,69 до 29,54 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти для llama.cpp, LM Studio и совместимых приложений. Исходная конфигурация рассчитана на 32K токенов; с RoPE scaling по методу YaRN заявлена поддержка 64K токенов, а для SWE Verified — до 90K. Сильные стороны — специализация на глубоком рассуждении и высокие результаты NVIDIA на широком наборе тестов, включая математику и программирование. Ограничения связаны с режимом только thinking, англоязычной специализацией и неизбежной потерей качества у низкобитных квантизаций. Модель и производные квантизации распространяются по NVIDIA Open Model License.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-FP8 — языковая модель NVIDIA для диалогов, рассуждений и генерации текста. Это FP8-квантованная производная NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 на гибридной архитектуре Mamba-2, Transformer и MoE; в репозитории Transformers хранятся веса SafeTensors. В одном чекпойнте вложены варианты на 30B, 23B и 12B параметров, которые можно извлечь без дополнительного обучения. Для варианта 30B активны 3,6B параметров на токен; в меньших вариантах — 2,8B и 2,0B соответственно. Модель рассчитана на чат и задачи рассуждения; также README рекомендует её для прототипирования и описывает готовность к коммерческому применению. Она поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Контекст в метаданных — 262 144 токена; README указывает возможность увеличить контекст при использовании vLLM до 1M токенов с соответствующей настройкой. Elastic-структура позволяет выбирать компромисс между размером варианта и вычислительными затратами, а FP8-представление уменьшает требования к памяти. Модель предназначена для генерации текста и не описана как мультимодальная. Лицензия указана как other; README заявляет о готовности к коммерческому использованию, но конкретные условия лицензии следует сверять с файлами репозитория.

AEON-7/Ornith-1.0-35B-AEON-Ultimate-Uncensored-NVFP4 — 4-битная квантованная версия модели Ornith-1.0-35B, разработанной DeepReinforce и дополнительно адаптированной AEON-7. Это аблитированная, нецензурируемая модель для генерации текста, рассуждений, программирования, агентских сценариев, вызова инструментов и мультимодальных задач с изображениями и текстом. Модель основана на смеси экспертов (MoE) с 35B параметров; в README также указано происхождение от Qwen3.6-35B-A3B. Квантизация NVFP4 применяется только к весам MLP-компонентов по схеме W4A16, тогда как attention, GatedDeltaNet/SSM, vision tower, маршрутизаторы, эмбеддинги и нормализации сохраняют точность BF16. Размер составляет около 23,7 ГБ, заявлена поддержка контекста до 262 144 токенов, изображений и видео, а также reasoning- и tool-calling-режимов. Основные сценарии включают coding, SWE- и terminal-задачи, математическое рассуждение, диалог и обработку мультимодальных запросов. К сильным сторонам относятся существенное уменьшение размера по сравнению с BF16, сохранение заявленной производительности на агентских и кодовых задачах, отсутствие отказов после аблитерации и совместимость с ускорением DFlash. Ограничения включают необходимость GPU архитектуры Blackwell, например B200 или GB10, поддержку через совместимый стек vLLM и сохранение KV-кэша в BF16 для vision-сценариев. Модель распространяется по лицензии MIT.

Ornith-1.5-35B-A3B-AWQ-FP8 — квантованная версия модели Ornith-1.5-35B-A3B, разработанной командой Ornith AI. Модель предназначена для генерации текста, программирования и агентских сценариев, включая работу с инструментами и выполнение задач в терминале. Она обучалась с использованием цикла самоулучшения, который совместно оптимизирует генерацию задач, построение scaffolding и траекторий решений с применением reinforcement learning. Модель использует архитектуру mixture-of-experts: при общем размере около 35B параметров на каждый токен активируется примерно 3B параметров. Представленная версия имеет формат AWQ-FP8 и размер около 39,76 ГБ. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. В README не указаны размер контекста и мультимодальные возможности. Сильной стороной модели является специализация на кодировании и агентских задачах: разработчики сообщают о превосходстве над сопоставимой Qwen3.6-35B-A3B и рядом плотных моделей в соответствующих бенчмарках. Ограничения, подробные требования к оборудованию и параметры инференса в карточке не приведены. Модель распространяется по лицензии MIT.

testsavantai/prompt-injection-defender-base-v0-onnx — ONNX-версия модели классификации текста, разработанная TestSavantAI для защиты больших языковых моделей от prompt injection и jailbreak-атак. Модель предназначена для определения вредоносных и доб benign-запросов в системах безопасности LLM, включая обработку электронных писем, суммаризацию и другие сценарии, где возможны косвенные инъекции инструкций. Модель обучена на наборах данных ChatGPT-Jailbreak-Prompts, deepset/prompt-injections, Prompt-Injection-Mixed-Techniques-2024 и JasperLS/Prompt-Injections. Она использует формат ONNX и предназначена для запуска через ONNX Runtime и библиотеку Transformers как text-classification pipeline. В метаданных указаны английский язык, метрики accuracy и F1, а также базовая модель microsoft/deberta-v3-base; при этом в общем описании линейки вариант base обозначен как DistilBERT-Base, поэтому точная архитектура данной версии неоднозначна. Размер модели и максимальная длина контекста не указаны. К сильным сторонам относятся специализация на prompt injection и jailbreak, ориентация на снижение ложных блокировок и возможность эффективного инференса в ONNX. Ограничения включают отсутствие в README конкретных численных результатов, сведений о поддерживаемых языках кроме английского, размере контекста и лицензии. В качестве общего показателя разработчики упоминают Guardrail Effectiveness Score, объединяющий Attack Success Rate и False Rejection Rate, однако значение для этой версии не приведено.

qwen14b-code-trainer-v9_mixed — LoRA-адаптер для Qwen/Qwen2.5-Coder-14B-Instruct, разработанный cmndcntrlcyber в рамках Code-Trainer / RTPI pipeline. Модель дообучена методом PEFT на смешанном датасете code-trainer-v9-mixed с двухфазной curriculum-тренировкой. Это релиз V9, предназначенный прежде всего для повышения точности формирования тегов <tool_call>, необходимых для разбора структурированных вызовов инструментов в Ollama. Адаптер рассчитан на генерацию кода по инструкциям, function calling, последовательные вызовы нескольких инструментов и многошаговое агентное поведение в многоходовых диалогах. В обучающих данных использовался формат Unified ChatML; около 64,3% обучающих примеров содержат определения инструментов. Архитектурно это не самостоятельная модель, а LoRA-надстройка с параметрами r=32, alpha=64 и dropout=0,05, которую необходимо загружать поверх базовой модели Qwen/Qwen2.5-Coder-14B-Instruct. Обучение проводилось на последовательностях длиной 4096 токенов, при этом для использования рекомендуется контекст до 8192 токенов; базовая модель поддерживает до 32K. Сильные стороны адаптера — повышенная плотность и корректность tool calling, поддержка нескольких вызовов инструментов за один ответ, очистка текста после закрывающего тега tool call и сохранение возможностей генерации кода базовой модели. Ограничения включают отсутствие специального обучения для safety alignment, RLHF и задач, не связанных с кодом. Релиз V9 заменён для deployment более новым V10 с GRPO, но используется как SFT-основа для него. Лицензия — Apache-2.0. Для локального развёртывания рекомендуется объединить адаптер с базовой моделью и использовать квантование Q5_K_M GGUF через llama.cpp, Ollama или LM Studio; Q4_K_M указано как запасной вариант.

Qwen2.5-Coder-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen и подготовленной для распространения пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода, работы в чат-режиме и локального текстового вывода через llama.cpp и совместимые приложения, включая LM Studio. Модель содержит 7 миллиардов параметров, поддерживает текстовый ввод и вывод, а в README заявлен английский язык. Доступны варианты с разными уровнями квантизации — от F16 до Q2 и специализированных форматов для ARM, с размером файлов примерно от 3,5 до 15,2 ГБ. В README также указано обновление конфигурации длины контекста и токенизатора, однако точное значение контекстного окна не приведено. Для диалогов используется формат сообщений Qwen с ролями system, user и assistant. Сильная сторона модели — возможность локального запуска при выборе подходящего уровня квантизации: варианты Q6 и Q5 ориентированы на высокое качество, а более компактные варианты подходят для систем с ограниченной памятью. Ограничения включают возможное снижение качества при сильной квантизации, необходимость совместимого ПО и аппаратных ресурсов, а также отсутствие подробных данных о языковой поддержке и бенчмарках в данном README. Модель распространяется по лицензии Apache-2.0.

txn545/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия языковой модели Qwen3.5-122B-A10B от Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Это авторегрессионная модель на архитектуре Transformers с разреженной экспертной архитектурой: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Модель принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Языки README не уточняет. Модель предназначена для развертывания в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Квантизация весов и активаций линейных операторов в MoE-блоках выполнена в формате NVFP4 и ориентирована на инференс через SGLang на GPU NVIDIA Blackwell под Linux. Указанная версия квантизации создана с помощью nvidia-modelopt v0.43.0.dev52+g35e60991c; для запуска требуется актуальная версия SGLang с поддержкой соответствующих изменений. Сильной стороной модели являются крупный общий объём параметров, мультимодальный ввод, длинный контекст и оптимизация для аппаратного ускорения NVIDIA. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также возможные неточности, токсичные ответы и усиление предубеждений, присутствовавших в исходных данных обучения. Сведения о полном обучающем и тестовом наборах, а также подробные языковые характеристики не раскрыты. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование с учётом условий базовой модели Qwen3.5-122B-A10B.

Qwen3.5-9B-Qworus-V2 — гибридная языковая модель для генерации текста, разработанная на основе объединения моделей empero-ai/Qwen3.8-9B-Distill и ornith-ai/Ornith-1.5-9B. Модель создана методом 50/50 DARE-TIES merge и предназначена для задач программирования, рассуждений, вызова инструментов, планирования, проектирования и ответов на вопросы. Модель доступна через Transformers и ориентирована на text generation. Указан размер 9B; поддерживаются форматы Safetensors и GGUF. Для GGUF предоставлены варианты квантования Q4_K_L для систем с ограниченными ресурсами и Q6_K_L для более высокой точности. В этих вариантах слои токенов и вывода повышены до Q8_0, а тензоры ssm_* используют BF16 или Q8_0 для повышения точности на длинных контекстах. Для квантований imatrix обучена на смеси данных, включающей код, бизнес-тексты, математику и Wikipedia. Модель не является полностью uncensored по умолчанию, поскольку обе исходные модели не были uncensored. В README не указаны поддерживаемые языки, максимальная длина контекста и лицензия, поэтому эти характеристики нельзя определить по имеющимся данным.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT8 — квантизированный вариант Qwen3.6-27B, разработанный сообществом cyankiwi на основе модели Qwen/Qwen3.6-27B от команды Qwen. Модель предназначена для работы с текстом и изображениями, включая агентное программирование, работу с интерфейсами и репозиториями, итеративную разработку и задачи, требующие сохранения контекста рассуждений. Это каузальная языковая модель с vision encoder и 27 миллиардами параметров. Архитектура включает 64 слоя, комбинацию Gated DeltaNet и Gated Attention, а также multi-step training с MTP. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели указан как 36,85 ГБ. Сильными сторонами являются мультимодальность, большой контекст, ориентация на coding agent-сценарии и совместимость с Transformers, vLLM, SGLang и KTransformers. README не содержит подробных сведений о типичных ограничениях качества, требованиях к оборудованию или влиянии квантизации на результаты, поэтому эти характеристики нельзя оценить по имеющимся данным. Модель распространяется по лицензии Apache-2.0.

Карточка модели Tooony133/Qwen-3.6-27B-BiggerFish на Hugging Face совпадает с карточкой Tooony133/Qwen-3.6-27B-ChonkyCat, поэтому описание составлено по ней. Tooony133/Qwen-3.6-27B-ChonkyCat — это объединённая с базовыми весами LoRA-адаптера версия мультимодальной модели Qwen3.6-27B. В README она описана как причинная языковая модель с визуальным энкодером, предназначенная в том числе для агентного программирования, работы с репозиториями и вызова инструментов. Модель содержит 27 млрд параметров и поддерживает контекст до 262 144 токенов, расширяемый до 1 010 000 токенов. Модель принимает текст и изображения и генерирует текст. README отмечает улучшения в сценариях разработки интерфейсов и рассуждения над кодовыми базами; метаданные также указывают поддержку диалогового режима и изображений. Для запуска указана совместимость с Transformers и движками vLLM, SGLang и KTransformers. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-27B-GGUF — это квантизированное распространение открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной Unsloth в формате GGUF. Модель предназначена для локального запуска и интеграции через совместимые инструменты инференса, а также для задач агентного программирования, работы с репозиториями, frontend-разработки, рассуждений и использования инструментов. Это причинная языковая модель с vision-энкодером, то есть мультимодальная модель, способная обрабатывать текст и изображения. Она содержит около 27 млрд параметров, 64 слоя и имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; заявлена поддержка сохранения контекста рассуждений между сообщениями и улучшенный разбор вложенных объектов при вызове инструментов. Языки в README не указаны. К сильным сторонам относятся большой контекст, возможности работы с изображениями, улучшенная производительность в сценариях агентного кодирования и совместимость с экосистемой Transformers, vLLM, SGLang и KTransformers. Ограничения включают высокие требования к вычислительным ресурсам, особенно при длинном контексте, а конкретные характеристики квантизации и результаты бенчмарков для данного GGUF-варианта в README не приведены. Модель распространяется по лицензии Apache 2.0.

Richard Young выпустил эту версию Qwen3.6-27B, обработанную методом abliteration с помощью Heretic v1.4.0, чтобы снизить частоту отказов. Это плотная модель Qwen с 27 млрд параметров, причинной языковой моделью и визуальным энкодером; карточка описывает её как мультимодальную разговорную модель с поддержкой зрения. Веса опубликованы в формате Safetensors и совместимы с Transformers и указанными в README движками инференса. Модель предназначена для диалога, анализа изображений, программирования и агентных сценариев с использованием инструментов. Она поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В сравнении с исходной Qwen3.6-27B в README указаны 38 отказов из 100 против 91 из 100 и KL-дивергенция 0,0254. Это может означать более редкие отказы, но не гарантирует точность или безопасность ответов. Лицензия — Apache-2.0.

unsloth/Qwen3.6-27B-MTP-GGUF — квантованный формат модели Qwen3.6-27B, разработанной командой Qwen; сборка и GGUF-квантизация предоставлены Unsloth. Это открытая модель с лицензией Apache-2.0, предназначенная для локального запуска и интеграции через llama.cpp, Unsloth Studio и другие совместимые инструменты. Она ориентирована прежде всего на агентное программирование, работу с интерфейсами и репозиториями, итеративную разработку с сохранением контекста рассуждений, а также вызов инструментов. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает текстовые и визуальные сценарии. Размер языковой части — 27 млрд параметров; архитектура включает 64 слоя, комбинацию Gated DeltaNet и Gated Attention, а также multi-token prediction (MTP), обученную на нескольких шагах. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Языки в README не указаны. Ключевое преимущество MTP — заявленное ускорение инференса примерно в 1,5–2 раза без потери точности. Модель поддерживает запуск на GPU, CPU и Metal, однако для MTP в llama.cpp пока не поддерживаются параллельные последовательности с np > 1 и мультимодальный проектор mmproj. При больших окнах контекста возможен повышенный расход памяти; README рекомендует уменьшать контекст при нехватке памяти, сохраняя по возможности не менее 262 144 токенов.

Red Hat AI публикует открытые веса Qwen3.6-35B-A3B — постобученную причинную языковую модель с MoE-архитектурой и визуальным энкодером. Она предназначена для диалогов, программирования и агентных сценариев с вызовом инструментов, включая работу с изображениями и видео. Модель содержит 35 млрд параметров, из которых активируются 3 млрд; в языковой части 40 слоёв и 256 экспертов, из которых на токен задействуются 8 маршрутизируемых и один общий. Нативный контекст составляет 262 144 токена и может расширяться до 1 010 000. Среди заявленных сильных сторон — программирование на уровне репозитория, создание интерфейсов и сохранение контекста рассуждений между сообщениями. Модель поддерживает обработку изображений и видео, а примеры оценивания программирования включают английский и китайский; README не позволяет надёжно определить полный список поддерживаемых языков. Веса доступны в формате Safetensors и совместимы с Transformers, vLLM и другими указанными средами. Лицензия — Apache-2.0. Для запуска на длинном контексте нужны значительные вычислительные ресурсы; README советует уменьшать контекст при нехватке памяти, сохраняя по возможности не менее 128K токенов.

trohrbaugh создал вариант Qwen3.6-35B-A3B с применением abliteration — модификации, направленной на снижение склонности модели отказывать в ответах. Это мультимодальная модель семейства Qwen с архитектурой смеси экспертов и зрительным энкодером, предназначенная для диалогов, работы с изображениями, программирования и агентных сценариев с вызовом инструментов. Модель содержит 35 млрд параметров, из которых активируется около 3 млрд; в MoE используются 256 экспертов, включая восемь маршрутизируемых и один общий активный эксперт. Контекст составляет 262 144 токена и может расширяться до 1 010 000. Репозиторий содержит веса в формате safetensors для Transformers и совместимых сред. В приведённом сравнении исходная модель отказывала в 99 из 100 проверочных запросов, а этот вариант — в 2 из 100; результат относится к указанной проверке и не гарантирует поведение на других запросах. Модель подходит для генерации и анализа текста и изображений, помощи в разработке ПО и агентной работы с инструментами. Карточка не сообщает языковые коды; в описании исходного семейства упомянуты двуязычные английские и китайские тесты, что само по себе не подтверждает полный перечень поддерживаемых языков. Лицензия — Apache 2.0. Автор указывает, что загрузка до исправления 2 мая 2026 года могла содержать некорректно сохранённые веса MoE; для корректной работы нужна исправленная версия репозитория.

unsloth/Qwen3.6-35B-A3B-NVFP4-Fast — квантованный чекпойнт семейства Qwen3.6, разработанный Unsloth на базе Qwen/Qwen3.6-35B-A3B. Это каузальная языковая модель с vision encoder, предназначенная для генерации текста, мультимодальных задач и особенно для агентного программирования, работы с фронтенд-разработкой и рассуждений на уровне репозитория. Модель поддерживает сохранение контекста рассуждений из предыдущих сообщений. Языки в README не указаны. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке токена; предусмотрены 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий. Архитектура включает Gated DeltaNet и Gated Attention, 40 слоёв, скрытое измерение 2048 и нативный контекст длиной 262 144 токена. Чекпойнт содержит модуль Multi-Token Prediction, который может использоваться для ускорения декодирования. Квантование выполнено в формате NVFP4 и откалибровано на смеси наборов Unsloth и UltraChat. К сильным сторонам относятся сниженные требования к видеопамяти, заявленная совместимость с GPU от 32 ГБ, высокая скорость инференса в рекомендованных конфигурациях vLLM и результаты, близкие к FP8 и BF16 на приведённых тестах MMLU-Pro, GPQA и AIME 2025. Ограничения связаны с потерями точности и особенностями производительности, возможными из-за NVFP4-квантования, а также с зависимостью скорости от совместимого оборудования и backend. README не приводит подробных данных о мультимодальных возможностях, языках и расширенной длине контекста. Модель распространяется по лицензии Apache-2.0. Веса и конфигурации представлены в формате Hugging Face Transformers; также заявлена совместимость с vLLM, SGLang и KTransformers.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-25 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B, разработанная RedHatAI. Это текстовая модель для генерации текста на основе архитектуры Qwen3_5MoeForCausalLM с разреженной смесью экспертов (MoE). Модель принимает текст и генерирует текст; сведения о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для задач рассуждения, программирования и общего текстового вывода, включая развёртывание через vLLM с OpenAI-совместимым API. В слоях экспертов MoE применена смешанная квантизация NVFP4: веса и активации линейных операторов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Дополнительно выполнено 25-процентное REAP-прореживание экспертов. Это снижает требования к дисковому пространству и GPU-памяти квантизированных слоёв примерно на 75 процентов с учётом дополнительного выигрыша от разреженности. По данным оценки, модель сохранила высокое качество относительно неквантизированной версии: результат на GPQA Diamond составил 91,5 против 92,6 у исходной модели, а на DeepSWE v1.1 — 56,6, что соответствует заявленному восстановлению 98,81 и 100 процентов соответственно. Ограничения включают потенциальное влияние квантизации и прореживания на качество за пределами указанных тестов, а также высокие требования к инфраструктуре: рекомендован запуск с vLLM, tensor parallelism на 8 GPU и expert parallelism. Лицензия в README не указана.

PearsonKyle/Qwen3.8-27B-GPTQ-W4A16 — это квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной PearsonKyle. Модель предназначена для генерации и понимания текста, работы с изображениями, агентных сценариев, вызова инструментов и function calling. Она ориентирована прежде всего на запуск через vLLM. Модель содержит около 27 млрд параметров и использует квантование GPTQ в формате compressed-tensors W4A16: основная часть весов представлена в int4 с группами размера 128 и симметричным квантованием. Размер загрузки составляет около 18,1 GiB. Калибровка выполнена на 4,26 млн токенов агентных сессий программирования при контексте 32 768 токенов. В состав также входят MTP-голова для speculative decoding и vision tower, сохранённый в bf16; заявлена скорость декодирования до 1,71 раза выше при принятии 71,2% черновых токенов. К сильным сторонам относятся поддержка текста и изображений, tool calling, интеграция с vLLM без конвертации, а также возможность speculative decoding. Ограничения связаны с потерями и особенностями 4-битного квантования: embed_tokens и lm_head оставлены в bf16, поэтому итоговый размер и средняя точность отличаются от полностью 4-битной модели; для работы требуется совместимая версия vLLM и соответствующая аппаратная память. В карточке указан английский язык, поэтому поддержка других языков не подтверждена. Модель распространяется по лицензии Apache-2.0.

YTan2000 собрал вариант Qwen3.8-27B с квантованием TurboQuant TQ3_4S и форматом GGUF для запуска через специальную сборку llama.cpp-tq3. Модель предназначена для диалогов, генерации кода и многошаговых задач; с подключённым проектором mmproj поддерживает анализ изображений и видео. Веса основаны на Qwen/Qwen3.8-27B, в которой используются гибридная архитектура Gated DeltaNet и Gated Attention и обученные головы Multi-Token Prediction для ускорения генерации. В карточке указаны 27 млрд параметров у базовой модели, контекст до 262 144 токенов, размер файла 13,8 ГБ и квантование 4,24 бит на вес. Версия v2 включает исправленный шаблон чата для строковых аргументов инструментов и режима без рассуждений; для v1 требуется отдельно указать шаблон. README приводит результаты тестов генерации кода и скорости на RTX 3090, но они зависят от конфигурации запуска. Для работы требуется TurboQuant-версия llama.cpp; поддержка изображений и видео требует файла mmproj. Лицензия — Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-NVFP4-1M — модель семейства Qwen3.8 с 27 млрд параметров, созданная на основе модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Объединение весов и исходная модель относятся к DavidAU, а расширение контекста, квантизация и упаковка для NVIDIA Blackwell выполнены Solstice-AI. Модель предназначена для диалогов, программирования, агентной разработки ПО, решения задач с длинным контекстом и визуального анализа. Модель использует формат NVIDIA NVFP4 с 4-битным microscaling, гибридную архитектуру с блоками Gated Delta Recurrent Network и Grouped-Query Attention, а также Multi-Token Prediction для ускорения генерации. Заявлена поддержка текстово-визуального ввода, включая анализ схем, интерфейсов кода и видеокадров; для визуального режима поставляется компонент mmproj-BF16.gguf. Контекст расширен с 262 144 до 1 048 576 токенов с помощью YaRN. В карточке указаны английский и китайский языки, а также совместимость с инфраструктурой vLLM и SGLang на оборудовании NVIDIA Blackwell, включая B200, GB200 и RTX 5090. Среди заявленных сильных сторон — высокая скорость и эффективность на поддерживаемом оборудовании, большой контекст, возможности рассуждения, программирования и компьютерного управления. README приводит результаты внутренних или заявленных оценок, включая 61,7% на SWE-bench Pro, 90,3% на LiveCodeBench v6 и показатели ARC-C 735 и ARC-E 882; эти результаты следует интерпретировать с учетом условий тестирования и не считать независимой гарантией качества. Ограничения включают зависимость от NVFP4-совместимого оборудования и специализированной инфраструктуры, а также возможные потери качества из-за 4-битной квантизации и расширения контекста. Лицензия модели указана как Apache-2.0.