II.4Отладка, тестирование и качество ПО

Llama-3.3-Nemotron-Super-49B-v1.5-GGUF — квантованное представление большой языковой модели NVIDIA, производной от Meta Llama-3.3-70B-Instruct. Модель предназначена для рассуждений, многоходового чата, следования инструкциям, программирования, математических и научных задач, а также для создания RAG-систем, AI-агентов и приложений с вызовом инструментов. Версия GGUF подготовлена Unsloth и включает исправления шаблона чата; для llama.cpp рекомендуется использовать параметр --jinja. Модель представляет собой плотный decoder-only Transformer с архитектурными изменениями, полученными методом Neural Architecture Search: в отдельных блоках внимание пропускается или заменяется линейным слоем, а коэффициент расширения FFN может различаться между блоками. Такой подход уменьшает требования к памяти и повышает эффективность инференса при сохранении качества. Указаны размер 49B параметров, контекст до 128K токенов и поддержка английского языка, включая задачи с кодом. Модель обучалась на данных с отсечкой по 2023 году, поэтому её знания могут быть устаревшими. Сильными сторонами являются сочетание качества рассуждений и эффективности, поддержка агентных сценариев, RAG и tool calling, а также возможность применения в коммерческих проектах. Ограничения включают специализацию преимущественно на английском языке, отсутствие заявленной мультимодальности и зависимость характеристик от конкретного GGUF-кванта и оборудования. Использование регулируется NVIDIA Open Model License, а также дополнительными условиями Llama 3.3 Community License Agreement.

OpenYourMind создала abliterated-версию MiniMax-M3: из модели удалено поведение отказа, при этом сохранены рассуждения, многоязычные и мультимодальные возможности, программирование и использование инструментов. Это большая мультимодальная модель класса Mixture of Experts с визуальным энкодером и режимом рассуждений. Архитектура, токенизатор и шаблон чата совпадают с базовой моделью, поэтому версия предназначена для замены MiniMax-M3 в совместимом окружении. Модель принимает текст и изображения и формирует текстовые ответы; её можно применять для диалогов, анализа изображений, программирования и агентных сценариев. Весовой файл содержит параметры BF16 и занимает около 854 ГБ, поэтому для развёртывания требуются несколько GPU или узлов; для менее мощных систем потребуется квантизация. Лицензия указана как Other и наследуется от лицензии MiniMax-M3.

Esper 4 — дообученная Valiant Labs модель на базе Qwen3.6-27B, предназначенная для агентного программирования, проектирования архитектуры, DevOps и MLOps. Она подходит для работы в агентных фреймворках и как самостоятельный чат- и кодовый ассистент. Модель имеет плотную архитектуру семейства Qwen3.5, около 22,3 млрд параметров и контекстное окно 262 144 токена. Метаданные указывают поддержку задач генерации текста и обработки изображений с выдачей текста; в README основной акцент сделан на кодировании и инженерных задачах. Для дообучения использованы наборы сложных примеров по программированию, DevOps и архитектуре, созданные с помощью DeepSeek-V4-Pro. Карточка отмечает английский язык. Esper 4 ориентирована на сложные агентные запросы, разработку и эксплуатацию AI-систем; автор также заявляет возможность локального запуска и быструю серверную генерацию. Лицензия — Apache-2.0. README не приводит независимых оценок качества, поэтому заявленные улучшения не следует считать подтверждёнными сравнительным тестированием.

RedHatAI/Qwen3.6-27B-FP8 — открытая FP8-квантизованная версия Qwen3.6-27B, разработанной Alibaba Cloud и опубликованной в формате Hugging Face Transformers. Модель предназначена для генерации текста, рассуждений, агентного программирования, работы с репозиториями и вызова инструментов. Она совместима с Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder, содержит 27 млрд параметров и 64 слоя. Архитектура сочетает Gated DeltaNet и Gated Attention, поддерживает мультимодальный сценарий с изображениями и имеет нативный контекст 262 144 токена, расширяемый до 1 010 000 токенов. В README не указаны поддерживаемые языки. Для вызова инструментов предусмотрена поддержка tool calling с парсером qwen3_coder; включение режима reasoning выполняется через параметры совместимого сервера. К сильным сторонам относятся оптимизация для реальных задач программирования, фронтенд-разработки, репозиторного анализа и агентных рабочих процессов, а также близкая к исходной модели производительность после мелкозернистой FP8-квантизации с размером блока 128. Ограничения включают зависимость качества и функциональности от совместимого inference-стека и настроек reasoning и tool calling; конкретные требования к оборудованию и полный набор языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

AaryanK/Qwen3.6-27B-GGUF — это квантизированная версия Qwen3.6-27B, разработанной командой Qwen. Модель предназначена для генерации текста, агентного программирования, работы с репозиториями и фронтенд-задачами, а также для сценариев, требующих вызова инструментов и обработки мультимодальных данных. Она поставляется в формате GGUF и рассчитана на локальный запуск с совместимыми средствами, включая llama.cpp. Модель содержит 27 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + Gated Attention с 64 слоями и vision encoder. Она поддерживает текстовые и визуальные входы, включая изображения и видео, заявленные языковые возможности включают английский язык. Нативная длина контекста составляет 262 144 токена; также указана возможность расширения до 1 010 000 токенов. Модель поддерживает Thinking Mode, сохранение контекста рассуждений между сообщениями и вызов инструментов. К сильным сторонам относятся длинный контекст, мультимодальность, возможности агентного кодирования и сохранение рассуждений в итеративных рабочих процессах. Ограничения связаны с требованиями к совместимости: для гибридной архитектуры нужна актуальная версия llama.cpp, а объём памяти зависит от выбранного файла квантизации и длины контекста. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8 — открытая FP8-квантованная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Red Hat AI. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, рассуждений, программирования, агентных сценариев и вызова инструментов. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке запроса. Она содержит 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Поддерживаются текстовые и визуальные входы, однако конкретный набор языков в README не указан. Сильными сторонами модели заявлены агентное программирование, работа с frontend-задачами, рассуждение на уровне репозитория, сохранение контекста рассуждений и вызов инструментов. Квантование выполнено в формате fine-grained FP8 с размером блока 128; заявлена производительность, близкая к исходной модели. Вариант может быть предпочтителен на оборудовании, где вычислительные ресурсы превышают пропускную способность памяти. Для работы с vLLM требуются параметры reasoning-parser qwen3 и включение prefix caching; совместимость также заявлена с Transformers, SGLang и KTransformers. README не приводит подробных ограничений, полного набора языков или характеристик работы с изображениями. Модель распространяется по лицензии Apache-2.0. Артефакты проверены с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

unsloth/Qwen3.8-2.4T-A95B-GGUF — квантованная версия открытой модели Qwen3.8-2.4T-A95B, подготовленная Unsloth с использованием подхода Unsloth Dynamic 2.0. Модель разработана командой Qwen и предназначена для генерации текста, программирования, профессиональных и исследовательских задач, а также для долгих многошаговых агентских сценариев. README указывает совместимость исходных артефактов с Transformers, vLLM, SGLang и TokenSpeed. Это причинная языковая модель с архитектурой Mixture of Experts: 2,4 трлн параметров всего, из которых активируется 95 млрд. Она содержит 92 слоя, скрытое измерение 8192 и 512 экспертов, из которых для обработки токена маршрутизируются 10 экспертов и один общий. Архитектура сочетает Gated DeltaNet и Gated Attention, а также поддерживает Multi-Token Prediction. Нативная длина контекста составляет 262 144 токена и может быть расширена примерно до 1 010 000 токенов. Управление глубиной рассуждений выполняется параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться через preserve_thinking. Сильные стороны модели — высокий заявленный уровень для сложного кодирования, профессиональной работы, исследований, планирования и автономного выполнения задач, а также большой контекст и возможность настройки рассуждений. Ограничения включают крайне большой общий размер модели и соответствующие требования к памяти и инфраструктуре; конкретные требования зависят от выбранного GGUF-кванта и конфигурации запуска. В README не указаны поддерживаемые языки и точные параметры доступных квантований. Лицензия обозначена как qwen3.8-max; условия следует уточнять в файле LICENSE.

Qwen3.8-Flash-Next-MLX-SSD-Stream — подготовленная для mlx-serve версия модели Qwen3.8-Flash-Next, разработанная garnermccloud на базе весов Qwen, с таблицей FP8 от RadixArk и поддержкой Apple MLX. Модель предназначена для локального высокоскоростного инференса на Mac с unified memory, особенно для генерации кода, технических текстов, задач рассуждения, структурированных вызовов инструментов и работы с длинным контекстом. Она поддерживает текстовые, графические и видео-входы, а также OpenAI Chat Completions, Responses, Anthropic Messages и Ollama API. Архитектура включает Transformer и vision-компоненты примерно на 125 млрд параметров, из которых около 6 млрд активны на токен, а с учётом PLE-таблицы и MTP-весов логический общий объём составляет около 180 млрд параметров. Реализованы Mixture-of-Experts, sparse attention, n-gram embedding, native MTP и контекст до 262 144 токенов. Основные компоненты используют BF16, маршрутизируемые эксперты и MTP — Q4 affine, vocabulary head — Q6 affine, а 51,2-гигабайтная n-gram-таблица хранится в FP8 и потоково читается с SSD, снижая требования к unified memory. На Apple M4 Max с 128 ГБ заявлена скорость декодирования около 71–74 токенов в секунду в отдельных сценариях и prefill до 280,7 токена в секунду на длинном контексте. Сильные стороны модели — сочетание качества BF16-ядра, ускорения MTP, мультимодальности, большого контекста и возможности запускать конфигурацию с крупной таблицей без полного размещения в памяти. Ограничения — значительный размер подготовленного репозитория около 127 ГБ, зависимость от SSD и специализированного движка mlx-serve, а также оптимизация прежде всего под Apple Silicon; приведённые показатели относятся к M4 Max с 128 ГБ памяти. Модель распространяется по Qwen Community License; веса Transformer и vision предоставлены Qwen, таблица — из checkpoint RadixArk, а подготовленная конфигурация и поддержка SSD Stream — проектом garnermccloud/mlx-serve.

unsloth/Qwen3-Coder-REAP-363B-A35B-GGUF — сжатая версия Qwen3-Coder-480B-A35B-Instruct, разработанная с применением метода REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации кода, агентного программирования, понимания репозиториев, математического и творческого текста, а также вызова функций и инструментов. Разработчики заявляют сохранение характеристик исходной модели при снижении требований к памяти примерно на 25%, что делает её пригодной для ресурсоограниченных сред, локального развёртывания и исследовательских задач. Это разреженная causal language model архитектуры Mixture-of-Experts: 363 млрд параметров всего, около 35 млрд активируются на токен; используется 120 экспертов, из которых 8 выбираются для каждого токена, 62 слоя и Grouped Query Attention с 96 головами Q и 8 головами KV. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 млн с YaRN. В README указана FP8-квантизация для описанного варианта, совместимость с vLLM и лицензия Apache 2.0. Ограничением является крайне большой общий размер модели и высокие требования к оборудованию; результаты оценки для BF16-варианта на момент публикации не представлены.

Tess-4-27B-GGUF — набор GGUF-квантизаций модели Tess-4-27B, разработанной Migel Tissera и построенной на базе Qwen/Qwen3.6-27B от команды Qwen. Это агентная модель с поддержкой рассуждений, которая адаптирует глубину рассуждения к сложности задачи. Модель предназначена для диалогов, программирования, рефакторинга кода, структурированного вывода, решения сложных задач и создания локальных AI-агентов. Модель имеет размер 27B параметров и поставляется в вариантах Q4_K_M, Q6_K и Q8_0 с размерами примерно от 16,5 до 28 ГБ. Основной формат — GGUF, ориентированный на локальный запуск через llama.cpp, LM Studio и Ollama. Для обработки изображений предусмотрен отдельный vision projector mmproj, что добавляет мультимодальный режим с поддержкой входных изображений. Также доступны MTP-головы для speculative decoding: они могут ускорять генерацию примерно в 1,5–2 раза на подходящих задачах без изменения результата. Используется шаблон чата семейства Qwen3.5 с выделенным блоком рассуждений, однако поддерживаемые языки и размер контекстного окна в карточке не указаны. Сильные стороны модели — агентный характер, масштабирование рассуждений по сложности, поддержка кода и структурированного вывода, локальная работа и мультимодальный режим при подключении projector. Ограничения связаны с высокими требованиями к оперативной памяти или VRAM, потерями точности при использовании более агрессивной квантизации и необходимостью современного runtime llama.cpp для распознавания архитектуры qwen35. Для запуска требуется выбрать подходящий вариант квантизации, а для изображений и ускорения — установить дополнительные файлы. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/calme-2.1-qwen2.5-72b — плотная языковая модель на 71,5 млрд параметров, дообученная Maziyar Panahi на основе Qwen/Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста, включая ответы на вопросы, работу виртуальных помощников, создание и суммаризацию контента, генерацию и анализ кода, решение задач и поддержку принятия решений. Модель использует архитектуру Qwen2 и шаблон диалога ChatML; максимальная длина контекста — 32 768 токенов. В карточке заявлена поддержка английского языка. Модель подходит для широкого круга текстовых сценариев и имеет интерфейс чата. Возможны предвзятость и ошибки; при практическом применении рекомендуется человеческий контроль. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Codestral-22B-v0.1 — плотная авторегрессионная модель семейства Mistral на 22 млрд параметров, разработанная командой Mistral AI и обученная на разнообразном наборе данных, включающем более 80 языков программирования. Она предназначена для генерации и анализа кода: модель отвечает на вопросы о фрагментах программ, пишет документацию, объясняет и рефакторит код, а также создаёт программы по инструкциям. Режим Fill in the Middle позволяет дополнять код между заданными префиксом и суффиксом, в том числе в инструментах разработки. Поддерживается контекст длиной до 32 768 токенов. Модель принимает текстовые запросы и выдаёт текст, включая программный код. README приводит Python, Java, C, C++, JavaScript и Bash как примеры языков обучения; полный перечень заявлен в сопутствующей публикации. Контроль модерации в модели отсутствует, поэтому её ответы могут требовать проверки и внешних ограничений. Репозиторий использует формат safetensors; лицензия в метаданных указана как other, конкретные условия следует сверять с карточкой модели.

casperhansen/deepseek-r1-distill-qwen-14b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-14B, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-14B и дообучена на образцах рассуждений, сгенерированных DeepSeek-R1. Модель предназначена для генерации текста и диалогов, а также задач, требующих рассуждений, включая математику, программирование и анализ сложных запросов. Это text-only causal language model архитектуры Qwen2, примерно на 14 млрд параметров, представленная в формате Safetensors с 4-битной AWQ-квантизацией. В конфигурации указаны 48 слоёв, 40 attention heads, 8 key-value heads и максимальная длина последовательности до 131072 токенов. Модель поддерживает локальный запуск через совместимые инструменты, включая Transformers, vLLM и SGLang; квантизация снижает требования к памяти по сравнению с исходной версией. Сильная сторона модели — сохранение возможностей дистиллированной R1-модели в существенно более компактном формате; для исходной 14B-версии DeepSeek указывает высокие результаты на математических, кодовых и reasoning-бенчмарках, включая AIME 2024, MATH-500, GPQA Diamond и LiveCodeBench. Ограничения включают возможную потерю качества из-за 4-битной квантизации, зависимость производительности от аппаратного обеспечения и программного стека, а также отсутствие заявленной мультимодальности. Репозиторий версии AWQ распространяется по лицензии MIT; для производной модели также следует учитывать условия лицензии исходной Qwen2.5.

DeepSeek-R1-Distill-Qwen-7b-IDKKKK — объединённая языковая модель, созданная автором репозитория с помощью mergekit методом Linear из DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct. Она предназначена для диалоговой генерации текста, решения математических задач и помощи с программным кодом. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров, работает через Transformers и принимает контекст длиной до 131 072 токенов. Объединение сочетает возможности исходных моделей для рассуждений, математики и кода; в метаданных также отмечен интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors. Языковая поддержка и лицензия в предоставленных данных не описаны.

Deepthink-Llama-3-8B-Preview — диалоговая языковая модель PrithivMLmods, дообученная на базе meta-llama/Llama-3.1-8B-Instruct с использованием Rethinking R1 Dataset Logits. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров; поддерживает контекст до 131 072 токенов и работает с текстом. В карточке заявлены обучение с учителем и обучение с подкреплением на основе отзывов людей. Модель предназначена для диалогов и генерации текста с рассуждениями, пошаговыми объяснениями и структурированными ответами. Её можно применять для помощи в программировании, обучения, исследований, творческого письма, генерации JSON и таблиц, а также для чат-ботов и ассистентов. В README заявлена поддержка более 29 языков; метаданные карточки подтверждают английский и китайский. Лицензия — Llama 3. Ограничения включают возможные ошибки в вычислениях и логике, предвзятость, устаревшие сведения, ухудшение связности на длинном контексте и трудности с неоднозначными запросами; критичные результаты требуют проверки человеком.

Dolphin 3.0 Mistral 24B — диалоговая инструкционная языковая модель семейства Dolphin, подготовленная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на базе Mistral Small 24B Base. Это плотная модель с архитектурой MistralForCausalLM, содержащая 23,4 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и использует шаблон диалога ChatML. Модель предназначена для локального применения в качестве помощника общего назначения: она отвечает на вопросы и следует системным инструкциям, помогает с программированием и математикой, а также поддерживает сценарии с агентными инструкциями и вызовом функций. В README отмечено, что поведение и тон можно задавать системным промптом; для этой модели авторы рекомендуют низкую температуру генерации 0,05–0,1. Модель дообучена на смесях инструкционных, математических, кодовых и диалоговых данных. В метаданных указан английский язык, поэтому уверенно описывать поддержку других языков нельзя. Это текстовая модель без заявленных возможностей обработки изображений или аудио. Для работы с ней нужны совместимая среда запуска и достаточные вычислительные ресурсы; качество ответов зависит от системного промпта и настроек генерации. Лицензия в предоставленных данных не указана.

unsloth/gpt-oss-20b — открытая по весам языковая модель OpenAI из семейства gpt-oss, представленная в репозитории Unsloth и основанная на openai/gpt-oss-20b. Она предназначена для генерации текста, задач, требующих рассуждений, агентских сценариев и широкого спектра разработческих применений, включая вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель использует архитектуру Mixture-of-Experts с 21 млрд параметров, из которых 3,6 млрд активны при обработке запроса. Нативная квантование MXFP4 для MoE-слоёв позволяет запускать её примерно в пределах 16 ГБ памяти; модель ориентирована на меньшую задержку, локальное выполнение и специализированные сценарии по сравнению с gpt-oss-120b. Доступны настраиваемые уровни усилий рассуждения — низкий, средний и высокий, а также возможность дообучения. Для корректной работы необходимо использовать формат ответов harmony; применение модели в другом формате может приводить к некорректным результатам. Полная цепочка рассуждений доступна разработчику для отладки и анализа, но не предназначена для показа конечным пользователям. Модель является текстовой, сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Лицензия Apache 2.0 допускает свободное использование, модификацию, дообучение и коммерческое развёртывание с учётом условий лицензии.

FreedomAISVR опубликовал GGUF-квантизацию NVFP4 модели Magistral-Small-2509 от Mistral AI. Это плотный трансформер Mistral3ForConditionalGeneration с 24 млрд параметров, рассчитанный на диалог, рассуждения в несколько шагов, агентное программирование, вызов инструментов и понимание изображений. Для работы с изображениями в репозитории есть отдельный проектор mmproj на базе 24-слойного Pixtral ViT; модель принимает текст и изображения и генерирует текст. Нативная длина контекста — 131 072 токена. В карточке указана поддержка более 27 языков, а метаданные перечисляют английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский и арабский. NVFP4 снижает требования к памяти и рассчитан на ускорение на GPU NVIDIA Blackwell; квантизация может влиять на качество. Лицензия — Apache 2.0.

richardyoung/mythos-9b-merged-heretic — модель для генерации текста и диалогов, созданная Richard Young на основе Qwen3-9B. Это декензурированная версия Mythos-9B, полученная с помощью Heretic v1.4.0; исходная Mythos-9B дообучалась на 47 824 примерах с трассами использования инструментов, командами оболочки, генерацией кода и многошаговыми рассуждениями. Модель поддерживает режим thinking и рассчитана на агентные сценарии с вызовом инструментов. Репозиторий содержит веса в формате safetensors. Контекст модели составляет 40 960 токенов, размер — 7,6 млрд параметров; в карточке указан английский язык. В сравнении с исходной Mythos-9B автор приводит 7 отказов из 100 проверок против 79 из 100 у исходной модели, а также низкую KL-дивергенцию 0,0211. Эти результаты описывают приведённые автором проверки и не гарантируют качество в других задачах. Модель распространяется по лицензии Apache 2.0.

Карточка модели EmperoAI/NVIDIA-Nemotron-Labs-Teacher-STEM на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-Labs-Teacher-STEM, поэтому описание составлено по ней. NVIDIA-Nemotron-Labs-Teacher-STEM — большая языковая модель NVIDIA из семейства Nemotron 3 Ultra, предназначенная для сложных рассуждений и использования как самостоятельная модель и учитель для генерации синтетических данных и дистилляции. Она дообучена на основе постобученной Nemotron 3 Ultra Student с дополнительной настройкой на рассуждения и обучением с подкреплением; в рецепте также применяется дистилляция с участием нескольких учителей. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Она содержит 550 млрд параметров, из которых 55 млрд активны, и поддерживает генерацию текста с контекстом до 262 144 токенов по метаданным Hugging Face. Предназначена для математики, программирования, естественных наук, гуманитарных и общественных дисциплин, ответов на сложные вопросы и работы с инструментами, включая поиск и выполнение кода. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, арабский, китайский, иврит и бразильский вариант португальского. Карточка сообщает о возможности коммерческого и некоммерческого использования; лицензия в метаданных указана как other, поэтому конкретные лицензионные условия следует сверить с репозиторием. Для запуска требуются значительные вычислительные ресурсы и совместимое оборудование.

NVIDIA-Nemotron-Labs-Teacher-STEM — большая языковая модель NVIDIA из семейства Nemotron 3 Ultra, предназначенная для сложных рассуждений и использования как самостоятельная модель и учитель для генерации синтетических данных и дистилляции. Она дообучена на основе постобученной Nemotron 3 Ultra Student с дополнительной настройкой на рассуждения и обучением с подкреплением; в рецепте также применяется дистилляция с участием нескольких учителей. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Она содержит 550 млрд параметров, из которых 55 млрд активны, и поддерживает генерацию текста с контекстом до 262 144 токенов по метаданным Hugging Face. Предназначена для математики, программирования, естественных наук, гуманитарных и общественных дисциплин, ответов на сложные вопросы и работы с инструментами, включая поиск и выполнение кода. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, арабский, китайский, иврит и бразильский вариант португальского. Карточка сообщает о возможности коммерческого и некоммерческого использования; лицензия в метаданных указана как other, поэтому конкретные лицензионные условия следует сверить с репозиторием. Для запуска требуются значительные вычислительные ресурсы и совместимое оборудование.

Olmo-3.1-32B-Instruct — авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это плотная модель семейства OLMo 3 с 31,7 млрд параметров, дообученная на основе allenai/Olmo-3.1-32B-Instruct-DPO; карточка также описывает этапы SFT, DPO и обучения с подкреплением на данных Dolci. Модель рассчитана на диалог, выполнение инструкций, общие знания, математику и программирование; поддерживает интерфейс вызова инструментов. Основной язык — английский, контекст — до 65 536 токенов. Модель можно применять для ответов на вопросы, помощи с кодом и математическими задачами, а также для диалоговых и общих текстовых запросов. Доступна в формате Safetensors и работает с Transformers версии 4.57.0 или выше. Лицензия Apache 2.0; разработчик указывает на исследовательское и образовательное применение в соответствии с рекомендациями Ai2 по ответственному использованию.

Phi-3-Medium-4K-Instruct — плотная языковая модель семейства Phi-3, разработанная Microsoft. Модель содержит 13,8 млрд параметров и рассчитана на контекст до 4096 токенов. Она обучена на синтетических данных и отфильтрованных общедоступных веб-текстах с упором на качество и рассуждения, а затем дообучена с помощью supervised fine-tuning и direct preference optimization для следования инструкциям и повышения безопасности. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно для сред с ограниченными вычислительными ресурсами и требованиями к задержке, а также для задач программирования, математики, логики и понимания текста. Она работает с текстом и ориентирована прежде всего на английский язык; для других языков качество может быть ниже. Весы доступны в формате safetensors, лицензия — MIT. Как и другие языковые модели, Phi-3-Medium-4K-Instruct может выдавать недостоверные или устаревшие сведения, предвзятые либо оскорбительные ответы. Генерацию кода следует проверять: обучающие данные для кода преимущественно охватывают Python и распространённые библиотеки.

baronyi/Qwen2_5-code-talker-v1-0707-014615 — объединённая методом SLERP модель на основе Qwen/Qwen2.5-Coder-14B-Instruct и Qwen/Qwen2.5-14B-Instruct. Это плотная авторегрессионная языковая модель семейства Qwen2.5 с архитектурой Qwen2ForCausalLM и примерно 14 млрд параметров; карточка указывает форматы Safetensors и GGUF F16, а метаданные — контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и программного кода, а также структурированных ответов и взаимодействия с инструментами через соответствующий интерфейс. Она объединяет возможности двух инструкционных моделей Qwen2.5, одна из которых ориентирована на код. Поддерживаемые языки в предоставленных данных не перечислены. Условия лицензии в карточке и метаданных не приведены.

Smoffyy/Qwen3.6-27B-Instruct-Revised-GGUF — производная от Qwen3.6-27B, разработанного командой Qwen, и конвертация в формат GGUF, выполненная Smoffyy с использованием llama.cpp. Модель предназначена для диалоговых задач, программирования, агентских сценариев, работы с репозиториями и frontend-разработки. Она также поддерживает обработку изображений при использовании файла mmproj-f16.gguf. В основе лежит каузальная языковая модель с vision-энкодером на 27 млрд параметров, 64 слоями и нативным контекстом до 262 144 токенов; заявлена возможность расширения контекста до 1 010 000 токенов. Доступны различные уровни квантования GGUF. Вариант Revised сохраняет возможности исходной модели, но содержит исправленный и улучшенный шаблон чата с поддержкой роли developer, управлением режимом reasoning и другими исправлениями. По умолчанию используется режим без рассуждений; включение и отключение reasoning задаётся через системный промпт. Для запуска рекомендуется выбирать q5_k_m и выше при наличии от 48 ГБ VRAM, q4_k_m как сбалансированный вариант при наличии от 24 ГБ, а q3_k_m для систем с 8–12 ГБ. Ограничения зависят от выбранного уровня квантования и доступной памяти; для мультимодальной работы требуется дополнительный mmproj-файл. Модель и производные распространяются по лицензии Apache 2.0.

mlx-community/Qwen3.8-27B-OptiQ-4bit — квантованная MLX-версия модели Qwen3.8-27B, разработанной Qwen, с оптимизацией mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель поддерживает работу с текстом и изображениями и предназначена для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и других сценариев мультимодального помощника. В режиме text-only её можно загружать через mlx-lm, а для image+text и расширенных возможностей требуется mlx-optiq. Модель использует гибридную архитектуру: три четверти из 64 блоков применяют linear attention, остальные — full attention. Квантование выполнено в смешанной точности: 237 чувствительных к потере качества слоёв представлены в 8-bit, а 261 менее чувствительный слой — в 4-bit; размер группы — 64. Vision tower сохранён в формате bf16 и поставляется отдельным файлом размером около 0,9 ГБ. Общий размер модели на диске составляет примерно 18,9–19 ГБ. Данные о размере контекстного окна и поддерживаемых языках в карточке не указаны. К сильным сторонам относятся сочетание мультимодальности, локальный запуск без облака и PyTorch, а также экономия памяти за счёт квантования при сохранении высокой производительности в тестах: 84,1% на MMLU, 96,1% на GSM8K, 92,1% на HumanEval и 93,5% на BFCL-V3 simple. Ограничения включают зависимость от экосистемы MLX и Apple Silicon для целевого сценария, необходимость mlx-optiq для обработки изображений и расширенного сервера, а также возможное снижение качества по сравнению с полноразмерной моделью из-за квантования. Лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-GGUF-UltraOptimised — GGUF-квантизированная версия модели на базе Qwen3.8-27B TURBO Fable Cold Fusion GAIN. Оригинальную модель и её объединение разработал DavidAU, а квантизацию, интеграцию MTP и упаковку выполнила Solstice-AI. Модель ориентирована на генерацию текста, рассуждения, программирование, агентные задачи разработки ПО и мультимодальную работу с изображениями, интерфейсами, диаграммами и временными кадрами видео. Заявлены поддерживаемые языки English и Chinese, нативный контекст до 262K токенов и архитектура Qwen 3.8 Hybrid Linear Attention: 75% слоёв используют линейное внимание GDN, а 25% — глобальное Grouped-Query Attention. Размер основной модели — 27 млрд параметров. Ключевая особенность выпуска — поддержка ускоренного декодирования через встроенный Multi-Token Prediction и отдельные DSpark draft-модели размером 1,86 млрд параметров; README заявляет ускорение speculative decoding в 2,5–3,1 раза при использовании llama.cpp или Anvil. Для мультимодального режима поставляется vision-проектор mmproj-BF16. В README также приведены высокие результаты на ARC-C, ARC-E, SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench и CoWorkBench, однако эти показатели представлены авторами модели и требуют независимой проверки. Ограничения включают зависимость производительности от выбранной GGUF-квантизации, аппаратных ресурсов и совместимого рантайма; подробные характеристики отдельных вариантов квантизации в предоставленных данных не раскрыты. Лицензия — Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-NVFP4-1M — модель семейства Qwen3.8 с 27 млрд параметров, созданная на основе модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Объединение весов и исходная модель относятся к DavidAU, а расширение контекста, квантизация и упаковка для NVIDIA Blackwell выполнены Solstice-AI. Модель предназначена для диалогов, программирования, агентной разработки ПО, решения задач с длинным контекстом и визуального анализа. Модель использует формат NVIDIA NVFP4 с 4-битным microscaling, гибридную архитектуру с блоками Gated Delta Recurrent Network и Grouped-Query Attention, а также Multi-Token Prediction для ускорения генерации. Заявлена поддержка текстово-визуального ввода, включая анализ схем, интерфейсов кода и видеокадров; для визуального режима поставляется компонент mmproj-BF16.gguf. Контекст расширен с 262 144 до 1 048 576 токенов с помощью YaRN. В карточке указаны английский и китайский языки, а также совместимость с инфраструктурой vLLM и SGLang на оборудовании NVIDIA Blackwell, включая B200, GB200 и RTX 5090. Среди заявленных сильных сторон — высокая скорость и эффективность на поддерживаемом оборудовании, большой контекст, возможности рассуждения, программирования и компьютерного управления. README приводит результаты внутренних или заявленных оценок, включая 61,7% на SWE-bench Pro, 90,3% на LiveCodeBench v6 и показатели ARC-C 735 и ARC-E 882; эти результаты следует интерпретировать с учетом условий тестирования и не считать независимой гарантией качества. Ограничения включают зависимость от NVFP4-совместимого оборудования и специализированной инфраструктуры, а также возможные потери качества из-за 4-битной квантизации и расширения контекста. Лицензия модели указана как Apache-2.0.

Qwen3-Coder-480B-A35B-Instruct — большая языковая модель для программирования от команды Qwen. Это причинная языковая модель с архитектурой MoE: всего 480 млрд параметров, из которых при генерации активируются 35 млрд; в метаданных каталога размер указан как 15,4 млрд параметров. Модель обучалась в несколько этапов, включая предобучение и последующее обучение, и распространяется в формате Safetensors под лицензией Apache 2.0. Модель предназначена для генерации и понимания кода, работы с большими репозиториями и агентных сценариев, включая управление браузером. Она поддерживает диалог и интерфейс вызова функций, а карточка рекомендует интеграции с Qwen Code и CLINE. Контекстное окно составляет 262 144 токена; README указывает на возможность расширения до 1 млн токенов с помощью Yarn. Режим рассуждений с включённым thinking модель не поддерживает. Заявленные разработчиком сильные стороны — результаты на агентном программировании и работе с браузером, сопоставимые с Claude Sonnet, и обработка контекста масштаба репозитория. Для развёртывания модели такого общего размера требуются значительные вычислительные ресурсы; точные требования зависят от конфигурации инференса.

TheBloke опубликовал эту версию весов CodeLlama 13B-Python от Meta в формате Transformers/Hugging Face fp16. Это плотная авторегрессионная трансформерная модель семейства Llama с 12,9 млрд параметров, ориентированная на генерацию и понимание кода на Python. Репозиторий содержит конвертированные из исходной модели Meta веса в формате safetensors. Модель предназначена для написания, дополнения и анализа кода Python. Она принимает текст и генерирует текст; семейство поддерживает контекст до 16 384 токенов согласно метаданным. Для корректной загрузки этой версии README требует использовать trust_remote_code=True. Это не Instruct-вариант, поэтому карточка не заявляет о специальной настройке для диалогового следования инструкциям. Модель может выдавать неточный или нежелательный результат; перед использованием в приложениях рекомендуется проверять её поведение и настраивать под конкретный сценарий. Лицензия указана как llama2; README сообщает о доступности специальной коммерческой лицензии Code Llama, поэтому условия использования следует сверять с применимым соглашением Meta.