II.7DevOps, облако и эксплуатация IT-систем

Карточка модели unwrenchable/Qwen2.5-Coder-1.5B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-1.5B, поэтому описание составлено по ней. Qwen2.5-Coder-1.5B — базовая авторегрессионная языковая модель для программирования, разработанная командой Qwen. Она предназначена для генерации и анализа кода, исправления ошибок и задач заполнения пропусков в коде; модель может служить основой для кодовых агентов после дополнительной настройки. Это предобученная модель, а не готовый разговорный ассистент. Модель использует архитектуру Qwen2 с 1,5 млрд параметров, 28 слоями, RoPE, SwiGLU, RMSNorm и групповым запросным вниманием; контекст — до 32 768 токенов. Она обучалась на коде, текстово-кодовых связях и синтетических данных, сохраняя общие языковые и математические способности базовой серии Qwen2.5. В репозитории представлены веса Safetensors для Transformers. Лицензия Apache 2.0 допускает использование и модификацию на её условиях. Модель сравнительно компактна, однако качество может уступать более крупным моделям; для диалога и практического использования рекомендуется постобучение или адаптация под целевой сценарий.

RedSage-Qwen3-8B-DPO-i1-GGUF — это квантизированная версия языковой модели RedSage-Qwen3-8B-DPO, разработанной RISys-Lab и преобразованной в формат GGUF пользователем mradermacher. Модель основана на Qwen3 с размером около 8 млрд параметров и обучалась с применением DPO на смеси предпочтений allenai/llama-3.1-tulu-3-8b-preference-mixture. В карточке указана поддержка английского языка. Модель предназначена для генерации текста и диалогового использования, включая сценарии, связанные с кибербезопасностью, что отражено в её тегах. Формат GGUF позволяет запускать её в совместимых локальных инструментах, а набор вариантов квантизации даёт возможность выбирать компромисс между размером, скоростью и качеством. Рекомендуемым вариантом назван i1-Q4_K_M размером около 5,1 ГБ; также доступны варианты от 2,2 до 6,8 ГБ. Более агрессивная квантизация может заметно снижать качество, а ограничения и размер контекста в README не указаны. Лицензия модели в предоставленных данных не указана. Информация о мультимодальности отсутствует, поэтому модель следует считать текстовой.

VeriLoop Coder-E1 GGUF — набор квантованных версий открытой специализированной модели для задач программной инженерии. Исходную модель разработали Libo Wang и Intelligent Robotics Laboratory при Tsinghua SIGS, а квантованные версии подготовил Rodrigo Ramos. Модель построена на Qwen3.6-27B и ориентирована на генерацию и анализ кода, работу с репозиториями, патчами и тестами, а также на сценарии coding agent и harness engineering. Модель использует парадигму Self-Harness: генерация организуется как итеративный инженерный цикл с проверкой гипотез, поиском ошибок, исследованием и исправлением. Для квантования применялась специализированная importance matrix (imatrix), подготовленная на данных программной инженерии, включая код на уровне репозиториев, патчи, тестовые наборы и трассы агентного программирования. Доступны варианты от BF16 до 3- и 4-битных GGUF-квантов, что позволяет выбирать между качеством, размером и требованиями к оперативной памяти. Модель предназначена для работы через llama.cpp, llama-cpp-python, Ollama, LM Studio и совместимые среды; в README приведён пример контекста 32768 токенов. Заявленные сильные стороны — оптимизация под задачи разработки ПО, сохранение качества при специализированном квантовании и возможность локального запуска в различных форматах. Ограничения включают компромисс между качеством и размером у низкобитных вариантов, а также отсутствие в README подробных результатов бенчмарков, точных требований к ресурсам и расширенной информации о поддерживаемых языках программирования. Указанные языки модели — английский и китайский. Распространение выполняется по лицензии Apache-2.0.

Это квантизированная GGUF-версия модели codefu-7b-v0.1, разработанной aws-prototyping. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель относится к задачам генерации текста и предназначена для локального запуска через LM Studio, llama.cpp и другие совместимые проекты на базе llama.cpp. Модель содержит около 7 миллиардов параметров. Доступны исходный вариант BF16 и множество квантизированных вариантов от Q8_0 до Q2_K_L, включая семейства Q_K, IQ и legacy-форматы. Размер файлов составляет примерно от 3,49 до 15,24 ГБ; варианты с более высокой точностью обычно обеспечивают лучшее качество, а варианты с меньшим размером подходят для систем с ограниченным объёмом оперативной памяти. В README не указаны архитектура исходной модели, поддерживаемые языки, модальности и размер контекстного окна. Сильной стороной является широкий выбор квантизаций для различных аппаратных ограничений; в README рекомендованы, в частности, варианты Q6_K_L, Q6_K, Q5_K и Q4_K_M. Ограничения качества связаны с потерями при низкобитной квантизации, особенно у вариантов Q3 и Q2. Для работы требуется совместимое программное обеспечение, а также следует использовать указанный формат prompt. Лицензия в предоставленных данных не указана.

GOOD-4x1b — языковая модель для генерации текста и диалогов, созданная Shaurya25 с помощью набора VortexMerge. Это MoE-модель семейства Mixtral, объединяющая экспертов на основе OEvortex/HelpingAI-unvelite, OEvortex/lite-hermes, OEvortex/HelpingAI-Lite и OEvortex/HelpingAI-Lite-1.5T. В конфигурации указаны базовая модель OEvortex/HelpingAI-Lite, тип данных float16 и маршрутизация cheap_embed; README связывает экспертов с ролями общего ассистента, помощника по коду и ассистента с менее ограниченным поведением. Модель предназначена для диалогового общения, ответов на запросы и генерации кода. Метаданные указывают 1 млрд параметров и контекст 2048 токенов. Репозиторий содержит веса safetensors, модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или подробных ограничений; короткий контекст ограничивает работу с длинными входными текстами.

Granite-8B-Code-Base-128K — базовая языковая модель для программирования, разработанная IBM Research. Это плотная авторегрессионная модель семейства Llama с 8,1 млрд параметров и контекстом до 128 000 токенов. Её получили продолжением предобучения Granite-8B-Code-Base на данных кода с упаковкой файлов на уровне репозиториев и увеличением доли длинных примеров; обучение для расширения контекста включало 4 млрд токенов. Модель поддерживает код на множестве языков программирования. Модель предназначена для генерации и объяснения кода, исправления ошибок, написания модульных тестов и документации, анализа технического долга, поиска уязвимостей и перевода кода, в том числе с учётом длинного контекста репозитория. Разработчик не рекомендует её для новых проектов и предоставляет для исторического и научного использования; для новых приложений предлагается актуальное семейство Granite. Лицензия — Apache 2.0. Модель не проходила выравнивание безопасности, может выдавать проблемный или неверный код и способна дословно воспроизводить фрагменты из обучающих данных. Сгенерированный код необходимо проверять, особенно при принятии важных решений.

OsaurusAI/Laguna-M.1-JANG_1L — версия модели Poolside Laguna-M.1, подготовленная Osaurus для локального запуска на компьютерах Apple Silicon. Это MoE-модель для генерации текста и агентного программирования; в README указаны 225 млрд параметров и около 23 млрд активных параметров. Профиль JANG_1L использует аффинную квантизацию: 2 бита для gate/up/down, 4 бита для shared/dense и 8 бит для attention; размер сборки около 72 ГБ. Метаданные указывают 17,1 млрд параметров и контекст до 262 144 токенов, что расходится с числом параметров в README. Модель предназначена для написания и анализа кода, а также длительных агентных задач с инструментами. Для запуска требуется Laguna-совместимая среда, например Osaurus или vMLX: архитектура использует нестандартные механизмы внимания и маршрутизации MoE, которые не поддерживаются обычными загрузчиками. Базовая модель распространяется по лицензии Apache-2.0; README указывает эту же лицензию для сборки.

NVIDIA-Nemotron-3-Nano-4B-BF16 — компактная языковая модель NVIDIA для генерации текста, диалога и агентных сценариев. Она принимает текст и выдаёт текст, поддерживает управляемый режим рассуждений и интерфейс вызова инструментов. Модель использует гибридную архитектуру Nemotron-H с Mamba-2, MLP и четырьмя слоями Attention; в README указано 3,97 млрд параметров, а метаданные каталога указывают 6,4 млрд. Максимальная длина контекста — 262 144 токена. Модель предназначена для локальных голосовых помощников, игровых NPC-компаньонов и автоматизации IoT на ускорителях NVIDIA, а также для задач программирования, математики и следования инструкциям. README указывает английский как поддерживаемый язык и описывает обучение с нуля с последующим сжатием родительской модели NVIDIA-Nemotron-Nano-9B-v2 средствами Nemotron Elastic; метаданные также классифицируют её как дообучение этой модели. Коммерческое использование разрешено, лицензия обозначена как other. Качество зависит от режима рассуждений: включённые рассуждения обычно помогают на сложных задачах, а режим без них может немного снизить точность. Модель оптимизирована для систем с GPU NVIDIA; перед внедрением требуется проверка на данных и сценариях конкретного приложения.

Open-MOPD-SmolLM3-3B-MixSFT — языковая модель на архитектуре SmolLM3ForCausalLM, подготовленная командой Open-MOPD как начальный чекпойнт для последующего обучения специализированных RL-моделей и итоговой модели-дистиллята. Она создана дообучением HuggingFaceTB/SmolLM3-3B-Base на математических задачах, коде и данных для следования инструкциям; параметры обучения сбалансированы по числу токенов ответов. Модель содержит около 3,1 млрд параметров, распространяется в формате safetensors и рассчитана на генерацию текста и диалоговое применение. Метаданные указывают контекст до 65 536 токенов; в описанном обучении и оценке использовалась максимальная длина последовательности 32 768 токенов. Карточка приводит результаты на математических, кодовых и инструкционных тестах, но не уточняет методику их интерпретации для практических сценариев. Указанный в метаданных язык — английский. Лицензия Apache-2.0.

unsloth/Qwen3.6-27B-MLX-8bit — это 8-битная версия модели Qwen3.6-27B в формате MLX, подготовленная Unsloth на основе Qwen/Qwen3.6-27B. Модель предназначена прежде всего для агентного программирования, работы с фронтенд-проектами, рассуждений на уровне репозитория и итеративной разработки. В README также указана совместимость с MLX-инструментами; исходная модель поддерживает сценарии image-text-to-text. Архитектура представляет собой авторегрессионную языковую модель с vision encoder, 27 млрд параметров и 64 слоями. В ней используются Gated DeltaNet и Gated Attention, а также multi-step training. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README не указаны точный перечень поддерживаемых языков, характеристики vision encoder и подробные ограничения 8-битной версии. К сильным сторонам относятся специализация на программировании, работе с кодовой базой и сохранении контекста рассуждений между сообщениями, а также существенно уменьшенный размер весов благодаря 8-битному представлению. К ограничениям относятся зависимость от совместимого MLX-окружения и потенциальные потери точности по сравнению с полноразмерной версией из-за квантования. Модель распространяется по лицензии Apache-2.0.

TinyMistral-6x248M — компактная языковая модель M4-ai на архитектуре Mixtral с механизмом смеси экспертов (MoE). Она создана с помощью LazyMergekit путём слияния шести моделей семейства TinyMistral, включая варианты для инструкций, диалогов и генерации кода, а затем предварительно обучена на 600 тысячах примеров набора nampdn-ai/mini-peS2o. В метаданных указано 215,2 млн параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста, в том числе ответов на запросы и кода. Для инференса автор рекомендует включать семплирование и приводит настройки температуры, top-p, top-k и штрафа за повторы. Автор предупреждает о заметном снижении качества при использовании Inference API. Модель распространяется по лицензии Apache-2.0.

Delta-P2S — слитый чекпойнт на архитектуре Qwen2.5, созданный с помощью экспериментального пакета Delta-P2S с учётом архитектуры Qwen. Модель содержит 14 млрд параметров, использует библиотеку Transformers и веса в формате safetensors; заявленное контекстное окно составляет 131 072 токена. Название и обучающие пути указывают на кодовую направленность эксперимента с Qwen, однако README не уточняет обучающие данные, языки программирования или конкретные сценарии. Модель поддерживает текстовую генерацию и чат. Она может применяться для генерации кода и диалоговых ответов, но качество для этих задач не описано. Лицензия в предоставленных данных не указана.

Devstral 2 2512 — инструкция-настроенная языковая модель Mistral для агентной разработки программного обеспечения. Она предназначена для помощников программиста и инженерных агентов, которым нужно разбираться в кодовой базе, использовать инструменты и редактировать несколько файлов. В README заявлены результаты на SWE-bench и улучшенное обобщение на разные запросы и среды разработки. Модель имеет плотную архитектуру Ministral 3, около 123,4 млрд параметров и контекст до 262 144 токенов. Она принимает текстовые запросы и генерирует текст, включая ответы и вызовы инструментов. Для запуска README рекомендует vLLM, также упоминаются SGLang и Transformers; метаданные указывают библиотеку vLLM и формат safetensors FP8. Модель подходит для интеграции в кодовые помощники и CLI-агенты, а также для анализа длинных контекстов проекта. README советует использовать API Mistral, если локальный запуск работает неудовлетворительно. Лицензия в метаданных обозначена как other; конкретные условия использования в предоставленных данных не раскрыты.

Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-math — экспериментальная дообученная языковая модель от EpistemeAI на архитектуре Llama 3.1. Она предназначена для диалогового применения в задачах математики, программирования и работы в роли агента; заявлены сценарии с поиском, калькулятором и подходом ReAct, а также интеграция с LangChain, LlamaIndex и Ollama, в том числе для RAG. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README рекомендуется использовать отдельный механизм проверки безопасности входов и выходов; приведённые результаты оценки ограничены отдельными бенчмарками и не гарантируют качество в конкретных задачах. Модель лицензирована по Apache-2.0.

GLM-5.3-Flash-UD-Q4_K_XL-layers — пакет GGUF-слоёв для распределённого запуска GLM-5.3-Flash в кластере Mesh LLM. Пакет создан на основе unsloth/GLM-5.3-Flash-GGUF: исходное распределение модели разделено на артефакты по слоям. В метаданных указаны библиотека mesh-llm и возможность чатового взаимодействия. Модель предназначена для локального приватного инференса, распределения вычислений между несколькими машинами, когда полный GGUF слишком велик для одного узла, и предоставления локального API, совместимого с OpenAI Chat Completions. Указан вариант UD-Q4_K_XL; репозиторий содержит GGUF-пакет слоёв. Языки и размер контекста в предоставленных данных не описаны. Лицензия — MIT. Для запуска требуется Mesh LLM; характеристики и рекомендации по использованию исходной модели следует сверять с карточкой unsloth/GLM-5.3-Flash-GGUF.

NVIDIA Kimi-K2-Thinking-NVFP4 — квантизированная версия языковой модели Kimi-K2-Thinking, разработанной Moonshot AI и подготовленной с применением NVIDIA TensorRT Model Optimizer. Модель предназначена для разработчиков и исследователей, создающих большие языковые модели и приложения на их основе, включая задачи генерации и обработки текста. Она принимает текстовые последовательности и генерирует текст. Модель использует трансформерную архитектуру DeepSeek V3 и содержит около 1 трлн параметров. Это текстовая авторегрессионная модель без заявленной поддержки других модальностей или указания поддерживаемых языков и размера контекстного окна. Веса и активации линейных операторов в MoE-компонентах трансформерных блоков квантизированы в формат NVFP4; указана версия nvidia-modelopt 0.39.0. Для инференса предусмотрена интеграция с vLLM, SGLang и TensorRT-LLM, предпочтительно на GPU NVIDIA Blackwell под Linux; тестирование проводилось на B200. К сильным сторонам относятся существенный масштаб модели и снижение требований к хранению и инференсу благодаря NVFP4-квантизации. Ограничения включают необходимость совместимой NVIDIA GPU-инфраструктуры и дополнительного тестирования перед внедрением. Базовая модель может воспроизводить токсичные высказывания и общественные предубеждения, а также выдавать неточные, неполные, нерелевантные или избыточные ответы. Использование регулируется NVIDIA Open Model License с дополнительными условиями Modified MIT License исходной модели; модель разрешена для коммерческого и некоммерческого применения.

Agnuxo публикует Mamba-Codestral-7B-Instruct_CODE_Python-Spanish_English_GGUF_16bit — локально запускаемую модель генерации кода на 7 млрд параметров. Карточка описывает её как помощника для написания кода и указывает семейство Mistral; репозиторий содержит веса в формате GGUF F16. В метаданных Hugging Face основная задача обозначена как text-generation, а языки карточки — английский и испанский. Модель предназначена для генерации и помощи с кодом, включая Python, JavaScript, TypeScript, Rust, Go и C++, а также научные вычисления и машинное обучение с библиотеками NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. README также заявляет навыки координации агентов и интеграции MCP/A2A. Модель можно запускать локально через Ollama; лицензия — Apache-2.0. Ограничения: README не приводит результатов тестирования, подробностей об обучении или точного контекста. Перечисленные языки программирования и агентные возможности заявлены в карточке, но не подтверждены метаданными или оценками.

NVIDIA-Nemotron-Nano-12B-v2-Base — базовая языковая модель компании NVIDIA для продолжения заданного текста и создания собственных LLM на её основе. Это гибридная архитектура Nemotron-Hybrid: 62 слоя, преимущественно Mamba-2 и MLP, с шестью слоями внимания; размер модели — 12,31 млрд параметров. В карточке также отмечено, что модель улучшена с использованием Qwen. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и рассчитана на английский и 16 других языков: испанский, французский, немецкий, японский, итальянский, португальский, китайский, арабский, датский, корейский, нидерландский, польский, русский, шведский и тайский. NVIDIA позиционирует её для разработчиков и исследователей, создающих языковые модели; веса доступны в формате safetensors, интеграция указана для Transformers, а среди движков инференса — HF, vLLM и TRT-LLM. Модель обучалась примерно на 20 трлн токенов; данные включают веб-тексты, диалоги, статьи, математику и код. NVIDIA заявляет о готовности к коммерческому использованию, однако в метаданных указана лицензия «other», поэтому конкретные условия следует сверить с лицензией репозитория. Для развёртывания производитель ориентирует модель на GPU NVIDIA, включая H100-80GB и A100; для целевого применения рекомендуются дополнительные тестирование и валидация.

OpenGCM-v2 — модель с 9 млрд параметров от NitrAI, дообученная на базе Qwen/Qwen3.5-9B для рассуждений, программирования и агентных сценариев. В карточке заявлено окно контекста базовой модели до 262 тыс. токенов; модель представлена в формате safetensors, поддерживает чат и интерфейс вызова инструментов. Для обучения использовался DoRA, а данные включали 597 примеров с трассами работы кодовых агентов, математическими рассуждениями и системным анализом, дистиллированными из ответов нескольких крупных моделей. Модель предназначена для пошагового решения математических задач, анализа кода и проверки исправлений, а также выполнения многошаговых инструкций и агентных задач с инструментами. В README приведены результаты на небольших наборах задач, поэтому они не дают надёжной оценки обобщающего качества. Автор отмечает возможный сдвиг контекста и нестабильность при очень длинной генерации; рекомендуются низкая температура и структурированные системные подсказки. Модель помечена как устаревшая, автор рекомендует перейти на Polaris. Лицензия — Apache-2.0.

kenpeter123/small-1b-dpo — языковая модель семейства Llama, разработанная автором репозитория и дообученная методом Direct Preference Optimization на базе kenpeter123/small-1b-sft. Она предназначена для генерации текста по запросам; метаданные также отмечают поддержку генерации кода. В README описана архитектура Transformer с 32 слоями, 12 головами внимания и группированным запросом внимания (GQA, 4 KV-головы); число параметров в метаданных — 956,3 млн, а контекст — 8192 токена. DPO-обучение использует пары предпочтений: правильное эталонное решение выбирается вместо ошибочного или повторяющего запрос ответа базовой SFT-модели. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия Apache-2.0. Карточка описывает обучающий чекпойнт, но не приводит оценки качества или подробностей о поддерживаемых языках помимо английского в метаданных.

Qwen3-Next-80B-A3B-Instruct-FP8 — языковая модель для генерации текста, разработанная командой Qwen и распространяемая в репозитории RedHatAI. Это FP8-квантизированный вариант Qwen3-Next-80B-A3B-Instruct, предназначенный для диалогов, следования инструкциям, решения задач, программирования, многоязычных сценариев и агентских взаимодействий. Модель работает только в instruct-режиме и не формирует блоки рассуждений <think></think>. Модель построена как causal language model с гибридным механизмом внимания Gated DeltaNet и Gated Attention, а также архитектурой Mixture-of-Experts. Она содержит 80 млрд параметров, из которых около 3 млрд активируются на токен, 48 слоёв и 512 экспертов, 10 из которых активируются одновременно. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Обучение включало предварительное обучение на 15 трлн токенов и последующее дообучение. FP8-квантизация выполнена методом fine-grained FP8 с размером блока 128. К сильным сторонам относятся высокая эффективность по числу активируемых параметров, ускоренный вывод, поддержка сверхдлинного контекста, задачи программирования, следование инструкциям и многоязычность. Ограничения включают отсутствие thinking-режима, а также то, что приведённые результаты тестирования получены для исходной модели в формате bfloat16 до FP8-квантизации, поэтому они не обязательно полностью отражают характеристики данного checkpoint. Модель может разворачиваться с использованием, в частности, sglang и vLLM, включая OpenAI-совместимый сервер. Лицензия — Apache-2.0.

Карточка модели lactroiii/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 на Hugging Face совпадает с карточкой LimitlessMindd/NVIDIA-Nemotron-3-Super-120B-A12B-BF16, поэтому описание составлено по ней. NVIDIA Nemotron-3-Super-120B-A12B-BF16 — разговорная большая языковая модель NVIDIA для рассуждений, следования инструкциям и построения агентных систем. В карточке указаны 120 млрд параметров, из которых активно используются 12 млрд; архитектура LatentMoE сочетает слои Mamba-2, Mixture-of-Experts и внимания, а Multi-Token Prediction (MTP) предназначен для ускорения генерации. Метаданные каталога указывают архитектуру Nemotron-H и 6,6 млрд параметров, что расходится с числами в README; эти характеристики требуют осторожной интерпретации. Модель рассчитана на чат, сложные инструкции, код, математику, длинноконтекстные рассуждения и работу в совместных агентных сценариях, включая автоматизацию IT-заявок, RAG и обработку нескольких документов. README заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Модель принимает текст и генерирует текст. Модель опубликована как BF16, но в README также описано обучение с NVFP4-квантизацией; формат файлов репозитория в метаданных — safetensors. Указана лицензия other, а README заявляет готовность к коммерческому использованию; конкретные условия лицензии следует сверять с карточкой. Модель версии v1.0 GA предназначена для практического применения.

NVIDIA Nemotron-3-Super-120B-A12B-BF16 — разговорная большая языковая модель NVIDIA для рассуждений, следования инструкциям и построения агентных систем. В карточке указаны 120 млрд параметров, из которых активно используются 12 млрд; архитектура LatentMoE сочетает слои Mamba-2, Mixture-of-Experts и внимания, а Multi-Token Prediction (MTP) предназначен для ускорения генерации. Метаданные каталога указывают архитектуру Nemotron-H и 6,6 млрд параметров, что расходится с числами в README; эти характеристики требуют осторожной интерпретации. Модель рассчитана на чат, сложные инструкции, код, математику, длинноконтекстные рассуждения и работу в совместных агентных сценариях, включая автоматизацию IT-заявок, RAG и обработку нескольких документов. README заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Модель принимает текст и генерирует текст. Модель опубликована как BF16, но в README также описано обучение с NVFP4-квантизацией; формат файлов репозитория в метаданных — safetensors. Указана лицензия other, а README заявляет готовность к коммерческому использованию; конкретные условия лицензии следует сверять с карточкой. Модель версии v1.0 GA предназначена для практического применения.

Nemotron-3-Super-120B-A12B-BF16 — языковая модель NVIDIA для диалога, рассуждений и создания агентных систем. Она предназначена для разработчиков чат-ботов, RAG-систем и совместно работающих ИИ-агентов, а также для автоматизации больших потоков задач, например обработки ИТ-заявок. Модель поддерживает сложное следование инструкциям и работу с длинным контекстом. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и внимания в гибриде LatentMoE; также используются Multi-Token Prediction для ускорения генерации и 12 млрд активных параметров при 120 млрд общих. Карточка указывает контекст до 1 млн токенов, тогда как метаданные Hugging Face — 262 144 токена. Модель принимает текст и генерирует текст; заявлены английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Модель ориентирована на высокую пропускную способность, агентные сценарии, код, рассуждения и мультиязычный диалог. Карточка заявляет коммерческую готовность, но метаданные указывают лицензию «other», поэтому перед использованием следует проверить её условия. В опубликованном репозитории формат весов указан как safetensors; карточка описывает обучение с NVFP4, но это не означает, что репозиторий представляет квантизованную версию.

Карточка модели Openintelligent123/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16, поэтому описание составлено по ней. Nemotron-3-Super-120B-A12B-BF16 — языковая модель NVIDIA для диалога, рассуждений и создания агентных систем. Она предназначена для разработчиков чат-ботов, RAG-систем и совместно работающих ИИ-агентов, а также для автоматизации больших потоков задач, например обработки ИТ-заявок. Модель поддерживает сложное следование инструкциям и работу с длинным контекстом. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и внимания в гибриде LatentMoE; также используются Multi-Token Prediction для ускорения генерации и 12 млрд активных параметров при 120 млрд общих. Карточка указывает контекст до 1 млн токенов, тогда как метаданные Hugging Face — 262 144 токена. Модель принимает текст и генерирует текст; заявлены английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Модель ориентирована на высокую пропускную способность, агентные сценарии, код, рассуждения и мультиязычный диалог. Карточка заявляет коммерческую готовность, но метаданные указывают лицензию «other», поэтому перед использованием следует проверить её условия. В опубликованном репозитории формат весов указан как safetensors; карточка описывает обучение с NVFP4, но это не означает, что репозиторий представляет квантизованную версию.

RedHatAI/Llama-3.3-70B-Instruct-quantized.w8a8 — квантизированная версия языковой модели Llama-3.3-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая модель формата «текст на входе — текст на выходе», предназначенная для диалоговых ассистентов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также коммерческого и исследовательского использования. Модель использует архитектуру Llama и имеет 70 млрд параметров в исходной версии. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8. Для весов применяется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная поточенная квантизация. По данным README, это примерно вдвое снижает требования к видеопамяти и размеру модели, а также может примерно вдвое увеличить пропускную способность матричных умножений. Приведённые примеры развертывания используют vLLM и длину контекста 8192 или 32768 токенов, однако точный нативный размер контекста в README не указан. По результатам внутренней оценки модель сохраняет 99,4% качества исходной версии по OpenLLM v1 и показывает 100% pass@1 на HumanEval и HumanEval+. Она оптимизирована для эффективного инференса, в частности через vLLM и совместимые с OpenAI API серверы, но квантизация может приводить к некоторой потере качества по сравнению с полной точностью. Модель предназначена только для текстовых задач и не поддерживает мультимодальный ввод. Условия использования определяются лицензией Llama 3.3 от Meta; README также исключает применение с нарушением действующих законов и нормативных требований. Модель была валидирована в Red Hat OpenShift AI 2.20, Red Hat AI Inference Server 3.0, Red Hat Enterprise Linux AI 1.5 и vLLM 0.8.4.

MLX-версия модели K2-Horizon-7B-oQ6e — квантованная конверсия IFM/K2-Horizon-7B, разработанной командой IFM. Модель относится к семейству K2 Horizon и предназначена для генерации текста, рассуждений, программирования, работы с инструментами и многошаговыми диалогами. Конверсия выполнена в формате MLX с использованием смешанной 6-битной квантизации oQ6e, оптимизированной для Apple Silicon. Модель имеет плотную архитектуру и около 7 миллиардов параметров, поддерживает контекст до 512 тысяч токенов и работает с текстом. Она ориентирована на задачи, требующие развитого рассуждения, включая разработку ПО, работу в терминале, банковские сценарии, поиск и анализ информации, а также математические задачи. Для получения наилучших результатов рекомендуется использовать высокий уровень усилий рассуждения reasoning_effort="high". Модель поддерживает специальные блоки рассуждений, вызовы инструментов и многоходовые беседы через пользовательский шаблон чата IFM. В README приведены результаты тестирования исходной K2-Horizon-7B: 70,6% в SWE-bench Verified, 39,06% в Terminal-Bench 2.1, 25,8% в tau3-Banking, 59,0% в BrowseComp и 73,3% в HMMT February 2026. Ограничения связаны с необходимостью использовать MLX-совместимую среду и oMLX версии 0.6.4 или новее с патчем поддержки типа модели k2_horizon; без него модель не загрузится. Модель распространяется по лицензии Apache-2.0, как и исходная модель.

PyrTools/Ministral-8B-Instruct-2410-AWQ — это AWQ-квантизированная 4-битная версия языковой instruct-модели Ministral-8B-Instruct-2410, разработанной Mistral AI и опубликованной пользователем PyrTools. Модель предназначена для локального и периферийного запуска, диалогов, следования инструкциям, генерации кода и работы с function calling. Основа модели — плотный Transformer примерно на 8 млрд параметров: 36 слоёв, 32 attention heads, 8 KV heads с GQA, размерность скрытого состояния 4096 и словарь из 131 072 токенов с токенизатором V3-Tekken. Модель обучалась на многоязычных и кодовых данных, поддерживает контекст до 128k токенов и использует interleaved sliding-window attention. Репозиторий содержит AWQ-представление с 4-битной квантизацией, что ориентировано на более экономичный локальный инференс. К сильным сторонам относятся компактный размер, поддержка длинного контекста, многоязычность, задачи программирования и function calling; исходная модель показывала высокие результаты среди моделей сопоставимого размера. Ограничения включают возможное снижение точности из-за квантизации и зависимость от поддержки AWQ конкретным inference-стеком. В vLLM для исходной модели заявлено ограничение контекста 32k из-за отсутствия необходимых attention kernels, поэтому полный контекст 128k требует другого совместимого инструментария. Лицензия — Mistral Research License; для коммерческого использования Mistral AI указывает необходимость получения коммерческой лицензии.

Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Вариант с NVFP4 содержит 120 млрд параметров, из которых 12 млрд активны; модель построена на гибридной архитектуре LatentMoE с чередованием Mamba-2, слоёв Mixture-of-Experts и отдельных слоёв внимания. Multi-Token Prediction поддерживает ускоренную генерацию. Для запуска используются Transformers и PyTorch; в карточке заявлен контекст до 1 млн токенов. Модель предназначена для чат-ботов, систем RAG, совместно работающих агентов, автоматизации IT-заявок, сложного следования инструкциям и рассуждений по длинному контексту. Она генерирует текст и поддерживает интерфейс вызова инструментов. Заявлены английский, французский, немецкий, итальянский, японский, испанский и китайский языки; также подходит для задач с кодом. По карточке, модель готова к коммерческому применению. Метаданные указывают лицензию «other», поэтому условия коммерческого использования следует сверять с лицензией и условиями NVIDIA для исходной модели.

Claude Sonnet 5 — модель семейства Sonnet от Anthropic. В карточке она описана как наиболее мощная модель Sonnet и предназначена для программирования, работы агентных систем и профессиональных задач. Каталог классифицирует её как image-text-to-text. Карточка упоминает адаптивное рассуждение с настраиваемыми уровнями усилий от низкого до максимального. Доступные сведения не раскрывают размер модели, поддерживаемые языки, контекстное окно, лицензию или подробности обработки изображений.