II.7DevOps, облако и эксплуатация IT-систем

Muse Glimmer — 30-миллиардная причинная языковая модель, разработанная Meta Superintelligence Lab и дистиллированная из Muse Spark. Она создана для автономных агентских задач на потребительском оборудовании и может работать локально без облачной инфраструктуры и сетевого доступа. Модель предназначена для многошагового рассуждения, выполнения задач от начала до конца, написания и отладки кода, надёжного вызова инструментов, восстановления после ошибок и работы в агентских оркестраторах. Она принимает текст и изображения, включая скриншоты, графики и документы, а выдаёт текст. Muse Glimmer обучалась на данных более чем из 100 языков и поддерживает контекст длиной не менее 131 072 токенов; дата отсечения знаний — 4 января 2026 года. Архитектура включает плотный causal Transformer примерно на 29,6 млрд параметров и отдельный perception encoder примерно на 1,8 млрд параметров типа ViT-G/14. Используются 52 слоя, GQA с соотношением 32 Q-heads к 2 KV-heads, SwiGLU, локальное и глобальное внимание, а также до 4096 визуальных токенов на изображение. Модель поддерживает управляемую интенсивность рассуждений и оптимизирована для локального запуска: динамическое квантование примерно до 4 бит позволяет разместить её менее чем в 20 ГБ, с целевыми конфигурациями на 24–32 ГБ памяти. Ограничения включают высокие требования к ресурсам по сравнению с компактными моделями и зависимость качества от выбранного уровня квантования. Лицензия — Apache 2.0.

Qwen2-7B-Instruct-AWQ — инструкционная языковая модель из серии Qwen, разработанная командой Qwen. Это текстовая модель для генерации ответов в диалогах, следования инструкциям, понимания и создания текста, а также задач программирования, математики, рассуждений и многоязычной обработки. Модель предназначена для локального развертывания и интеграции в приложения через Transformers или vLLM. Модель содержит около 7 миллиардов параметров и основана на decoder-only архитектуре Transformer с активацией SwiGLU, смещениями в QKV-проекциях и Grouped Query Attention. Она прошла предварительное обучение, supervised fine-tuning и Direct Preference Optimization. Вариант AWQ использует квантованные веса для снижения требований к памяти и ускорения инференса. Модель работает с текстом, поддерживает английский язык, а токенизатор адаптирован также к нескольким естественным языкам и языкам программирования. Заявлена длина контекста до 131 072 токенов; для обработки очень длинных входов применяется метод YARN. Сильными сторонами модели являются большой контекст, инструкционное выравнивание, поддержка многоязычных и технических сценариев, а также более экономичное развертывание благодаря квантованию. Модель не является мультимодальной и ориентирована на текстовую генерацию. При использовании YARN в vLLM статический коэффициент масштабирования может отрицательно влиять на качество или производительность на коротких текстах, поэтому его рекомендуется включать только при необходимости длинного контекста. Модель распространяется по лицензии Apache-2.0.

Mistral-Large-Instruct-2407 — созданная Mistral AI плотная большая языковая модель с 123 млрд параметров, настроенная для выполнения инструкций. Она предназначена для диалога, рассуждений, работы с математическими задачами и кодом, а также для агентных сценариев с вызовом функций и выводом JSON. Модель поддерживает контекст до 128 тыс. токенов и множество естественных языков, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский; обучение также охватывало более 80 языков программирования. К сильным сторонам относятся заявленные в карточке возможности рассуждения, генерации кода и использования инструментов. Для запуска модели такого размера требуется несколько GPU с суммарно более 300 ГБ видеопамяти. В карточке отмечено отсутствие механизмов модерации, поэтому ответы могут не соблюдать заданные ограничения безопасности. Лицензия Mistral Research License разрешает использование и модификацию для исследований и некоммерческих целей.

NVIDIA-Nemotron-Nano-12B-v2 — языковая модель NVIDIA Corporation для диалогов, рассуждений и выполнения инструкций. Это дообученная версия NVIDIA-Nemotron-Nano-12B-v2-Base с гибридной архитектурой Nemotron-Hybrid: основную часть составляют слои Mamba-2 и MLP, дополненные шестью слоями Attention. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и может работать в режиме с рассуждениями или без них; системный промпт и бюджет токенов позволяют управлять глубиной рассуждений. Модель предназначена для чат-ботов, RAG-систем, AI-агентов, программирования и общих задач по инструкциям. README заявляет поддержку английского, немецкого, испанского, французского, итальянского, японского, корейского, португальского, русского и китайского; в метаданных карточки перечислены английский, испанский, французский, немецкий, итальянский и японский. Разработчик сообщает о готовности к коммерческому использованию; лицензия указана как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Модель оптимизирована для GPU NVIDIA; в vLLM неверный тип кэша Mamba-SSM может снизить точность, а генерация с рассуждениями требует большего числа выходных токенов.

Qwen3.8-2.4T-A95B-FP8 — каузальная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.8-2.4T-A95B в формате Hugging Face Transformers. Модель предназначена для генерации текста, программирования, профессиональных и исследовательских задач, а также многошаговых агентских сценариев с планированием и обработкой обратной связи от среды. Модель содержит 2,4 трлн параметров, из которых при обработке активируется около 95 млрд. Она использует гибридную архитектуру из Gated DeltaNet, Gated Attention и Mixture of Experts: 92 слоя, 512 экспертов, 10 маршрутизируемых и 1 общий активируемый эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена примерно до 1 010 000 токенов. Поддерживаются настраиваемая глубина рассуждений через reasoning_effort и сохранение контекста рассуждений между сообщениями через preserve_thinking. Языки и точный перечень поддерживаемых модальностей в README не указаны; заявленный pipeline относится к генерации текста. К сильным сторонам относятся высокая вычислительная ёмкость, улучшенные возможности в кодировании, профессиональной работе, исследованиях и длительных агентских задачах, а также совместимость с vLLM, SGLang и TokenSpeed. К ограничениям относятся чрезвычайно большой общий размер модели и, как следствие, высокие требования к инфраструктуре для локального запуска; FP8-квантизация также требует совместимого программного и аппаратного стека. Модель распространяется по лицензии qwen3.8-max; в метаданных она обозначена как other, а полный текст условий находится в файле LICENSE.

Карточка модели testaccount-ai/Qwen3.8-Max на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

NVIDIA DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek AI и оптимизированной NVIDIA с помощью Model Optimizer. Модель предназначена для коммерческого и некоммерческого использования и ориентирована на сложное рассуждение, агентные AI-приложения, работу с инструментами, математику, программную инженерию и корпоративных AI-ассистентов. Модель построена на архитектуре Transformer и использует Mixture-of-Experts с 304 млрд параметров, из которых активируются 13 млрд, гибридное внимание Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Это авторегрессионная языковая модель с текстовым вводом и выводом, поддержкой многоходовых диалогов, системных инструкций, структурированного JSON, function calling и отображения рассуждений. Максимальная длина контекста составляет 1 млн токенов; доступны уровни reasoning effort low, high и max. Модель включает модуль спекулятивного декодирования DSpark. К сильным сторонам относятся поддержка очень длинного контекста, задач рассуждения, программирования, следования инструкциям и агентного взаимодействия с инструментами. Модель предназначена прежде всего для запуска на GPU NVIDIA с архитектурой Blackwell в Linux через SGLang или vLLM; совместимость с другими платформами в README не указана. Данные исходного обучения не раскрыты, поэтому заявленные характеристики требуют дополнительной проверки на прикладных данных. Модель распространяется по лицензии MIT.

GigaChat 3.5 Ultra — русско-английская инструктивная языковая модель семейства GigaChat, представленная в репозитории ai-sage как версия весов bf16. Это дообученная на основе ai-sage/GigaChat3.5-432B-A28B-base модель для диалогового ассистента, рассуждений, программирования и сценариев с вызовом инструментов. В карточке описана архитектура MoE с 432 млрд параметров всего и 28 млрд активных параметров; метаданные каталога указывают 25 млрд параметров. Архитектура внимания сочетает MLA и линейные слои GatedDeltaNet, а два MTP-выхода предназначены для ускорения генерации. Контекст модели — до 262 144 токенов. Модель рассчитана на многоязычные запросы, следование инструкциям, математику, код и агентные задачи; README приводит результаты тестов на общих знаниях, математике, генерации кода и использовании инструментов. Репозиторий содержит веса safetensors в bf16, а карточка упоминает отдельные версии fp8 и GGUF. Лицензия — MIT. Для развёртывания рекомендованы SGLang или vLLM; по масштабу модель ориентирована на крупные вычислительные кластеры. Приведённые в README показатели бенчмарков относятся к разным вариантам и условиям оценки, поэтому они не гарантируют такой же результат в конкретном приложении.

Hermes 3 405B — большая языковая модель общего назначения от Nous Research, созданная полным дообучением Meta-Llama-3.1-405B. Она рассчитана на диалог с ассистентом, следование инструкциям, рассуждения, ролевые сценарии, генерацию кода и работу с инструментами. Модель поддерживает многошаговые беседы и контекст до 131 072 токенов; для диалога используется формат ChatML, также предусмотрены вызовы функций и структурированный вывод JSON. Модель содержит около 403,7 млрд параметров, использует плотную архитектуру Llama и распространяется в формате Safetensors. Для запуска полной версии в FP16 требуется более 800 ГБ видеопамяти; в README также упоминается отдельная FP8-квантизация NeuralMagic для VLLM, требующая около 430 ГБ. Лицензия — Llama 3.1 Community License (llama3). Карточка позиционирует Hermes 3 как модель общего назначения с улучшенными агентными возможностями, управляемостью и генерацией кода.

Llama-3.3-Nemotron-Super-49B-v1-FP8 — крупная языковая модель NVIDIA, производная от Meta Llama-3.3-70B-Instruct. Это плотная decoder-only Transformer-модель с архитектурными изменениями, полученными с помощью Neural Architecture Search: в отдельных блоках используется пропуск внимания или линейный слой, а коэффициенты расширения FFN варьируются. Модель содержит 87B параметров, использует формат FP8 и рассчитана на контекст до 131 072 токенов. Модель предназначена для рассуждений, многошагового диалога, следования инструкциям, генерации кода, математических задач, retrieval-augmented generation, вызова инструментов и построения AI-агентов, чат-ботов и других прикладных систем. Она работает с текстовым вводом и выводом, интегрируется через Transformers и оптимизирована для GPU NVIDIA Hopper и Ampere; основной язык — английский, также поддерживаются немецкий, французский, итальянский, португальский, хинди, испанский и тайский. К сильным сторонам относятся сочетание качества рассуждений и эффективности инференса, уменьшенный по сравнению с исходной моделью объём вычислений и памяти, а также поддержка длинного контекста, RAG и tool calling. Модель разработана NVIDIA и готова к коммерческому использованию. Условия распространения регулируются NVIDIA Open Model License и дополнительными условиями Llama 3.3 Community License Agreement.

MaziyarPanahi/Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и кода, а также для многоязычного диалога и других сценариев, где требуется следование инструкциям. Формат GGUF поддерживается llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio и text-generation-webui, что позволяет запускать модель локально с использованием CPU и GPU-ускорения. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA), содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; модель также генерирует код. Базовая модель обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных, а инструкционная версия дополнительно настраивалась с помощью supervised fine-tuning и RLHF для повышения полезности и безопасности. Ключевые преимущества этой версии — широкий контекст, многоязычность, поддержка диалоговых сценариев и возможность более экономичного локального запуска благодаря квантизации с вариантами от 2 до 8 бит. Ограничения включают текстовую модальность, статичность знаний с отсечкой декабря 2023 года и возможные компромиссы между размером квантизации, качеством и требованиями к ресурсам. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

Карточка модели NostraEmpire/mirror-qwen3-14b на Hugging Face совпадает с карточкой Qwen/Qwen3-14B, поэтому описание составлено по ней. Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.

Mistral Large 2 (версия mistral-large-2407) — флагманская модель компании Mistral AI. Это модель с доступными весами, распространяемая на проприетарных условиях. Модель предназначена для генерации текста в диалогах, рассуждений, написания кода и формирования JSON. В карточке она описана как универсальная модель для этих задач и других сценариев работы с текстом. Конкретные сведения об архитектуре, размере, поддерживаемых языках и контекстном окне в предоставленных материалах отсутствуют. Условия использования определяются проприетарной лицензией; перед внедрением следует проверить её актуальные требования.

Карточка модели aaarrbbee/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

unsloth/Seed-OSS-36B-Instruct-GGUF — GGUF-вариант инструкционной большой языковой модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, работы с длинным контекстом, использования инструментов и агентских сценариев, включая решение технических вопросов и задач разработки. Серия оптимизирована преимущественно для международных многоязычных применений, однако точный перечень поддерживаемых языков в карточке не указан. Модель содержит 36 млрд параметров и использует архитектуру causal language model с RoPE, GQA-вниманием, RMSNorm и активацией SwiGLU. Она имеет 64 слоя, 80/8/8 QKV-голов, размер головы 128, скрытый размер 5120 и словарь на 155 тысяч токенов. Нативная длина контекста заявлена до 512 тысяч токенов. Пользователь может гибко управлять бюджетом рассуждения, регулируя длину процесса вывода и балансируя качество и эффективность. К сильным сторонам относятся развитые способности к рассуждению, агентским задачам, работе с инструментами и обработке длинного контекста при сохранении универсальных возможностей. Ограничения включают высокие требования к вычислительным ресурсам, связанные с размером модели и контекстом; конкретные требования для данного GGUF-файла и точные характеристики квантования в README не указаны. Модель распространяется по лицензии Apache-2.0.

NVIDIA GLM-5.1 NVFP4 — это квантизированная версия языковой модели ZAI GLM-5.1, основанная на авторегрессионной архитектуре оптимизированного Transformer. NVIDIA не является владельцем или разработчиком исходной модели: компания подготовила и выпустила её квантизированную версию с помощью NVIDIA Model Optimizer. Модель предназначена для коммерческого и некоммерческого использования, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе искусственного интеллекта. Модель работает с текстом на входе и генерирует текст на выходе, поддерживает контекст длиной до 200 000 токенов. Объём составляет 754 млрд параметров, из которых активируется 40 млрд. Используется формат квантизации NVFP4 с точностью 4 бита; версия модели — NVFP4 1.0, квантизация выполнена с помощью nvidia-modelopt v0.45.0. Калибровка проводилась на наборах данных для диалогов и следования инструкциям, научного и математического рассуждения, программирования, SWE-задач, вызова инструментов и многоязычных сценариев. Языки обучения включают английский, немецкий, французский, японский, итальянский, китайский и испанский, однако полный перечень поддерживаемых языков README не гарантирует. Модель ориентирована на развёртывание с использованием SGLang или vLLM на GPU NVIDIA с архитектурой Blackwell под Linux. Её сильными сторонами являются большой контекст, высокая общая ёмкость модели, поддержка задач рассуждения, программирования и агентного взаимодействия, а также снижение требований к памяти благодаря 4-битной квантизации. Ограничения включают необходимость совместимого оборудования, отсутствие раскрытых сведений о полном обучающем и тестовом наборах, а также необходимость дополнительного тестирования на данных конкретного применения для проверки качества, безопасности и соответствия требованиям. Лицензия — MIT.

unsloth/gpt-oss-120b-unsloth-bnb-4bit — 4-битная версия модели gpt-oss-120b, разработанной OpenAI и подготовленной Unsloth в формате BNB 4-bit. Модель предназначена для универсальной генерации текста, задач, требующих развитого рассуждения, агентских сценариев и использования разработчиками. Она поддерживает вызов функций, веб-браузинг, выполнение кода на Python и структурированные ответы, а также может дообучаться под специализированные задачи. Модель имеет архитектуру Mixture of Experts (MoE), около 117 млрд параметров, из которых примерно 5,1 млрд активны при обработке запроса. Исходная модель обучена с нативной квантованием MXFP4 для MoE-слоёв, а данный вариант представлен в 4-битном формате для снижения требований к памяти. Доступна настройка интенсивности рассуждения на уровнях low, medium и high. Данные о поддерживаемых языках и размере контекстного окна в представленном README не указаны. Ключевое ограничение — модель корректно работает только с форматом ответов harmony, поэтому при интеграции необходимо использовать соответствующий chat template или совместимый пакет. Полная цепочка рассуждений доступна для отладки и анализа, но не предназначена для показа конечным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование, модификацию и дообучение.

Hermes 3 — универсальная диалоговая языковая модель Nous Research, дообученная на базе Meta Llama 3.1 70B. Это плотная авторегрессионная модель примерно на 69,5 млрд параметров с контекстом до 131 072 токенов; она принимает текст и выдаёт текст. Карточка указывает английский язык, а формат диалогов ChatML поддерживает системные инструкции и многоходовое общение. Модель предназначена для общего ассистирования: следования инструкциям, рассуждений, ролевых диалогов, генерации кода и работы с длинным контекстом. Она поддерживает интерфейс вызова инструментов и структурированный вывод, в том числе ответы в JSON по заданной схеме. Это возможности генерации, а не отдельные pipeline-задачи. Модель распространяется по лицензии Llama 3. В карточке отмечены сильные стороны в диалогах, управляемости, вызове функций и генерации кода; качество может различаться по задачам, и заявленная конкурентоспособность основана на сравнении с Llama 3.1 Instruct.

Kimi-K2-Instruct — инструктивная версия языковой модели Kimi K2, разработанная Moonshot AI. Это крупная модель класса Mixture-of-Experts (MoE), предназначенная для универсального диалога, рассуждений, программирования, работы с инструментами и агентских сценариев. Она ориентирована на готовое использование в чат-приложениях и автономном решении задач без режима длительного пошагового мышления. Модель содержит около 1 триллиона общих параметров, из которых 32 миллиарда активируются для каждого токена. Архитектура включает 61 слой, 384 эксперта с выбором 8 экспертов на токен, один общий эксперт, 64 attention heads, механизм внимания MLA и функцию активации SwiGLU. Размер контекста составляет 128 тысяч токенов, словарь — 160 тысяч токенов. В README языки и мультимодальные возможности не указаны; по представленным данным это текстовая языковая модель. Сильными сторонами заявлены высокая производительность в задачах знаний, рассуждений и программирования, а также оптимизация для tool use и агентского решения задач. В README приведены результаты сравнительных тестов, включая LiveCodeBench, OJBench и MultiPL-E, однако ограничения, гарантии качества и дополнительные требования к аппаратному обеспечению явно не описаны. Модель распространяется по лицензии modified MIT, обозначенной как license: other и license_name: modified-mit.

Ling-3.0-flash-fp4 — текстовая генеративная модель компании inclusionAI, распространяемая под лицензией MIT. Это native hybrid reasoning-модель для генерации текста, рассуждений и выполнения агентных сценариев. Модель предназначена для программирования, исправления и рефакторинга кода, общих задач на знания и следование инструкциям, математического рассуждения, глубокого поиска и длительных интерактивных рабочих процессов. Она обучалась с использованием более 10 000 интерактивных сред и ориентирована на замкнутое выполнение задач Coding Agent, General Agent и Deep Research Agent. Заявлена совместимость с Claude Code, Kilo Code, Qwen Code, Hermes Agent и OpenClaw. Архитектура — гибридная линейная MoE: 124 млрд параметров всего и 5,1 млрд активных на токен. Используется чередование 35 слоёв Kimi Delta Attention и 7 слоёв Gated MLA в соотношении 5:1, 512 маршрутизируемых и один общий эксперт, 8 активируемых экспертов, 32 attention heads и hidden size 2560. Контекст обучался по схеме от 8K до 32K и 256K токенов. Модель поддерживает режим рассуждений, включённый по умолчанию, и рассчитана на эффективную работу с длинным контекстом; заявлено снижение Time to First Token на 60–80% в сценариях с длинными входными данными при использовании иерархического кэширования SGLang HiCache и Mooncake. К сильным сторонам относятся сочетание крупного общего размера с малым числом активных параметров, эффективность вывода, рассуждение, следование инструкциям, обработка длинного контекста и агентные задачи. README не содержит сведений о поддерживаемых естественных языках, точных характеристиках FP4-квантизации или ограничениях качества; результаты бенчмарков приведены без числовых значений в тексте и требуют осторожной интерпретации. Лицензия модели — MIT.

unsloth/meta-Llama-3.1-8B-unsloth-bnb-4bit — 4-битная версия модели Meta Llama 3.1 8B Instruct, подготовленная Unsloth. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer, дообученная с применением supervised fine-tuning и reinforcement learning from human feedback для более полезного и безопасного поведения. Модель предназначена для многоязычного диалога, генерации текста и кода, а также локального запуска и последующей тонкой настройки, включая обучение reasoning-моделей. Она работает только с текстом на входе и выдаёт текст или код на выходе, поддерживает контекст до 128 тысяч токенов и использует Grouped-Query Attention. Заявленный объём модели — 8 миллиардов параметров; данные обучения — новый набор общедоступных онлайн-данных, срез знаний — декабрь 2023 года. Ключевое преимущество этой редакции — 4-битное квантование, снижающее требования к памяти и делающее модель более подходящей для эффективного локального использования и дообучения. Ограничения включают текстовую модальность, устаревание знаний после декабря 2023 года и потенциальные потери качества, связанные с квантованием. В README указана лицензия llama3.1; разработчик базовой модели — Meta, формат и оптимизацию предоставляет Unsloth.

NVIDIA Nemotron Nano 9B v2 — языковая модель NVIDIA для диалога, следования инструкциям и задач с рассуждением. В карточке она описана как обученная с нуля; метаданные каталога указывают связь merge с NVIDIA-Nemotron-Nano-12B-v2 и NVIDIA-Nemotron-Nano-12B-v2-Base, поэтому происхождение модели отмечено как слияние. Архитектура Nemotron-Hybrid сочетает преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Метаданные указывают 15,1 млрд параметров, контекст до 131 072 токенов и формат safetensors. Модель принимает и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Она рассчитана на ответы на вопросы, программирование, RAG-системы, чат-боты и агентные приложения. Режим рассуждения можно управлять системной инструкцией или бюджетом токенов; разрешение промежуточного рассуждения обычно повышает качество сложных ответов, но увеличивает расход токенов. В README перечислены английский, немецкий, испанский, французский, итальянский и японский; также для входа указаны корейский, португальский, русский и китайский. Лицензия в метаданных обозначена как other, а README заявляет готовность к коммерческому использованию.

Карточка модели davidnichols-ops/NVIDIA-Nemotron-Nano-9B-v2-fork на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-Nano-9B-v2, поэтому описание составлено по ней. NVIDIA Nemotron Nano 9B v2 — языковая модель NVIDIA для диалога, следования инструкциям и задач с рассуждением. В карточке она описана как обученная с нуля; метаданные каталога указывают связь merge с NVIDIA-Nemotron-Nano-12B-v2 и NVIDIA-Nemotron-Nano-12B-v2-Base, поэтому происхождение модели отмечено как слияние. Архитектура Nemotron-Hybrid сочетает преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Метаданные указывают 15,1 млрд параметров, контекст до 131 072 токенов и формат safetensors. Модель принимает и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Она рассчитана на ответы на вопросы, программирование, RAG-системы, чат-боты и агентные приложения. Режим рассуждения можно управлять системной инструкцией или бюджетом токенов; разрешение промежуточного рассуждения обычно повышает качество сложных ответов, но увеличивает расход токенов. В README перечислены английский, немецкий, испанский, французский, итальянский и японский; также для входа указаны корейский, португальский, русский и китайский. Лицензия в метаданных обозначена как other, а README заявляет готовность к коммерческому использованию.

OpenAI o1 — модель рассуждения, разработанная OpenAI для сложных многошаговых задач. Она обучена с применением обучения с подкреплением и предназначена для задач, где полезны тщательный анализ, например математики, программирования, научных вопросов и построения агентных сценариев. Модель также принимает изображения и может рассуждать об их содержимом. В API o1 поддерживает текстовые входы и выходы, изображения на входе, вызов функций и структурированные ответы. Контекстное окно составляет 200 000 токенов. OpenAI указывает, что версия o1-2024-12-17 стала доступна для производственного использования. Модель может ошибаться, а её результаты требуют проверки; открытые сведения не устанавливают число параметров или конкретную архитектуру. Доступ предоставляется через API OpenAI на условиях сервиса OpenAI; веса модели не представлены как открытая загрузка.

Карточка модели Nocodedev0/Qwen3.8-2.4T-A95B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-2.4T-A95B, поэтому описание составлено по ней. Qwen3.8-2.4T-A95B — текстовая причинная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста, диалогов, программирования, профессиональных и исследовательских задач, а также многошаговой работы агентных систем с использованием обратной связи от среды и инструментов. Архитектура — MoE на основе Qwen3.5 с 2,4 трлн параметров суммарно и 95 млрд активируемых параметров. В модели 92 слоя и 512 экспертов, из которых для токена активируются 10 маршрутизируемых и один общий эксперт. Контекст составляет 262 144 токена нативно и может расширяться примерно до 1,01 млн токенов. Модель принимает только текст, работает в режиме рассуждений, который нельзя отключить, и поддерживает интерфейс вызова инструментов. Репозиторий содержит веса и конфигурацию в формате Transformers; README указывает совместимость с vLLM, SGLang и другими движками. Модель рассчитана на сложную генерацию текста, программирование, исследования и длительные задачи с планированием; глубину рассуждений можно настраивать параметром reasoning_effort. Она не поддерживает мультимодальный ввод. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в репозитории Hugging Face.

calme-2.1-llama3.1-70b — дообученная MaziyarPanahi версия Meta Llama 3.1 70B Instruct для диалогов и генерации текста. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Для общения используется шаблон ChatML. Модель предназначена для ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммирования текстов, генерации и анализа кода, а также решения сложных задач. В карточке приведены результаты отдельных бенчмарков, но отсутствует полный отчёт об оценке качества. Доступны веса в формате safetensors; отдельно опубликованы квантизованные варианты GGUF. Модель лицензирована по условиям лицензии базовой Meta Llama 3.1; перед использованием следует учитывать возможные смещения и проверять ответы при помощи человеческого контроля.

DeepSeek-V3.2-Exp — экспериментальная языковая модель, разработанная DeepSeek AI. Она является производным вариантом DeepSeek-V3.1-Terminus и дообучена на базе DeepSeek-V3.2-Exp-Base. Модель предназначена для генерации и анализа текста, решения задач на рассуждение и программирование, а также для агентских сценариев с использованием инструментов, включая веб-поиск и работу с программным кодом. Ключевое архитектурное нововведение — механизм DeepSeek Sparse Attention (DSA), реализующий мелкозернистое разреженное внимание для повышения эффективности обучения и инференса на длинных контекстах при сохранении сопоставимого качества ответов. В README также упоминается конфигурация с 256 экспертами и размером модели 671B; точная длина контекста, перечень поддерживаемых языков и модальности не указаны. Для запуска доступны демонстрационный код inference, интеграции с SGLang и vLLM; обычно требуется многопроцессорный запуск на нескольких ускорителях. Сильными сторонами модели являются снижение вычислительных затрат при обработке длинных последовательностей и результаты, в целом сопоставимые с DeepSeek-V3.1-Terminus на публичных тестах, включая рассуждение, кодирование и использование инструментов. Это экспериментальный релиз, поэтому возможны ограничения совместимости и производительности; в README отдельно отмечено исправление ошибки в реализации RoPE в прежних версиях демонстрационного кода. Модель распространяется по лицензии MIT.

DeepSeek-V4.1-Flash — мультимодальная модель семейства DeepSeek от RedHatAI. Она принимает текст и изображения и авторегрессионно генерирует текст. Модель построена по архитектуре Mixture-of-Experts с 552 млрд параметров основы; активируются 8 млрд параметров на токен при предварительной обработке контекста и 16 млрд при генерации. В README заявлена поддержка контекста до 1 млн токенов. Модель предназначена для рассуждений, агентных сценариев, работы с кодом и визуальными задачами. Среди архитектурных особенностей — сжатие KV-кэша, разреженное внимание, память Engram и управляемый уровень усилий рассуждения от 1 до 100. Репозиторий содержит веса safetensors в формате FP8, а метаданные указывают библиотеку Transformers. Лицензия — MIT. В карточке нет шаблона чата Jinja; для кодирования диалогов README указывает на отдельную реализацию encoding.py.

davidsyoung/GLM-5.3-EXL3-TR3-3.42bpw — это квантизированная версия GLM-5.3 от zai-org, подготовленная в формате EXL3/TR3 с использованием смешанной схемы trellis-квантизации. Базовая модель представляет собой MoE-архитектуру glm_moe_dsa размером 755B параметров: 78 слоёв, 256 маршрутизируемых экспертов на слой и дополнительный MTP-компонент. Заявлены английский и китайский языки, а назначение модели — генерация текста, сложное программирование, рассуждения и задачи с длинным контекстом. Средний размер квантизации весов составляет 3,42 bpw: маршрутизируемые эксперты используют комбинацию K3 и K4, а внимание, эмбеддинги, нормализации, lm_head и ряд других компонентов сохранены в BF16. Квантизация выполнена без калибровочных данных; заявлено небольшое отклонение от BF16-учителя по измеренному KLD. Модель рассчитана на запуск через совместимый стек exllamav3-b12x или sparkinfer с четырьмя GPU, TP4 и FP8 KV-кэшем. Указан проверенный профиль с envelope до 393 216 токенов, но это измеренный безопасный режим, а не гарантированный архитектурный максимум. Сильными сторонами являются высокая степень сжатия, сохранение значительной части компонентов в BF16, поддержка очень длинного контекста и подтверждённая работоспособность в сценариях кодирования, структурированного вывода, tool use и извлечения данных из длинных документов. Ограничение — специальный смешанный K3/K4 runtime: модель несовместима с обычной загрузкой vanilla exllamav3, а использование стандартного загрузчика может приводить к некорректной генерации. Лицензия указана как glm-5.3; подробные условия следует уточнять в лицензии базовой модели.

Meta-Llama-3.1-405B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-405B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель архитектуры Meta-Llama 3.1 с входом и выходом в виде текста, предназначенная прежде всего для ассистентских диалогов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Модель ориентирована на коммерческое и исследовательское использование. Весы и активации линейных слоёв трансформера квантизированы в FP8. Для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. Это примерно вдвое уменьшает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением; заявлено, что модель может запускаться на одном узле с 8 GPU H100 вместо нескольких узлов. Для инференса она подготовлена для vLLM и поддерживает совместимый с OpenAI режим сервинга. В README указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако в ограничениях отдельно сказано, что использование на языках, отличных от английского, находится вне заявленной области применения. В качестве ограничения также следует учитывать необходимость мощной GPU-инфраструктуры и возможные потери качества, связанные с квантизацией, хотя на приведённых бенчмарках модель продемонстрировала близкие к исходной модели результаты. Лицензия — llama3.1; дата выпуска — 22 августа 2024 года, версия 1.1.