II.3Рефакторинг, миграция и модернизация

coder3101/gemma-4-12B-it-qat-q4_0-unquantized-heretic — мультимодальная инструкционная модель на 12 млрд параметров, основанная на Gemma 4 от Google DeepMind и дообученная автором репозитория. Она предназначена для диалога, рассуждений, генерации и исправления кода, работы с инструментами, а также анализа изображений, видео и аудио. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания; для модели 12B заявлен контекст до 256 тысяч токенов. Модель принимает текст и мультимодальные данные и генерирует текст; аудиовозможности Gemma 4 12B включают распознавание речи и перевод речи в текст. Семейство поддерживает более 35 языков, хотя конкретный перечень для этого чекпойнта не приведён. Модификация помечена как uncensored/decensored/abliterated, поэтому предполагает ослабленные ограничения на ответы по сравнению с обычной инструкционной моделью. Возможности включают извлечение данных из документов, OCR, понимание экранов и диаграмм, суммаризацию и ответы на вопросы. Модель может ошибаться в фактах, терять нюансы языка и отражать смещения обучающих данных; сложные и открытые запросы требуют проверки. Лицензия — Apache-2.0.

google/gemma-4-26B-A4B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она принимает текстовые и графические данные и генерирует текст; аудио для этой версии не заявлено. Модель предназначена для диалогов, генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель относится к варианту Gemma 4 26B A4B и поставляется в формате GGUF с квантизацией Q4_0, выполненной с применением Quantization-Aware Training. Такой подход рассчитан на снижение требований к памяти при сохранении качества, близкого к версии bfloat16. Семейство поддерживает контекст до 256K токенов, более 140 языков, настраиваемые режимы рассуждений, системные промпты и гибридный механизм внимания с локальным скользящим и глобальным вниманием. Формат GGUF ориентирован на совместимость с широким кругом инструментов локального запуска. Сильными сторонами являются сочетание мультимодальности, длинного контекста, возможностей рассуждения и программирования с уменьшенными требованиями к памяти благодаря QAT-квантизации. Ограничения связаны с тем, что это квантизированная версия, поэтому результаты могут отличаться от полноточных вариантов, а для эффективного запуска всё равно требуется значительный объём памяти. Модель распространяется по лицензии Apache 2.0.

GLM-4.5-FP8 — открытая большая языковая модель семейства GLM-4.5, разработанная организацией Z.ai (Zhipu AI). Это вариант GLM-4.5 с точностью FP8, предназначенный для генерации текста, рассуждений, программирования и создания интеллектуальных агентов, включая сценарии с использованием инструментов. Модель построена по архитектуре Mixture-of-Experts (MoE) и содержит 355 млрд параметров, из которых активно используются 32 млрд. Она поддерживает гибридное рассуждение в двух режимах: thinking mode для сложных задач и работы с инструментами и non-thinking mode для быстрых прямых ответов. В карточке указаны языки English и Chinese; модель интегрируется с Transformers, vLLM и SGLang. Размер контекста в предоставленных данных не указан. Сильные стороны модели — сочетание возможностей рассуждения, программирования и агентных задач, а также сниженная точность FP8, потенциально позволяющая эффективнее использовать вычислительные ресурсы по сравнению с полноточными вариантами. В README приведены высокие результаты на TAU-Bench, AIME 24 и SWE-bench Verified, однако конкретные требования к аппаратному обеспечению и ограничения производительности для данной конфигурации в предоставленном фрагменте не раскрыты. Модель распространяется по лицензии MIT и допускает коммерческое использование и вторичную разработку.

Granite-4.2-8B — языковая модель команды Granite компании IBM для диалогов, рассуждений и работы с инструментами. Это плотный декодерный трансформер GraniteForCausalLM с 8,4 млрд параметров, доступный в формате safetensors и рассчитанный на библиотеку Transformers. Модель дообучена на базе ibm-granite/granite-4.1-8b-base; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на вопросы, многошаговых рассуждений, математических и программных задач, а также сценариев, где нужно выбирать и вызывать инструменты. Поддерживаются режимы полного, облегчённого и отключённого рассуждения. Метаданные указывают контекст до 131 072 токенов. Архитектура включает Grouped Query Attention, RoPE, SwiGLU и RMSNorm. Модель обучалась преимущественно на английских инструкциях, также включает многоязычные данные для немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Качество на других языках может уступать английскому; ответы могут быть неточными, предвзятыми или небезопасными. Текст рассуждений может содержать промежуточные мысли и не отражать итоговый ответ.

Llama-3.1-Nemotron-Ultra-253B-v1 — большая языковая модель NVIDIA для рассуждений, диалогов и выполнения инструкций. Это плотный авторегрессионный Transformer-декодер, созданный на основе Meta Llama-3.1-405B-Instruct с применением Neural Architecture Search: структура блоков изменена для сокращения памяти и ускорения инференса. В README указано 253 млрд параметров; метаданные каталога оценивают общий размер в 697,9 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и работает через Transformers. Модель предназначена для чат-ботов, агентных систем, RAG, вызова инструментов и общих задач по инструкциям, включая математику, программирование и рассуждения. Она рассчитана прежде всего на английский язык; README также заявляет поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель оптимизирована по соотношению качества и эффективности и, по README, может использоваться коммерчески. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке модели.

Muse Glimmer-30B — каузальная языковая модель примерно на 29,6 млрд параметров, разработанная Meta Superintelligence Lab и представленная в версии unsloth компанией Unsloth. Модель основана на плотном каузальном Transformer с выделенным энкодером восприятия и предназначена для локального запуска на пользовательском оборудовании без облачной инфраструктуры и сетевого доступа. Данная версия использует 4-битную квантизацию и базовую модель meta-models/Muse-Glimmer-30B. Модель ориентирована на автономные агентные сценарии: многошаговое рассуждение, выполнение задач от начала до конца, вызов инструментов, написание и отладку кода, работу в многоходовых диалогах и восстановление после ошибок инструментов. Она принимает текст и изображения, поэтому может анализировать скриншоты, графики и документы, а генерирует текст. Поддерживаются различные уровни усилий рассуждения, совместимость с агентскими оркестраторами и более 100 языков. Архитектура включает 52 слоя, скрытое измерение 6656, механизм GQA с 32 головами запросов и 2 KV-головами, SwiGLU, локально-глобальный шаблон внимания и контекст длиной от 131 072 токенов. Энкодер восприятия — ViT-G/14 примерно на 1,8 млрд параметров; на одно изображение допускается до 4096 визуальных токенов. Дата отсечения знаний — 4 января 2026 года. Сильные стороны модели — сочетание мультимодального понимания, инструментального использования, длительного планирования и восстановления после сбоев, а также возможность запуска на потребительском оборудовании. Квантизация позволяет разместить языковую часть менее чем в 20 ГБ и ориентироваться на конфигурации с 24 или 32 ГБ памяти, однако для полноценной работы также необходимы память под KV-кэш, энкодер восприятия и speculative decoding drafter. Версия распространяется по лицензии Apache 2.0.

Карточка модели deadguy56/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 на Hugging Face совпадает с карточкой AbhijeetJain4075/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

Карточка модели RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 на Hugging Face совпадает с карточкой AbhijeetJain4075/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

Карточка модели nasooh1/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

duyntnet/Qwen2.5-14B-Instruct-imatrix-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-14B-Instruct, первоначально разработанной командой Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и инференса через llama.cpp, KoboldCPP, text-generation-webui или Ollama. Модель относится к авторегрессионным causal language models и ориентирована на диалог, следование инструкциям, генерацию текста, программирование, математику, работу со структурированными данными и формирование структурированных ответов, включая JSON. Указана поддержка более 29 языков, в том числе английского, китайского, русского, французского, испанского, немецкого, японского и корейского. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и GQA; модель содержит около 14,7 млрд параметров, 48 слоёв, 40 голов внимания для Q и 8 для KV. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако текущая конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN. Сильные стороны модели — улучшенные возможности в кодировании и математике, следование инструкциям, генерация длинных текстов и устойчивость к различным системным промптам. Ограничения включают необходимость совместимого инференс-движка и дополнительной настройки для контекста свыше 32 768 токенов. В метаданных указана лицензия other; конкретные условия лицензии в README не раскрыты.

RedHatAI/Qwen2.5-32B-Instruct-FP8-dynamic — это опубликованная Red Hat AI FP8-квантизованная версия Qwen2.5-32B-Instruct, исходная модель разработана командой Qwen компании Alibaba. Она предназначена для диалогов, следования инструкциям, генерации текста и структурированных ответов, а также задач программирования, математики и работы с длинными текстами. Модель относится к causal language models и поддерживает только текстовые входы и выходы. В основе используется архитектура Qwen2ForCausalLM с 64 слоями, 40 attention heads для Q и 8 для KV по схеме GQA; размер исходной модели составляет около 32,5 млрд параметров. Репозиторий RedHatAI содержит формат compressed-tensors с FP8-представлением весов и динамическим квантованием активаций; в конфигурации указано максимальное положение на 32 768 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский и другие. Сильные стороны — сочетание крупного размера, улучшенных возможностей следования инструкциям, программирования, математики и более экономичного инференса благодаря FP8-квантизации. Ограничения включают возможные потери качества по сравнению с полной точностью, необходимость совместимого ПО для compressed-tensors и отсутствие отдельной карточки модели с подробными бенчмарками и описанием ограничений. Для исходной Qwen2.5-32B-Instruct указана лицензия Apache 2.0; отдельная лицензия производного репозитория RedHatAI в найденных материалах явно не указана.

mlx-community/Qwen3-14B-bf16 — версия Qwen3-14B, подготовленная сообществом mlx-community для запуска через библиотеку MLX. Модель преобразована из Qwen/Qwen3-14B с помощью mlx-lm версии 0.24.0; в репозитории используются веса safetensors. Это плотная авторегрессионная языковая модель с 14 млрд параметров и контекстом до 40 960 токенов. Модель предназначена для диалогов, следования инструкциям, рассуждений, генерации кода и многоязычного текста. Интерфейс поддерживает чат и вызов инструментов. Она принимает текст и генерирует текст; отдельные языки в предоставленных метаданных не перечислены. Лицензия Apache-2.0 разрешает использование на её условиях.

unsloth/Qwen3-235B-A22B-Instruct-2507 — версия модели Qwen3, опубликованная Unsloth с исправлениями шаблона чата. Это причинная языковая модель архитектуры MoE: в исходной конфигурации 235 млрд параметров, из которых активируются 22 млрд; версия в репозитории содержит 18,2 млрд параметров. Модель предназначена для диалогов и следования инструкциям, рассуждений, математики, программирования и вызова инструментов. Она работает только в режиме без пошагового «thinking» и поддерживает контекст до 262 144 токенов. Разработчики отмечают улучшения в понимании текста, знаниях на нескольких языках и выполнении открытых задач. Модель подходит для чат-ассистентов, обработки длинных документов и агентных сценариев с инструментами. В метаданных указаны Transformers и формат Safetensors; для использования с llama.cpp README рекомендует параметр --jinja. Репозиторий лицензирован по Apache-2.0.

QuantTrio/Qwen3-235B-A22B-Instruct-2507-AWQ — это AWQ-квантизированная версия Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и опубликованной QuantTrio. Модель предназначена для генерации текста и диалоговых сценариев, следования инструкциям, логического и математического рассуждения, научных задач, программирования, использования инструментов, обработки длинного контекста и многоязычных запросов. Это причинная языковая MoE-модель с 235 млрд параметров, из которых при обработке каждого токена активируются 22 млрд. Она содержит 94 слоя, 128 экспертов, 8 активных экспертов, 64 attention heads для Q и 4 для KV в схеме GQA. Нативная длина контекста составляет 262 144 токена. Модель работает только в non-thinking mode и не формирует блоки <think></think>. В репозитории указана интеграция с vLLM версии 0.9.2 и выше; размер файлов модели составляет около 116 ГБ, поэтому для запуска требуется мощная GPU-инфраструктура. Сильные стороны модели — улучшенные instruction following, понимание текста, знания, рассуждения, программирование, tool usage, открытые и субъективные задачи, а также работа с длинным контекстом и несколькими языками. Ограничения включают отсутствие thinking mode, высокие требования к памяти и необходимость учитывать особенности распределения MoE-экспертов при запуске на восьми GPU. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-32B-128K-GGUF — это GGUF-версия большой языковой модели Qwen3-32B, разработанной командой Qwen и опубликованной в формате GGUF командой Unsloth. Модель представляет собой причинную языковую модель с 32,8 млрд параметров, из которых 31,2 млрд не относятся к эмбеддингам. Архитектура включает 64 слоя и групповое обобщённое внимание (GQA) с 64 головами для Q и 8 для KV. Модель предназначена для диалогов, следования инструкциям, генерации и анализа кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, многошаговых диалогов, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Заявлена поддержка более 100 языков и диалектов. Базовая длина контекста составляет 32 768 токенов, а с использованием YaRN она увеличена до 131 072 токенов. Модель сочетает широкий набор языковых и рассуждательных возможностей с поддержкой длинного контекста и локального запуска в GGUF-экосистеме. Ограничения включают значительный размер, потенциально высокие требования к памяти и вычислительным ресурсам, а также зависимость качества и скорости от конкретной GGUF-квантизации и настроек запуска. В README не приведены точные параметры квантизации, требования к оборудованию или результаты бенчмарков. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4.1-Flash — мультимодальная модель семейства DeepSeek от RedHatAI. Она принимает текст и изображения и авторегрессионно генерирует текст. Модель построена по архитектуре Mixture-of-Experts с 552 млрд параметров основы; активируются 8 млрд параметров на токен при предварительной обработке контекста и 16 млрд при генерации. В README заявлена поддержка контекста до 1 млн токенов. Модель предназначена для рассуждений, агентных сценариев, работы с кодом и визуальными задачами. Среди архитектурных особенностей — сжатие KV-кэша, разреженное внимание, память Engram и управляемый уровень усилий рассуждения от 1 до 100. Репозиторий содержит веса safetensors в формате FP8, а метаданные указывают библиотеку Transformers. Лицензия — MIT. В карточке нет шаблона чата Jinja; для кодирования диалогов README указывает на отдельную реализацию encoding.py.

Dolphin-2.9.3-Yi-1.5-34B-32k-GGUF — это квантизированная GGUF-версия текстовой генеративной модели dolphin-2.9.3-Yi-1.5-34B-32k. Базовая модель — 01-ai/Yi-1.5-34B-32k, исходная модель опубликована cognitivecomputations, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, следования инструкциям, генерации и анализа текста, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы данных Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Поддерживается шаблон сообщений ChatML с ролями system, user и assistant. Модель имеет 34 миллиарда параметров и заявленный контекст до 32 тысяч токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; поддерживаемые языки в README не указаны. Доступно множество вариантов квантизации от Q8_0 и Q6_K до Q3 и IQ3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Более низкие варианты требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты обозначены как экспериментальные. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется совместимый стек llama.cpp или другое программное обеспечение, поддерживающее формат GGUF и соответствующие схемы квантизации.

Google DeepMind Gemma 4 31B IT QAT — мультимодальная инструкционно настроенная модель с плотной архитектурой для генерации текста и диалогов, а также понимания изображений. Эта версия представляет собой unquantized QAT-чекпойнт: веса в формате safetensors извлечены из конвейера обучения с учётом квантования; для неё указана базовая модель google/gemma-4-31B-it-assistant. Лицензия — Apache 2.0. Модель подходит для рассуждений, программирования, ответов на вопросы и агентных сценариев с вызовом инструментов. Она принимает текст и изображения и выдаёт текст; семейство Gemma 4 поддерживает контекст до 256 тысяч токенов, а также многоязычную работу. В карточке описаны распознавание текста и документов на изображениях, понимание диаграмм и интерфейсов, но обработка аудио заявлена только для меньших моделей семейства, а не для 31B. QAT-чекпойнты предназначены для снижения требований к памяти при сохранении качества, близкого к bfloat16; конкретный объём экономии для этой версии не приведён. Для ускорения генерации с помощью спекулятивного декодирования совместимая assistant-модель должна быть QAT-чекпойнтом той же точности. Модель может ошибаться в ответах и коде; карточка не приводит количественных оценок качества именно этого чекпойнта.

RadixArk/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash-BF16 от Z.ai, подготовленная RadixArk. Это производный чекпойнт без дополнительного обучения или дообучения, созданный с помощью NVIDIA Model Optimizer 0.46.0. Модель предназначена для агентной разработки, программирования, рассуждений с длинным контекстом, работы с инструментами, диалогов и других приложений на базе ИИ. Модель использует гибридную архитектуру Transformer со sparse Mixture-of-Experts: 320 млрд параметров всего и около 18 млрд активных на токен. Архитектура включает 45 слоёв, 42 MoE-слоя с 288 маршрутизируемыми экспертами, общим экспертом, KDA linear attention, DSA sparse attention, MLA, vision encoder и механизмом MTP/NextN. Она принимает текст, изображения и видео, выдаёт текст, поддерживает английский и китайский языки и контекст до 1 048 576 токенов. Ключевая особенность чекпойнта — смешанная NVFP4 W4A4-квантизация с group size 16 и нормализацией tensor-scale 256. Большинство MLP-тензоров экспертов квантизировано, тогда как компоненты внимания, vision tower, маршрутизаторы, нормализация, эмбеддинги, языковая голова и другие критичные компоненты сохранены в исходной точности. Это снижает требования к памяти и делает модель пригодной для эффективного развёртывания, но требует совместимой инфраструктуры. Заявлена проверка на NVIDIA Blackwell, включая конфигурацию из четырёх GB300; основной runtime — SGLang под Linux. Для KV-кэша поддерживаются FP8 и BF16 варианты. Модель распространяется по лицензии MIT. Для запуска рекомендованы официальный образ SGLang GLM-5.3-Flash и конфигурация на четырёх GPU. RadixArk не является разработчиком исходной модели, поэтому сведения о её обучении, исходных возможностях и условиях использования следует уточнять в карточке GLM-5.3-Flash-BF16 от Z.ai.

Hermes 3 405B — большая языковая модель общего назначения от Nous Research, созданная полным дообучением Meta-Llama-3.1-405B. Она рассчитана на диалог с ассистентом, следование инструкциям, рассуждения, ролевые сценарии, генерацию кода и работу с инструментами. Модель поддерживает многошаговые беседы и контекст до 131 072 токенов; для диалога используется формат ChatML, также предусмотрены вызовы функций и структурированный вывод JSON. Модель содержит около 403,7 млрд параметров, использует плотную архитектуру Llama и распространяется в формате Safetensors. Для запуска полной версии в FP16 требуется более 800 ГБ видеопамяти; в README также упоминается отдельная FP8-квантизация NeuralMagic для VLLM, требующая около 430 ГБ. Лицензия — Llama 3.1 Community License (llama3). Карточка позиционирует Hermes 3 как модель общего назначения с улучшенными агентными возможностями, управляемостью и генерацией кода.

Hermes 4 405B — большая плотная языковая модель Nous Research для диалогов и следования инструкциям, созданная на основе Meta Llama 3.1 405B с дополнительным постобучением. Модель содержит около 403,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Основной язык карточки — английский. Модель предназначена для диалогового помощника и сложных задач рассуждения, включая математику, программирование, STEM, логику и творческое письмо. Она поддерживает режим рассуждения, вызов инструментов и функций, а также генерацию структурированных ответов, в том числе JSON по заданной схеме. Вызовы инструментов требуют подходящего шаблона диалога и обработки специального формата вывода. Модель распространяется под лицензией Llama 3.1 Community License. Это крупная модель, для обслуживания которой README рекомендует многокарточные серверные конфигурации и движки вывода вроде vLLM или SGLang. Утверждения о качестве и результатах на бенчмарках приведены разработчиком; карточка не предоставляет подробных таблиц результатов.

unsloth/Llama-3.1-8B-bnb-4bit — это 4-битно квантованная версия языковой модели Meta Llama 3.1 8B, опубликованная Unsloth. Модель предназначена для генерации и обработки текста, диалоговых сценариев, работы с кодом, а также для последующего дообучения, включая создание reasoning-моделей с использованием GRPO. Она совместима с экосистемой Transformers и может быть экспортирована в форматы GGUF и vLLM. В основе лежит авторегрессионная модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention (GQA). Модель работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Размер базовой модели — 8 млрд параметров, контекст — до 128 тысяч токенов. Обучение выполнено на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, однако семейство Llama 3.1 описано как многоязычное. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее запуск и дообучение по сравнению с полноразмерной моделью. Ограничения включают текстовую модальность, возможную потерю качества из-за квантования и ограниченную актуальность знаний. Модель распространяется по лицензии Llama 3.1; условия использования следует уточнять в тексте этой лицензии Meta.

unsloth/Llama-3.1-8B-Instruct-GGUF — это GGUF-версия инструкционно дообученной текстовой модели Llama 3.1 с 8 млрд параметров. Модель разработана Meta, а представленная конвертация и набор форматов опубликованы Unsloth. Она предназначена для генерации текста и кода, диалоговых сценариев, ассистентов и других задач, где требуется следование инструкциям на естественном языке. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA). Она работает только с текстом на входе и формирует текст или код на выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов; данные обучения основаны на общедоступных онлайн-данных, дата отсечения знаний — декабрь 2023 года. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning with human feedback. К сильным сторонам относятся мультиязычный диалог, поддержка длинного контекста, генерация кода и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp, Ollama и vLLM. Ограничения модели связаны с текстовой модальностью, статичностью знаний и возможными ошибками или небезопасными ответами; конкретный объём памяти и степень квантования зависят от выбранного GGUF-файла. Использование регулируется коммерческой Llama 3.1 Community License.

Карточка модели RedHatAI/Llama-3_1-Nemotron-Ultra-253B-v1 на Hugging Face совпадает с карточкой nvidia/Llama-3_1-Nemotron-Ultra-253B-v1, поэтому описание составлено по ней. Llama-3.1-Nemotron-Ultra-253B-v1 — большая языковая модель NVIDIA для рассуждений, диалогов и выполнения инструкций. Это плотный авторегрессионный Transformer-декодер, созданный на основе Meta Llama-3.1-405B-Instruct с применением Neural Architecture Search: структура блоков изменена для сокращения памяти и ускорения инференса. В README указано 253 млрд параметров; метаданные каталога оценивают общий размер в 697,9 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и работает через Transformers. Модель предназначена для чат-ботов, агентных систем, RAG, вызова инструментов и общих задач по инструкциям, включая математику, программирование и рассуждения. Она рассчитана прежде всего на английский язык; README также заявляет поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель оптимизирована по соотношению качества и эффективности и, по README, может использоваться коммерчески. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке модели.

Llama-3.3-Nemotron-Super-49B-v1.5 — большая языковая модель NVIDIA, созданная на основе Meta Llama-3.3-70B-Instruct и оптимизированная с помощью Neural Architecture Search. В метаданных указано 87 млрд параметров; модель использует плотную архитектуру и поддерживает контекст до 131 072 токенов. Модель предназначена для рассуждений, диалогов и выполнения инструкций на английском языке, а также для задач с кодом. Она дообучалась на математике, программировании, естественных науках и вызове инструментов; дополнительные этапы постобучения улучшили следование предпочтениям в чате, рассуждения и агентные сценарии. Подходит для чат-ботов, AI-агентов и систем RAG, а интерфейс вызова инструментов позволяет подключать внешние функции. README указывает поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Оптимизация архитектуры рассчитана на более эффективное использование памяти и пропускной способности; заявлена возможность размещения на одном GPU H200 при высокой нагрузке. Модель предназначена для коммерческого использования; в метаданных лицензия обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория. Для практического развертывания нужны значительные вычислительные ресурсы.

Mistral Large 2407 — флагманская языковая модель Mistral AI, выпущенная в июле 2024 года. Это модель с доступными весами, но проприетарными условиями использования. Модель предназначена для диалога, рассуждений, работы с кодом и генерации JSON и может использоваться как универсальный помощник для этих задач. В карточке указано, что модель хорошо справляется с перечисленными сценариями, однако подробности об архитектуре, размере и контексте здесь не приведены. Лицензия и конкретные условия использования в доступном описании не раскрыты; перед применением следует свериться с условиями Mistral AI.

Nemotron-Cascade-8B — языковая модель общего назначения от NVIDIA, дообученная на базе Qwen3-8B-Base. Модель имеет плотную архитектуру Qwen3 и около 7,6 млрд параметров; поддерживает контекст до 32 768 токенов и работает через Transformers в формате safetensors. Модель предназначена для диалогов и генерации текста, включая рассуждения, следование инструкциям, математические задачи, программирование, инженерные задачи в ПО и использование инструментов. Доступны режимы рассуждения и обычного ответа, переключаемые тегами /think и /no_think. В карточке описано последовательное дообучение с многоэтапным SFT и обучением с подкреплением по разным областям. Для длинного контекста NVIDIA рекомендует RoPE scaling с YaRN; это требует соответствующей настройки конфигурации. Метаданные указывают лицензию как other, поэтому конкретные права использования следует сверить с условиями репозитория.

Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

Карточка модели shrawanp/Qwen3.5-122B-A10B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-122B-A10B, поэтому описание составлено по ней. Qwen3.5-122B-A10B — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen. Репозиторий содержит постобученные веса и конфигурацию в формате Transformers; модель сочетает Gated Delta Networks с разреженной архитектурой Mixture-of-Experts. Всего в модели 122 млрд параметров, из которых при генерации активируются 10 млрд; предусмотрено 256 экспертов, 8 маршрутизируемых и один общий активируются для каждого шага. Модель предназначена для диалога и решения задач по тексту и изображениям, включая рассуждения, программирование, понимание визуального содержимого и работу с инструментами. README также описывает обработку видео и расширенный контекст. Нативное окно контекста — 262 144 токена, с возможностью расширения до 1 010 000. Заявлена поддержка 201 языка и диалекта; точный перечень языков в предоставленной карточке опущен. Среди сильных сторон — сочетание мультимодального понимания, инструментального взаимодействия и разреженной архитектуры, рассчитанной на эффективный инференс. Для запуска требуются совместимые версии Transformers или специализированные движки, например vLLM, SGLang или KTransformers; производительность и расход памяти зависят от инфраструктуры, а README предупреждает о риске нехватки памяти при большом контексте. Лицензия — Apache-2.0.

Athene-V2-Chat-72B — диалоговая языковая модель с открытыми весами, разработанная командой Nexusflow. Это дообученная с помощью RLHF модель Qwen2.5-72B-Instruct с плотной архитектурой Qwen2; в репозитории доступны веса в формате safetensors. Модель рассчитана на диалог, генерацию текстов, решение математических задач и программирование. Она использует шаблон чата Qwen2.5-72B-Instruct и поддерживает контекст до 32 768 токенов. В карточке разработчик сообщает о сильных результатах в чат-бенчмарках, математике, программировании, следовании инструкциям и многошаговом диалоге. Модель также имеет интерфейс вызова инструментов, однако для сложных агентных сценариев Nexusflow выделяет отдельную модель Athene-V2-Agent-72B. Лицензия — Nexusflow Research License; перед использованием следует проверить её условия для конкретного сценария.