II.7DevOps, облако и эксплуатация IT-систем

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-версия каузальной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель преобразована с использованием llama.cpp; сборка и экспериментальная схема квантования опубликованы пользователем Mungert. Она предназначена для локального запуска и генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных и программных задач, работы с инструментами и открытых диалоговых сценариев. Модель использует архитектуру Mixture of Experts: всего 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; в составе 48 слоёв, 128 экспертов и 8 активируемых экспертов. Применяется Grouped Query Attention с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков, но конкретный перечень в предоставленных данных не указан. Это режим без рассуждений: модель не формирует блоки <think></think>. К сильным сторонам относятся улучшенные instruction following, логическое рассуждение, кодирование, использование инструментов, субъективные и открытые задачи, мультиязычное понимание и работа с длинным контекстом. GGUF-квантизация облегчает локальный инференс, а ручное повышение точности отдельных важных слоёв может улучшать качество при заданном уровне квантования. Ограничения связаны с компромиссом между размером файла, требованиями к ресурсам и точностью; конкретные характеристики зависят от выбранного варианта квантования. Лицензия — Apache 2.0.

Qwen3-32B — плотная причинно-следственная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалога, следования инструкциям, рассуждений, генерации кода, перевода и работы с внешними инструментами. В одной модели можно переключаться между режимом рассуждений для сложных задач и обычным режимом ответа. Модель содержит 29,7 млрд параметров по метаданным каталога; в README указано 32,8 млрд параметров, включая 31,2 млрд без эмбеддингов. Архитектура — Qwen3ForCausalLM, для запуска поддерживается Transformers. Нативный контекст составляет 40 960 токенов по метаданным каталога; README указывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Семейство поддерживает более 100 языков и диалектов. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Модель подходит для многошагового диалога и сценариев с вызовом инструментов, а также для математических и логических рассуждений, творческого письма и программирования. Карточка заявляет сильные способности к следованию инструкциям и многоязычным задачам; качество конкретных ответов зависит от запроса и развертывания. В README не приведены конкретные ограничения или оговорки по безопасности.

QuantFactory/Qwen3-8B-GGUF — квантизированная версия языковой модели Qwen3-8B, созданная QuantFactory на основе модели Qwen/Qwen3-8B с использованием llama.cpp. Это каузальная языковая модель для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических рассуждений, перевода и сценариев с интеграцией внешних инструментов. Модель содержит 8,2 млрд параметров, из них 6,95 млрд без учёта embedding, и включает 36 слоёв. В архитектуре используется grouped-query attention (GQA) с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает более 100 языков и диалектов и умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых ответов. К сильным сторонам относятся универсальность, развитые способности к рассуждениям, программированию, многоязычным задачам, диалогам и работе с инструментами, а GGUF-квантизация ориентирована на локальный запуск через совместимые приложения и llama.cpp. Ограничения конкретной сборки зависят от выбранного уровня квантизации, который в карточке не указан: по сравнению с полноразмерной моделью возможна потеря качества, а требования к памяти и производительность определить нельзя. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-Next-80B-A3B-Instruct-GGUF — GGUF-версия инструкционной причинной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для генерации текста, диалогов, программирования, следования инструкциям, решения задач, работы с агентскими сценариями и обработки очень длинного контекста. Она поддерживает только instruct-режим без блоков рассуждений <think></think> в ответах. Модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, а также разреженную смесь экспертов MoE. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются для обработки каждого токена; 48 слоёв, 512 экспертов и 10 активируемых экспертов. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки и точные характеристики GGUF-квантизации не указаны. К сильным сторонам относятся высокая параметрическая эффективность, потенциально высокая скорость инференса, поддержка ультрадлинного контекста и хорошие результаты в задачах знаний, рассуждений, программирования, следования инструкциям и написания текстов. Ограничения включают отсутствие режима thinking и необходимость учитывать аппаратные требования, связанные с общим размером модели; конкретные требования к памяти зависят от варианта квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

unsloth/cogito-v2-preview-llama-70B-GGUF — GGUF-версия большой языковой модели Cogito v2 preview 70B, разработанная Unsloth на базе deepcogito/cogito-v2-preview-llama-70B. Это инструкционно дообученная генеративная модель с гибридным режимом рассуждений: она может отвечать напрямую либо предварительно выполнять саморефлексию. Обучение проводилось с использованием Iterated Distillation and Amplification (IDA), стратегии итеративного самоулучшения. Модель предназначена для генерации текста, следования инструкциям, программирования, задач STEM, вызова инструментов и общего ассистирования. Модель поддерживает контекст длиной до 128k токенов и обучена более чем на 30 языках, поэтому ориентирована на многоязычные сценарии. Заявлены улучшенные возможности в программировании, работе с инструментами и многоязычии по сравнению с сопоставимыми по размеру моделями. Доступны стандартный режим и расширенное рассуждение; для последнего в совместимых инструментах требуется включить параметр enable_thinking или использовать предусмотренный системный запрос и префилл. GGUF-формат подходит для запуска через совместимые средства локального инференса, включая llama.cpp; для корректного применения шаблона чата в llama.cpp рекомендуется параметр --jinja. К ограничениям относятся значительные требования к вычислительным ресурсам, обусловленные размером 70B, а также экспериментальный статус preview и возможная хрупкость гибридного режима в редких случаях. Репозиторий распространяется по лицензии Llama 3.1, указанной как допускающая коммерческое использование; точные условия следует проверять в тексте лицензии.

NVIDIA DeepSeek-V4-Pro-NVFP4 — квантизированная версия языковой модели DeepSeek-V4-Pro, разработанная и подготовленная с помощью NVIDIA Model Optimizer v0.44. Базовая модель создана сторонней организацией и не принадлежит NVIDIA; NVIDIA выполнила её квантизацию под данный сценарий использования. Модель распространяется по лицензии MIT и допускает коммерческое и некоммерческое применение. Модель предназначена для генерации текста, сложного рассуждения, математических задач, программной инженерии, агентных приложений, вызова инструментов и корпоративных AI-ассистентов. Она поддерживает многоходовые диалоги с системными, пользовательскими и ассистентскими сообщениями, структурированный JSON-вывод, function calling и выдачу рассуждений в соответствующем режиме. Доступны режимы Non-think для быстрого ответа, Think High для логического анализа и Think Max для максимально глубокого рассуждения. Архитектура построена на Transformer и Mixture-of-Experts с гибридным вниманием, включающим Compressed Sparse Attention и Heavily Compressed Attention. Общее число параметров составляет около 1,6 трлн, из них активируется 49 млрд. Модель работает с текстом, использует контекст до 1 млн токенов и поддерживает пользовательский конвейер кодирования encoding_dsv4. NVFP4-квантизация применяется к весам и активациям линейных операторов в MoE-блоках. Для запуска заявлены SGLang и vLLM на Linux-системах с GPU NVIDIA Blackwell, тестирование проводилось на NVIDIA B200. Ограничения включают высокие требования к совместимой аппаратуре и необходимость дополнительного тестирования на данных конкретного применения; сведения о языках модели, обучающих данных и полном наборе характеристик базовой DeepSeek-V4-Pro в карточке не раскрыты.

Llama 3.1 8B Instruct — текстовая генеративная языковая модель Meta, представленная в формате GGUF. Квантованные GGUF-файлы подготовлены несколькими участниками сообщества, включая bartowski, kaetemi и ddh0, а исходная модель — Meta-Llama-3.1-8B-Instruct от Meta. Модель предназначена для ассистентского диалога, генерации и обработки текста, работы с кодом, а также коммерческих и исследовательских сценариев на поддерживаемых языках. Она использует авторегрессионную оптимизированную архитектуру Transformer, Grouped-Query Attention, содержит около 8 миллиардов параметров и поддерживает контекст до 128 тысяч токенов. Входом и выходом служит мультиязычный текст; заявленные языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель обучалась на более чем 15 триллионах токенов, а дата отсечения знаний указана как декабрь 2023 года. Сильные стороны модели — большой контекст, относительно компактный размер, оптимизация для диалоговых сценариев и возможность локального использования благодаря формату GGUF. Ограничения включают статичность знаний, текстовую мультимодальность без поддержки изображений и аудио, а также официальное ограничение на использование языков, не перечисленных в карточке. Модель распространяется по кастомной коммерческой лицензии Llama 3.1 Community License; применение также должно соответствовать Acceptable Use Policy и действующему законодательству.

RedHatAI/Llama-3.3-70B-Instruct — инструктивная языковая модель Meta, распространяемая Red Hat AI. Это плотная авторегрессионная модель семейства Llama на архитектуре Transformer с 69,5 млрд параметров, обученная для следования инструкциям и диалогов; настройка включает supervised fine-tuning и обучение с обратной связью от людей. Модель принимает текст и генерирует текст, в том числе код, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель предназначена для многоязычных диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев. В карточке указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель статична и обучена на офлайн-данных; знания ограничены данными обучения с отсечкой декабря 2023 года. Для вызова внешних инструментов требуется интеграция со стороны приложения. Использование регулируется пользовательским соглашением Llama 3.3 Community License и соответствующей политикой допустимого использования.

Карточка модели efathakanafunzi/Qwen3-14B на Hugging Face совпадает с карточкой Qwen/Qwen3-14B, поэтому описание составлено по ней. Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.

unsloth/Qwen3-8B — плотная причинно-авторегрессионная языковая модель семейства Qwen3, основанная на Qwen/Qwen3-8B и опубликованная Unsloth. По карточке модели, она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики и программирования; также поддерживает интерфейс вызова инструментов. Qwen3 позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают 7,6 млрд параметров и контекст до 40 960 токенов; модель распространяется в формате safetensors и рассчитана на использование с Transformers. Карточка базовой модели заявляет поддержку более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель может быть полезна для чат-ботов, генерации и редактирования текста, помощи с кодом и агентных сценариев с инструментами. Указана лицензия Apache-2.0. Заявленный в README базовой модели размер параметрического набора и длина контекста отличаются от значений метаданных этой записи, поэтому здесь приведены значения метаданных каталога.

K2-Horizon-3.7B — плотная авторегрессионная языковая модель семейства K2-Horizon от IFM, представленная как небольшой вариант семейства. Это декодерная модель с архитектурой K2HorizonForCausalLM; в карточке указано 3,7 млрд параметров в названии, а в метаданных — 4,1 млрд. Модель принимает текст и предназначена для диалогов, генерации текста, рассуждений, программирования и агентных задач. Нативное контекстное окно составляет 524 288 токенов. Для запуска описана совместимость с Transformers, vLLM и SGLang; для vLLM приведены настройки вызова инструментов и парсер формата модели. Обучение включает предварительное обучение, этапы расширения контекста и постобучение. Для снижения повторяющихся бесконечных генераций выпущенная версия прошла дополнительный этап FTPO на LoRA-предпочтениях, после чего обновление было объединено с весами. Авторы сообщают об оценках на математических, кодовых, агентных и общих бенчмарках, а также об улучшении поведения при длинной генерации. Обучающие данные, рецепт, код и ресурсы оценки заявлены как открытые. Лицензия — Apache-2.0.

NVIDIA Nemotron-3-Nano-30B-A3B-BF16 — языковая модель NVIDIA, обученная с нуля для диалогов, рассуждений и выполнения инструкций. В карточке модели указана гибридная архитектура Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 слоёв внимания. Всего модель содержит 30 млрд параметров, из которых активируются 3,5 млрд; в метаданных репозитория указано 1,9 млрд параметров. Конфигурация Hugging Face задаёт контекст 262 144 токена, а README заявляет поддержку контекста до 1 млн токенов. Модель предназначена для чат-ботов, AI-агентов, RAG-систем и других приложений, которым нужны ответы на вопросы, следование инструкциям, рассуждения, помощь с программированием и вызов инструментов. Режим генерации рассуждений настраивается шаблоном чата; по данным README, его отключение может немного снизить точность на сложных запросах. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. В README модель названа готовой к коммерческому использованию, однако метаданные указывают лицензию «other» и не приводят её условия; перед внедрением следует проверить лицензию в репозитории. Карточка также отмечает улучшение с использованием Qwen, но не уточняет идентификатор базовой модели.

duyntnet/Qwen2.5-14B-Instruct-imatrix-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-14B-Instruct, первоначально разработанной командой Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и инференса через llama.cpp, KoboldCPP, text-generation-webui или Ollama. Модель относится к авторегрессионным causal language models и ориентирована на диалог, следование инструкциям, генерацию текста, программирование, математику, работу со структурированными данными и формирование структурированных ответов, включая JSON. Указана поддержка более 29 языков, в том числе английского, китайского, русского, французского, испанского, немецкого, японского и корейского. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и GQA; модель содержит около 14,7 млрд параметров, 48 слоёв, 40 голов внимания для Q и 8 для KV. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако текущая конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN. Сильные стороны модели — улучшенные возможности в кодировании и математике, следование инструкциям, генерация длинных текстов и устойчивость к различным системным промптам. Ограничения включают необходимость совместимого инференс-движка и дополнительной настройки для контекста свыше 32 768 токенов. В метаданных указана лицензия other; конкретные условия лицензии в README не раскрыты.

Qwen3-30B-A3B — языковая модель семейства Qwen3, разработанная командой Qwen. Это причинная модель с архитектурой mixture-of-experts: в README указаны 30,5 млрд параметров всего и 3,3 млрд активируемых параметров, 48 слоёв и 128 экспертов, из которых для обработки задействуются 8. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и работы с внешними инструментами. В ней можно переключаться между режимами рассуждения и обычного ответа. Заявлена поддержка более 100 языков и диалектов. Метаданные указывают библиотеку Transformers, формат Safetensors и контекст 40 960 токенов; README описывает нативный контекст 32 768 токенов и расширение до 131 072 с YaRN. Модель дообучена на Qwen/Qwen3-30B-A3B-Base и распространяется по лицензии Apache-2.0. Указанные в README возможности рассуждения и работы с инструментами не заменяют внешнюю проверку ответов и корректную настройку интеграций.

warshanks/Qwen3-4B-Instruct-2507-AWQ — квантованная версия Qwen3-4B-Instruct-2507, разработанной командой Qwen и опубликованной пользователем warshanks. Это авторегрессионная causal language model для генерации текста в диалогах, выполнения инструкций, рассуждений, математики, научных и программных задач, понимания текста, вызова инструментов и агентских сценариев. Модель работает только в non-thinking режиме и не формирует блоки <think></think>. Модель содержит около 4 млрд параметров, из них 3,6 млрд без учёта эмбеддингов, имеет 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для запросов и 8 для ключей и значений. Нативная длина контекста составляет 262 144 токена. Заявлены улучшения в многоязычном понимании, покрытии редких знаний, следовании инструкциям, открытой генерации и использовании инструментов. Это текстовая модель без заявленной поддержки изображений или других модальностей; конкретный набор языков в README не указан. Сильные стороны модели — большой контекст, улучшенные показатели в рассуждениях, кодировании, следовании инструкциям, творческом письме, многоязычных задачах и вызове инструментов при сравнительно небольшом размере. Ограничения включают работу только в non-thinking режиме, возможные требования к памяти при использовании длинного контекста и отсутствие в README подробных характеристик самой AWQ-квантизации, точных требований к оборудованию и результатов для всех практических сценариев. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen3.8-27B-GGUF — это GGUF-сборка модели Qwen3.8-27B из открытого семейства Qwen, разработанного командой Qwen. Веса и конфигурация подготовлены с использованием llama.cpp; модель предназначена для локального запуска и интеграции с совместимыми инструментами вывода. Модель представляет собой плотную каузальную языковую модель с vision-энкодером на 27 млрд параметров. Она поддерживает понимание текста, изображений и видео, включая документы, STEM-диаграммы и длительные видеоматериалы. Заявленные сценарии включают программирование, профессиональную работу, исследовательские задачи и многошаговые агентные процессы. Доступны режим рассуждений, его отключение и настройка глубины через reasoning_effort; контекст сохраняется с помощью preserve_thinking. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 000 000 токенов. Архитектура включает 64 слоя, Gated DeltaNet, Gated Attention и Multi-Token Prediction. Сильными сторонами являются мультимодальность, обработка длинного контекста, планирование и выполнение сложных последовательностей действий. Ограничения конкретной GGUF-сборки, включая требования к памяти и доступные варианты квантования, в предоставленных данных не указаны. Лицензия модели — Apache-2.0.

Qwen-72B-Chat — диалоговая языковая модель Alibaba Cloud, созданная на основе Qwen-72B с применением методов выравнивания. Это плотная Transformer-модель семейства Qwen с 119,4 млрд параметров и контекстом до 32 768 токенов; в репозитории представлены веса Safetensors. Модель предназначена для многошагового диалога и генерации текста по системным инструкциям. Она подходит для ответов на вопросы, ролевого общения и смены стиля, а также для рассуждений, перевода, математических задач и генерации кода. В описании заявлена поддержка китайского, английского и других языков; обучение включало веб-тексты, книги, код и математические данные. Для запуска в BF16/FP16 требуется не менее 144 ГБ видеопамяти, для Int4 — не менее 48 ГБ. В README приведены результаты бенчмарков, но они не гарантируют качество на конкретных пользовательских задачах. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

Xing4.0-29B-A4B-GGUF — большая языковая модель серии Xing, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это GGUF-представление модели Xing4.0-29B-A4B с квантованием смешанной точности IQ4_NL; размер файла составляет около 18 ГБ, что позволяет запускать модель на одной пользовательской видеокарте. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, сложного рассуждения, программирования, инженерных задач, многошагового планирования, вызова инструментов и агентских сценариев. Она также подходит для дообучения под прикладные задачи, включая классификацию намерений, анализ таблиц, аудит договоров и ответы на вопросы по корпоративным знаниям. Заявлена совместимость с Transformers, vLLM, SGLang, KTransformers, LLaMA-Factory и MindFormers, а также с рядом агентских фреймворков. Архитектура включает MoE с 29 млрд общих параметров и 4 млрд активных параметров на токен, 40 слоёв, скрытый размер 3584, MLA-attention, 64 маршрутизируемых эксперта, 4 активных эксперта на токен и одного общего эксперта. Модель поддерживает контекст 256 тысяч токенов с возможностью расширения до 512 тысяч. Указана поддержка режима рассуждений, который можно включать или отключать при инференсе. README не сообщает полный список поддерживаемых языков и не описывает мультимодальные возможности, поэтому модель следует считать текстовой. Сильными сторонами являются большой контекст, высокая эффективность MoE при инференсе, ориентация на агентские и программные задачи, а также возможность локального запуска и доменной адаптации. Ограничения включают необходимость совместимого инференс-стека и значительный объём памяти; показатели бенчмарков приведены авторами README и могут зависеть от настроек оценки. Сведения о безопасности, фильтрации контента и конкретных языковых ограничениях не указаны.

Карточка модели crusoeai/DeepSeek-V4-Flash-BF16 на Hugging Face совпадает с карточкой RedHatAI/DeepSeek-V4-Flash-BF16, поэтому описание составлено по ней. RedHatAI/DeepSeek-V4-Flash-BF16 — версия модели DeepSeek-V4-Flash, опубликованная Red Hat AI. Это языковая модель архитектуры DeepSeek V4 для генерации текста; README описывает семейство как MoE, обученное на более чем 32 трлн токенов с последующей настройкой для разных областей и объединением навыков дистилляцией. Модель предназначена для диалогов, рассуждений, планирования, агентных сценариев и задач программирования. Для серии заявлен контекст до 1 048 576 токенов, а карточка репозитория указывает 10,7 млрд параметров. В README для Flash описаны режимы рассуждения от быстрых ответов до более глубокого анализа. Семейство использует гибридное внимание CSA/HCA для эффективной работы с длинным контекстом. Репозиторий использует библиотеку Transformers и формат safetensors; лицензия — MIT. README указывает, что в релизе нет Jinja-шаблона чата и для кодирования сообщений и разбора ответов предоставляются отдельные скрипты.

NVIDIA DeepSeek-V4-Flash-nvfp4-DSpark — это квантизированная версия DeepSeek-V4-Flash, разработанная с использованием NVIDIA Model Optimizer и объединённая в одном контрольном файле с официальным модулем спекулятивного декодирования DSpark от DeepSeek. Модель не является новой самостоятельной архитектурой и не принадлежит NVIDIA: NVIDIA подготовила сборку по требованиям сторонней модели DeepSeek. Лицензия — MIT. Модель предназначена для продвинутого рассуждения, агентных приложений, использования инструментов и решения сложных задач, включая математику, разработку программного обеспечения и корпоративных AI-ассистентов. Она принимает и генерирует текст, поддерживает многоходовые диалоги, системные инструкции, структурированный JSON, вызов функций и вывод рассуждений. Доступны режимы Non-think, Think High и Think Max, а максимальная длина контекста составляет 1 миллион токенов. Архитектура основана на Transformer и Mixture-of-Experts с гибридным вниманием, включающим Compressed Sparse Attention и Heavily Compressed Attention. Основная модель содержит 284 млрд параметров, из которых активируется 13 млрд. Модуль DSpark использует черновую модель с 21 млрд параметров, примерно 1 млрд из которых активируется; он предназначен для ускорения генерации за счёт спекулятивного декодирования, причём один контрольный файл может использоваться одновременно как целевая и черновая модель. Модель оптимизирована для NVIDIA GPU, прежде всего архитектуры Blackwell, и рассчитана на работу в Linux через vLLM с поддержкой DSpark. Квантизация NVFP4 снижает требования к вычислительным ресурсам, однако совместимость и производительность зависят от поддерживаемого оборудования и программного стека. Перед эксплуатацией необходимы тестирование на данных конкретного сценария и проверка безопасности и качества результатов.

NVIDIA DeepSeek-V4-Pro-nvfp4-DSpark — это квантизированная версия DeepSeek-V4-Pro, разработанная на базе моделей DeepSeek и собранная с использованием NVIDIA Model Optimizer. Модель не является новой базовой моделью NVIDIA: она представляет собой NVFP4-вариант DeepSeek-V4-Pro-NVFP4, объединённый с официальным модулем спекулятивного декодирования DSpark от DeepSeek в едином контрольном файле. Лицензия — MIT; модель заявлена для коммерческого и некоммерческого использования. Модель предназначена для генерации текста, сложного рассуждения, математических задач, программной инженерии, агентных приложений, вызова инструментов и корпоративных AI-ассистентов. Она поддерживает многоходовые диалоги, системные инструкции, структурированный JSON-вывод и function/tool calling. Доступны режимы Non-think для быстрой генерации, Think High для логического анализа и Think Max для наиболее глубокого рассуждения. Архитектура основана на Transformer и Mixture-of-Experts с гибридным вниманием. Основная модель содержит около 1,6 триллиона параметров, из которых примерно 49 миллиардов активируются при обработке запроса. Модуль DSpark использует черновую модель общим размером 82 миллиарда параметров и примерно 2,4 миллиардами активных параметров; размер блока черновой генерации составляет 5 токенов. Поддерживается текстовый ввод и вывод, а максимальная длина контекста достигает 1 миллиона токенов. Ключевое преимущество модели — сочетание крупной MoE-модели с NVFP4-квантизацией и спекулятивным декодированием DSpark, что ориентировано на ускорение инференса при сохранении возможностей исходной модели. Ограничения связаны с требованиями к инфраструктуре: модель рассчитана на NVIDIA GPU архитектуры Blackwell, интегрируется с vLLM через DSpark и рекомендуется для Linux. Перед эксплуатацией необходимы тестирование на прикладных данных и проверка безопасности; сведения о поддерживаемых языках в карточке явно не указаны.

Dolphin-2.9.3-Yi-1.5-34B-32k-GGUF — это квантизированная GGUF-версия текстовой генеративной модели dolphin-2.9.3-Yi-1.5-34B-32k. Базовая модель — 01-ai/Yi-1.5-34B-32k, исходная модель опубликована cognitivecomputations, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, следования инструкциям, генерации и анализа текста, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы данных Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Поддерживается шаблон сообщений ChatML с ролями system, user и assistant. Модель имеет 34 миллиарда параметров и заявленный контекст до 32 тысяч токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; поддерживаемые языки в README не указаны. Доступно множество вариантов квантизации от Q8_0 и Q6_K до Q3 и IQ3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Более низкие варианты требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты обозначены как экспериментальные. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется совместимый стек llama.cpp или другое программное обеспечение, поддерживающее формат GGUF и соответствующие схемы квантизации.

Это мультимодальная инструктивная модель Gemma 4 E2B IT с весами, полученными из конвейера обучения с учётом квантования (QAT). Её разработала Google DeepMind; репозиторий опубликован Unsloth. Вариант Q4_0 содержит веса половинной точности, извлечённые из QAT-конвейера, и предназначен для последующей компиляции и исследовательской работы; это не готовая квантованная сборка GGUF. Модель принимает текст и изображения и выдаёт текст. Она подходит для диалога, рассуждений, программирования, анализа изображений и документов, включая OCR, а также для вызова инструментов. Семейство Gemma 4 поддерживает длинный контекст: для E2B заявлено до 128K токенов, а семейство обучалось на более чем 140 языках. В README аудиовозможности указаны для E2B, однако входная модальность видео для данного репозитория отдельно не подтверждена. QAT нацелен на сохранение качества, близкого к bfloat16, при снижении требований к памяти в соответствующих квантованных вариантах. Этот репозиторий предоставляет извлечённые полутонные веса для пользовательской компиляции, поэтому сам по себе не гарантирует компактный запуск без дополнительной обработки. Лицензия — Apache 2.0.

RadixArk/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash-BF16 от Z.ai, подготовленная RadixArk. Это производный чекпойнт без дополнительного обучения или дообучения, созданный с помощью NVIDIA Model Optimizer 0.46.0. Модель предназначена для агентной разработки, программирования, рассуждений с длинным контекстом, работы с инструментами, диалогов и других приложений на базе ИИ. Модель использует гибридную архитектуру Transformer со sparse Mixture-of-Experts: 320 млрд параметров всего и около 18 млрд активных на токен. Архитектура включает 45 слоёв, 42 MoE-слоя с 288 маршрутизируемыми экспертами, общим экспертом, KDA linear attention, DSA sparse attention, MLA, vision encoder и механизмом MTP/NextN. Она принимает текст, изображения и видео, выдаёт текст, поддерживает английский и китайский языки и контекст до 1 048 576 токенов. Ключевая особенность чекпойнта — смешанная NVFP4 W4A4-квантизация с group size 16 и нормализацией tensor-scale 256. Большинство MLP-тензоров экспертов квантизировано, тогда как компоненты внимания, vision tower, маршрутизаторы, нормализация, эмбеддинги, языковая голова и другие критичные компоненты сохранены в исходной точности. Это снижает требования к памяти и делает модель пригодной для эффективного развёртывания, но требует совместимой инфраструктуры. Заявлена проверка на NVIDIA Blackwell, включая конфигурацию из четырёх GB300; основной runtime — SGLang под Linux. Для KV-кэша поддерживаются FP8 и BF16 варианты. Модель распространяется по лицензии MIT. Для запуска рекомендованы официальный образ SGLang GLM-5.3-Flash и конфигурация на четырёх GPU. RadixArk не является разработчиком исходной модели, поэтому сведения о её обучении, исходных возможностях и условиях использования следует уточнять в карточке GLM-5.3-Flash-BF16 от Z.ai.

gpt-oss-120b — открытая по весам языковая модель OpenAI для генерации текста, задач, требующих сложного рассуждения, и агентских сценариев. Она ориентирована на универсальное применение в продуктивных системах и разработке, включая вызов функций, веб-браузинг, выполнение Python-кода и Structured Outputs. Модель доступна через Transformers, vLLM, PyTorch/Triton, Ollama и LM Studio. Модель использует архитектуру Mixture-of-Experts: содержит 117 млрд параметров, из которых 5,1 млрд активируются при обработке запроса. Она оптимизирована с помощью MXFP4-квантизации весов MoE и рассчитана на запуск на одной GPU с 80 ГБ памяти, например NVIDIA H100 или AMD MI300X. Доступен настраиваемый уровень рассуждения — низкий, средний или высокий; заявлена возможность fine-tuning. Модель обучена с использованием формата ответов harmony и, согласно README, корректно работает только при его применении. К сильным сторонам относятся высокая вычислительная мощность для рассуждений, поддержка агентских инструментов, открытая настройка и возможность коммерческого использования. Ограничение — значительные требования к аппаратным ресурсам и обязательное соблюдение формата harmony. README не указывает поддерживаемые языки, длину контекста и результаты конкретных оценок. Распространение осуществляется по лицензии Apache 2.0.

Granite-4.2-3B (MXFP4) — квантизированная версия Granite-4.2-3B, разработанная командой Granite компании IBM. Это компактная авторегрессионная языковая модель для генерации текста, рассуждений, программирования, вызова инструментов, агентских рабочих процессов и многоязычного диалога. Базовая модель имеет архитектуру decoder-only Dense Transformer с 3 млрд параметров, Grouped Query Attention, 40 attention heads и 8 KV heads, RoPE, SwiGLU и RMSNorm. Она поддерживает текстовую модальность, встроенный режим рассуждений с тегами <think>...</think>, режимы полного, отключённого и облегчённого рассуждения, а также контекст длиной 128K токенов с заявленным расширением до 512K. Тестирование проводилось для английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; работа с другими языками полностью не проверялась. Сильные стороны модели — компактный размер, поддержка длинного контекста, reasoning, tool calling и сценариев автоматизации, а также возможность выбирать баланс между качеством рассуждений и задержкой. MXFP4 уменьшает требования к хранению и инференсу по сравнению с полноформатной версией, но конкретные аппаратные требования и влияние квантизации на качество зависят от среды. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

unsloth/Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия инструкционной модели Llama 3.1 8B, разработанной Meta и подготовленной в формате bnb-4bit сообществом Unsloth. Модель предназначена для многоязычного диалога, генерации текста и кода, выполнения инструкций, а также последующего дообучения, включая сценарии с GRPO и созданием reasoning-моделей. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 8 млрд параметров, поддержкой Grouped Query Attention и контекстом до 128 тысяч токенов. Она работает только с текстом на входе и генерирует многоязычный текст и код. Базовая инструкционная версия обучалась с использованием supervised fine-tuning и reinforcement learning from human feedback; заявленный срез знаний — декабрь 2023 года. README указывает английский язык, а описание Llama 3.1 заявляет многоязычную поддержку. Ключевое преимущество варианта — 4-битное квантование, снижающее требования к памяти и облегчающее локальный запуск и дообучение по сравнению с полноразмерными весами. Ограничения включают возможное снижение качества из-за квантования, текстовую модальность и отсутствие в README подробных сведений о точной процедуре квантования и измерениях качества именно этой сборки. Использование регулируется лицензией Llama 3.1.

Mistral Large 2407 — флагманская языковая модель Mistral AI, выпущенная в июле 2024 года. Это модель с доступными весами, но проприетарными условиями использования. Модель предназначена для диалога, рассуждений, работы с кодом и генерации JSON и может использоваться как универсальный помощник для этих задач. В карточке указано, что модель хорошо справляется с перечисленными сценариями, однако подробности об архитектуре, размере и контексте здесь не приведены. Лицензия и конкретные условия использования в доступном описании не раскрыты; перед применением следует свериться с условиями Mistral AI.

Карточка модели Darth-Coder/my-model3-14b-it на Hugging Face совпадает с карточкой Qwen/Qwen3-14B, поэтому описание составлено по ней. Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.

Qwen3.8-27B-GGUF — мультимодальная модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF пользователем prithivMLmods. Это плотная causal language model на 27 млрд параметров с собственным vision encoder, предназначенная для генерации и понимания текста, анализа изображений и видео, визуального вопросно-ответного взаимодействия, OCR, описания изображений и видео, понимания документов, визуального рассуждения, а также агентных задач, включая написание кода и взаимодействие с компьютером, браузером и мобильными устройствами. Модель использует 64-слойную гибридную архитектуру с блоками линейного внимания Gated DeltaNet и периодическими слоями Gated Attention, обучалась с Multi-Token Prediction и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 млн токенов через YaRN. Указаны языки English и Chinese. Доступны варианты GGUF с точностями от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 10,9 до 54,7 ГБ, что позволяет выбирать компромисс между качеством и требованиями к ресурсам. Формат MTP GGUF интегрирует дополнительные выходные головы для ускорения инференса посредством предсказания нескольких будущих токенов за один проход. Сильными сторонами заявлены мультимодальность, большой контекст, поддержка управляемого уровня рассуждений через параметр reasoning_effort и высокая эффективность в задачах агентного программирования, computer-use и мультимодального использования инструментов. Ограничениями являются значительные требования к памяти, особенно для BF16 и F16, а также зависимость возможностей от выбранной квантизации и совместимого программного обеспечения. Модель совместима с Hugging Face Transformers, vLLM, SGLang, TokenSpeed и llama.cpp. Распространяется по лицензии Apache-2.0.