II.7DevOps, облако и эксплуатация IT-систем

Mistral-Medium-3.5-128B-NVFP4 — квантизированная в формате NVFP4 версия Mistral Medium 3.5 128B, разработанная Mistral AI и оптимизированная NVIDIA с помощью Model Optimizer v0.44.0. NVIDIA не является разработчиком исходной модели. Это плотная Transformer-модель Mistral со 128 млрд параметров и визуальным энкодером, предназначенная для генерации текста, диалогов, программирования, сложных рассуждений, работы с изображениями и агентных сценариев. Модель принимает текст и изображения RGB с переменными размерами и соотношениями сторон, поддерживает контекст до 262 144 токенов и генерирует текст. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Доступны вызов функций, JSON-вывод, настраиваемая интенсивность рассуждений и следование системным инструкциям. Модель рассчитана на использование с vLLM на NVIDIA GPU архитектуры Blackwell и в Linux. Сильные стороны — единые веса для задач следования инструкциям, рассуждений и кодирования, длинный контекст, мультимодальное понимание изображений и поддержка структурированного и агентного взаимодействия. Ограничения включают отсутствие раскрытых сведений о тренировочных данных и необходимость дополнительного тестирования на данных конкретного применения для оценки качества, безопасности и соответствия требованиям. Модель готова к коммерческому и некоммерческому использованию; применяются условия Modified MIT license Mistral, а для развёртывания и настройки рекомендуется связаться с Mistral.

GigaChat 3.1 Ultra — крупная инструктивная языковая модель семейства GigaChat, представленная в репозитории ai-sage. Она предназначена для многоязычных диалогов, рассуждений, программирования и вызова инструментов. Архитектура — MoE с 702 млрд параметров всего и 36 млрд активных при генерации; модель использует Multi-head Latent Attention и Multi-Token Prediction. По README, версия рассчитана на развёртывание на крупных вычислительных кластерах и локальную инфраструктуру. В метаданных указаны архитектура DeepSeek V3, формат safetensors, контекст 262 144 токена и поддержка русского и английского языков. Модель подходит для диалогового помощника, решения сложных задач, генерации кода и агентных сценариев с исполняемыми вызовами инструментов. README описывает усиленную подготовку данных по математике, финансам, естественным наукам, инженерии и медицине, а также улучшения для поиска с цитированием и работы с файлами. Репозиторий лицензирован по MIT. Для запуска требуются значительные вычислительные ресурсы; конкретные показатели качества зависят от сценария и приведённых в карточке оценок.

Llama-3_3-Nemotron-Super-49B-v1_5-GGUF — это GGUF-версия большой языковой модели Llama-3.3-Nemotron-Super-49B-v1.5, разработанной NVIDIA на основе Meta Llama-3.3-70B-Instruct и оптимизированной с применением Neural Architecture Search. Модель предназначена для генерации текста, рассуждений, диалогов, выполнения инструкций и агентских сценариев, включая RAG и вызов инструментов. В репозитории представлены файлы в формате GGUF, созданные с использованием llama.cpp; применён подход с повышением точности отдельных важных слоёв при квантовании, что должно улучшать точность на заданном уровне квантования за счёт увеличения размера файлов. Модель имеет архитектуру плотного decoder-only Transformer, относится к классу примерно 49B параметров и поддерживает контекст до 128K токенов. Она дообучалась для задач математики, программирования, науки, общения, рассуждений и tool calling. В карточке явно указан английский язык. Сильными сторонами заявлены баланс точности и эффективности, уменьшенный объём памяти и пригодность для развёртывания на одной GPU H200 при высоких нагрузках. Ограничения включают зависимость характеристик от выбранного уровня квантования и отсутствие в предоставленных данных подробных результатов тестирования конкретных GGUF-файлов. Использование регулируется NVIDIA Open Model License и дополнительными условиями Llama 3.3 Community License; модель заявлена как доступная для коммерческого использования.

unsloth/Qwen2.5-7B-Instruct — инструктивная языковая модель семейства Qwen2.5, опубликованная Unsloth как производная от Qwen/Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель с 7,1 млрд параметров; карточка указывает архитектуру Qwen2 и поддержку Transformers, а README описывает 28 слоёв, RoPE, SwiGLU, RMSNorm и механизм группового внимания GQA. Метаданные указывают контекст 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Она подходит для ответов на вопросы, написания и анализа кода, математических задач, создания длинных текстов и выдачи структурированных ответов, включая JSON. Поддерживает английский, русский, китайский и ряд других языков; заявлена поддержка более 29 языков. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. README описывает возможность работы с более длинным контекстом через YaRN, но отмечает, что статическое масштабирование может ухудшить качество или производительность на коротких запросах. Модель выпущена под лицензией Apache-2.0.

Qwen3-4B-GGUF — квантизированная версия языковой модели Qwen3-4B, разработанная командой Qwen компании Alibaba Cloud. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель поддерживает более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и включает 36 слоёв. Используется Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов; с применением RoPE-масштабирования YaRN заявлена поддержка до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF, ориентированные на локальный запуск, в частности через llama.cpp и Ollama. Ключевая особенность Qwen3 — переключение между режимами thinking для сложных задач рассуждения и non-thinking для более эффективного общего диалога в рамках одной модели. Модель также заявлена как пригодная для агентских задач и интеграции с внешними инструментами. Ограничения включают возможное снижение качества на коротких текстах при использовании статического YaRN, а для квантизированных вариантов рекомендуется настраивать presence penalty для уменьшения повторов. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-GGUF — квантизированная версия причинной языковой модели Qwen3-4B, разработанная командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, творческого письма, ролевого взаимодействия, программирования, математического и логического рассуждения, перевода, а также сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к эмбеддингам, и включает 36 слоёв. Она использует Grouped-Query Attention с 32 головами запросов и 8 головами ключей и значений. Поддерживаются режимы thinking для сложных задач рассуждения и non-thinking для более быстрых ответов; между ними можно переключаться в рамках одного диалога. Модель поддерживает более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов, а с масштабированием YaRN заявлена поддержка до 131 072 токенов. Основные преимущества — сочетание рассуждения, диалоговых и агентных возможностей, мультиязычность и возможность локального запуска через llama.cpp или Ollama. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что позволяет выбирать компромисс между качеством, размером и скоростью. При использовании YaRN производительность на коротких текстах может снижаться, поэтому масштабирование рекомендуется включать только для длинного контекста; для thinking-режима также не рекомендуется жадное декодирование из-за риска деградации качества и повторов. Модель распространяется по лицензии Apache-2.0.

RedHatAI/DeepSeek-V4-Flash-BF16 — версия модели DeepSeek-V4-Flash, опубликованная Red Hat AI. Это языковая модель архитектуры DeepSeek V4 для генерации текста; README описывает семейство как MoE, обученное на более чем 32 трлн токенов с последующей настройкой для разных областей и объединением навыков дистилляцией. Модель предназначена для диалогов, рассуждений, планирования, агентных сценариев и задач программирования. Для серии заявлен контекст до 1 048 576 токенов, а карточка репозитория указывает 10,7 млрд параметров. В README для Flash описаны режимы рассуждения от быстрых ответов до более глубокого анализа. Семейство использует гибридное внимание CSA/HCA для эффективной работы с длинным контекстом. Репозиторий использует библиотеку Transformers и формат safetensors; лицензия — MIT. README указывает, что в релизе нет Jinja-шаблона чата и для кодирования сообщений и разбора ответов предоставляются отдельные скрипты.

google/gemma-4-26B-A4B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она принимает текстовые и графические данные и генерирует текст; аудио для этой версии не заявлено. Модель предназначена для диалогов, генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель относится к варианту Gemma 4 26B A4B и поставляется в формате GGUF с квантизацией Q4_0, выполненной с применением Quantization-Aware Training. Такой подход рассчитан на снижение требований к памяти при сохранении качества, близкого к версии bfloat16. Семейство поддерживает контекст до 256K токенов, более 140 языков, настраиваемые режимы рассуждений, системные промпты и гибридный механизм внимания с локальным скользящим и глобальным вниманием. Формат GGUF ориентирован на совместимость с широким кругом инструментов локального запуска. Сильными сторонами являются сочетание мультимодальности, длинного контекста, возможностей рассуждения и программирования с уменьшенными требованиями к памяти благодаря QAT-квантизации. Ограничения связаны с тем, что это квантизированная версия, поэтому результаты могут отличаться от полноточных вариантов, а для эффективного запуска всё равно требуется значительный объём памяти. Модель распространяется по лицензии Apache 2.0.

K2-Horizon-7B — плотная авторегрессионная языковая модель семейства K2-Horizon от IFM, предназначенная для генерации текста и диалогового взаимодействия. Модель имеет около 8 млрд параметров и поддерживает контекст до 524 288 токенов; карточка описывает её как 7B-core модель с окном контекста 512K. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель рассчитана на сценарии рассуждений, программирования, работы с длинным контекстом и агентных задач; README приводит результаты оценки на соответствующих бенчмарках и описывает обучение для снижения повторяющихся циклов в длинных генерациях. Доступны промежуточные контрольные точки для изучения изменений возможностей в ходе обучения, а обучающие данные, код и материалы оценки заявлены как открытые. Метаданные указывают английский язык карточки, но это не гарантирует, что модель поддерживает только английский.

unsloth/Kimi-K2-Instruct-BF16 — версия модели Kimi K2 Instruct, опубликованная Unsloth на Hugging Face и основанная на дообученной Moonshot AI модели moonshotai/Kimi-K2-Instruct. Это разговорная языковая модель с архитектурой семейства DeepSeek V3; README описывает исходную Kimi K2 как смесь экспертов с 1 трлн параметров и 32 млрд активируемых параметров, а метаданные этой версии указывают 37,9 млрд параметров. Модель предназначена для общих диалогов, рассуждений, программирования и работы с инструментами в агентных сценариях. Она принимает текст и генерирует текст; контекст составляет до 131 072 токенов. Карточка отмечает исправления шаблона чата и интерфейс вызова инструментов. Репозиторий использует safetensors и библиотеку Transformers. Лицензия указана как other, поэтому конкретные условия следует проверять в материалах репозитория и базовой модели.

WhiskyAKM/Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор моделей в формате GGUF, созданный на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 и разработанный NVIDIA Corporation. Файлы были конвертированы и квантизированы с помощью llama.cpp и предназначены для локального запуска и генерации текста, включая программирование, рассуждения, задачи общего назначения и агентские сценарии. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE, а также отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно используется около 3 млрд. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки, а также языки программирования. Заявлена длина контекста до 1 млн токенов при нативном значении по умолчанию 256 тыс. токенов. Доступны режимы рассуждения с включением и отключением через chat template, а также методы ускорения генерации DSpark, DFlash и MTP. Сильными сторонами модели являются высокая вычислительная эффективность MoE-архитектуры, поддержка длинного контекста, многоязычность и несколько вариантов квантизации — от BF16 до 4-битных форматов. Качество, скорость и требования к памяти зависят от выбранного файла; более компактные варианты экономичнее, но могут уступать полноточной версии по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Распространение и коммерческое использование регулируются лицензией OpenMDW License Agreement версии 1.1.

Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалогов, рассуждений и построения агентных систем. Она содержит 550 млрд параметров, из которых 55 млрд активны при вычислении, и использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2, Mixture-of-Experts и Attention, а также Multi-Token Prediction. Модель распространяется в формате safetensors и рассчитана на контекст до 1 млн токенов. Модель предназначена для сложных многошаговых сценариев: работы AI-агентов, анализа больших документов и кодовых баз, ответов на вопросы, а также задач по коду, математике и науке. Она поддерживает английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, португальский и китайский языки; метаданные также указывают арабский и иврит. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; лицензия обозначена как other, поэтому перед внедрением следует ознакомиться с условиями в карточке модели. Это крупный checkpoint, для которого руководство рекомендует многосерверное развертывание на подходящем оборудовании NVIDIA.

Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

Qwen3-4B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалогов, следования инструкциям, рассуждений, генерации кода, творческого письма, многоязычных задач и работы с инструментами. В модели около 3,7 млрд параметров по метаданным; она использует архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов по метаданным. README описывает переключение между режимами рассуждения и обычного диалога, а также поддержку более 100 языков и диалектов. Модель обучена на базе Qwen/Qwen3-4B-Base и распространяется в формате safetensors для библиотеки Transformers. Лицензия — Apache 2.0. Карточка предупреждает о возможных бесконечных повторах при генерации и рекомендует настраивать параметры сэмплирования.

Step 3.7 Flash — мультимодальная vision-language модель, разработанная StepFun. Она предназначена для высокочастотных производственных нагрузок и агентных сценариев, объединяющих восприятие изображений, поиск, проверку информации, рассуждения и взаимодействие с инструментами. Модель подходит для анализа больших финансовых отчётов, многошагового поиска с верификацией по нескольким источникам, параллельной работы coding-агентов, обработки пользовательских интерфейсов, диаграмм и других визуальных материалов. Модель построена на разреженной архитектуре Mixture-of-Experts (MoE) и содержит около 198 млрд параметров: примерно 196 млрд приходятся на языковую часть и 1,8 млрд — на vision encoder. На каждый токен активируется около 11 млрд параметров. Поддерживается контекст длиной до 256 тысяч токенов, изображения и текст, а также три уровня рассуждения — low, medium и high, позволяющие выбирать баланс между скоростью, стоимостью и глубиной анализа. В README указан английский язык; заявленная мультимодальность обеспечивает понимание изображений, визуальное заземление, анализ интерфейсов и преобразование визуальных данных в структурированный код. Сильные стороны модели — высокая пропускная способность до 400 токенов в секунду, работа с длинным контекстом, устойчивое выполнение многошаговых агентных процессов, использование внешних API, визуальная проверка данных и задачи программной инженерии. Ограничения включают очень большой общий размер модели и, как следствие, высокие требования к инфраструктуре при локальном развёртывании; заявленные результаты также зависят от конкретных бенчмарков и сценариев. Модель распространяется по лицензии Apache-2.0 и поддерживает Transformers, vLLM, SGLang и llama.cpp; доступна через StepFun Open Platform, OpenRouter и NVIDIA NIM, а также может развёртываться в облачных, дата-центровых и локальных средах.

Apodex-1.1-mini-FP8 — reasoning-first языковая модель, разработанная Apodex AI. Она предназначена для сложных долгосрочных исследовательских и агентских задач, требующих не только генерации текста, но и работы с файлами, данными, таблицами, изображениями, кодом и внешними инструментами. Модель может декомпозировать задачу, координировать параллельных субагентов, поддерживать общее состояние работы, адаптировать план по ходу выполнения и формировать проверяемые результаты. Модель относится к текстогенерационным моделям, совместима с chat template Qwen3.5 и поддерживает нативный function calling, а также выдачу рассуждений. Указаны языки English и Chinese. Для развёртывания рекомендуется SGLang с OpenAI-совместимым API; заявленная длина контекста составляет до 262144 токенов, максимальная длина генерации в рекомендуемых настройках — 32768 токенов. Суффикс FP8 указывает на используемый формат представления модели, однако точный размер и архитектура в README не указаны. Сильные стороны модели — выполнение многоэтапных задач в реальных средах, работа с инструментами и встроенная проверка утверждений по источникам, данным и вычислениям. В README приведены высокие результаты на ряде тестов, включая FrontierFinance и FrontierScience-Research, но применимость этих результатов к конкретным задачам может различаться. Ограничения включают отсутствие подробных сведений о точной архитектуре, количестве параметров, поддерживаемых аппаратных конфигурациях и полном наборе модальностей. Модель распространяется по лицензии Apache 2.0.

cyankiwi/gemma-4-31B-it-AWQ-8bit — квантизированная 8-битная версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind. Модель предназначена для генерации текста, программирования, рассуждений, агентных сценариев и мультимодального анализа изображений с выдачей текстового ответа. Модель использует плотную архитектуру Dense с 30,7 млрд параметров, 60 слоями, гибридным вниманием с локальными скользящими окнами и глобальным вниманием, а также контекстным окном до 256K токенов. Поддерживаются текст и изображения; заявлена работа более чем со 140 языками. Среди возможностей — настраиваемые режимы рассуждений, native function calling и поддержка системных сообщений. Версия AWQ-8bit ориентирована на более экономичное по памяти развертывание, однако README не содержит точных требований к оборудованию и сведений о влиянии квантизации на качество. Сильными сторонами являются большой контекст, мультимодальность, улучшенные возможности кодирования и рассуждений, а также пригодность для сложных длинноконтекстных задач. Ограничения включают отсутствие аудиоподдержки у варианта 31B и высокие вычислительные требования по сравнению с меньшими моделями. Модель распространяется по лицензии Apache 2.0.

pitcany/gpt-oss-120b — зеркало модели открытых весов gpt-oss-120b, разработанной OpenAI. Это языковая модель с архитектурой MoE для диалога, задач рассуждения и разработки; она поддерживает вызов инструментов, включая функции, веб-поиск и исполнение Python, при соответствующей настройке. Для корректной работы модель следует использовать с форматом диалога Harmony. Усилие рассуждения можно настраивать на низкий, средний или высокий уровень. В карточке указано 117 млрд параметров и 5,1 млрд активных параметров; метаданные репозитория указывают 2,1 млрд параметров, поэтому размер в источниках расходится. Контекстное окно — 131 072 токена. Репозиторий содержит формат GGUF; исходная модель описана как использующая квантизацию MXFP4 для весов MoE. Лицензия — Apache-2.0, допускающая коммерческое применение. Модель общего назначения; явные ограничения по языкам в предоставленных данных не описаны.

unsloth/Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционной модели Llama 3.1 8B, разработанной Meta и подготовленной для распространения Unsloth. Модель предназначена для многоязычного диалога, генерации текста и кода, выполнения инструкций, а также локального запуска и последующей тонкой настройки. README также указывает на сценарии дообучения, включая создание reasoning-моделей с использованием GRPO. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 миллиардами параметров и поддержкой Grouped-Query Attention. Она работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Контекстное окно составляет до 128 тысяч токенов, обучающие данные включают более 15 триллионов токенов из общедоступных онлайн-источников, дата отсечения знаний — декабрь 2023 года. Инструкционная версия использует supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Ключевое преимущество этой сборки — 4-битное представление, снижающее требования к памяти и подходящее для эффективного локального инференса и дообучения. Ограничения включают текстовую модальность, возможные ошибки и ограничения базовой языковой модели, а также устаревание знаний после декабря 2023 года. Для использования применяется лицензия Llama 3.1; её условия необходимо соблюдать при распространении и эксплуатации модели.

Карточка модели Karmation/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

NVIDIA Nemotron Nano 9B v2 — языковая модель NVIDIA для диалогов, следования инструкциям и задач с рассуждением. Она генерирует текстовый ответ и позволяет управлять режимом и бюджетом рассуждения. Архитектура Nemotron-Hybrid сочетает Mamba-2 и MLP-блоки с четырьмя слоями Attention; заявленная длина контекста — до 128 тыс. токенов. Модель рассчитана на чат-боты, RAG-системы и агентные приложения, а также на программирование и типовые задачи по инструкциям. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский; в README также перечислены русский, корейский, португальский и китайский. Она принимает и выдаёт текст. В карточке указана коммерческая применимость, но метаданные обозначают лицензию как other, поэтому точные условия следует проверять в файлах лицензии репозитория. Для корректного вывода при запуске через vLLM README рекомендует тип кэша Mamba SSM float32; без него качество может снижаться.

cyankiwi/NVIDIA-Nemotron-Nano-9B-v2-AWQ-4bit — четырёхбитная AWQ-квантизованная версия NVIDIA-Nemotron-Nano-9B-v2, разработанная NVIDIA Corporation. Это текстовая большая языковая модель общего назначения, предназначенная для диалогов, следования инструкциям, генерации текста и кода, рассуждений, создания чат-ботов, RAG-систем, AI-агентов и других приложений на основе ИИ. Модель использует гибридную архитектуру Nemotron-Hybrid, сочетающую преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Она поддерживает управляемый бюджет рассуждений: разрешение промежуточного reasoning обычно повышает качество на сложных задачах, но увеличивает расход токенов; отключение reasoning сокращает вывод с некоторым снижением точности. Модель принимает и генерирует текст, поддерживает контекст до 128K токенов. В README заявлена поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе параметров ввода также перечислены китайский, корейский, португальский и русский. Модель обучалась с использованием Megatron-LM и NeMo-RL, а её данные имеют отсечку сентября 2024 года. К сильным сторонам относятся сочетание возможностей рассуждения и обычного диалогового режима, большой контекст, поддержка управления бюджетом «мышления» и оптимизация для NVIDIA GPU. Ограничения включают текстовую модальность, зависимость от GPU-ускоренной инфраструктуры и потенциальное снижение качества при отключении reasoning или слишком малом бюджете рассуждений. Для запуска указаны Linux, Transformers и совместимость с NVIDIA A10G, A100 и H100-80GB; также заявлен runtime NeMo 25.07.nemotron-nano-v2. Использование регулируется NVIDIA Open Model License Agreement; для trial-сервиса дополнительно указаны NVIDIA API Trial Terms of Service.

Карточка модели Gensyn/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой unsloth/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. unsloth/Qwen2.5-7B-Instruct — инструктивная языковая модель семейства Qwen2.5, опубликованная Unsloth как производная от Qwen/Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель с 7,1 млрд параметров; карточка указывает архитектуру Qwen2 и поддержку Transformers, а README описывает 28 слоёв, RoPE, SwiGLU, RMSNorm и механизм группового внимания GQA. Метаданные указывают контекст 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Она подходит для ответов на вопросы, написания и анализа кода, математических задач, создания длинных текстов и выдачи структурированных ответов, включая JSON. Поддерживает английский, русский, китайский и ряд других языков; заявлена поддержка более 29 языков. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. README описывает возможность работы с более длинным контекстом через YaRN, но отмечает, что статическое масштабирование может ухудшить качество или производительность на коротких запросах. Модель выпущена под лицензией Apache-2.0.

Qwen2-72B-Instruct — большая языковая модель с настройкой для следования инструкциям и диалогов, разработанная командой Qwen. Это плотная decoder-only модель на архитектуре Transformer Qwen2 с 71,5 млрд параметров; в ней используются активация SwiGLU, смещение в проекциях внимания QKV и групповое внимание запросов. Модель принимает текст и формирует текстовые ответы, поддерживает чатовый режим и несколько естественных языков, а также код. Модель предназначена для диалоговых помощников, генерации и понимания текста, ответов на вопросы, рассуждений, математических задач и программирования. Метаданные указывают контекст 32 768 токенов; в README описано расширение до 131 072 токенов с помощью YARN, которое требует соответствующей настройки. Для длинных контекстов авторы отмечают возможное снижение качества на коротких запросах при статическом масштабировании YARN. Модель является дообученной версией Qwen/Qwen2-72B. В репозитории указана лицензия other, поэтому конкретные условия использования следует сверять с файлами лицензии модели. Для запуска рекомендуется Transformers версии 4.37.0 или новее; README также рекомендует vLLM для развёртывания.

Qwen2-72B-Instruct-GGUF — крупная языковая модель с 72 миллиардами параметров, разработанная командой Qwen. Это instruction-tuned версия Qwen2, предназначенная для диалогов, генерации и понимания текста, многоязычных задач, программирования, математики и рассуждений. Модель относится к семейству decoder-only языковых моделей и распространяется в формате GGUF для запуска с помощью llama.cpp. Модель построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-внимании и group query attention. В README указана улучшенная токенизация для нескольких естественных языков и языков программирования, однако точный список языков и размер контекстного окна не приведены. Доступны варианты квантования q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать компромисс между качеством, размером модели и требованиями к памяти. Поддерживается локальный запуск через llama.cpp и совместимый с OpenAI API сервер. К сильным сторонам относятся заявленная конкурентоспособность с проприетарными моделями и высокое качество на задачах понимания, генерации, многоязычности, кодинга, математики и рассуждений. Основные ограничения — очень большой размер, высокие требования к вычислительным ресурсам и возможная потеря качества при агрессивном квантовании. В метаданных указана лицензия other; конкретные условия использования в README не описаны.

ELVISIO/Qwen3-30B-A3B-Instruct-2507-AWQ — это квантизированная версия Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая рассуждения, понимание текста, математику, научные задачи, программирование, использование инструментов и работу с многоязычными запросами. Модель использует архитектуру причинной языковой модели MoE с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке токена. Она содержит 48 слоёв, 128 экспертов и активирует 8 экспертов; применяется GQA с 32 головами запросов и 4 ключей/значений. Нативная длина контекста составляет 262 144 токена. Это текстовая модель без мультимодальных возможностей, работающая только в non-thinking режиме и не формирующая блоки <think></think>. Основные сильные стороны — улучшенное следование инструкциям, качество открытой генерации, логическое и математическое рассуждение, программирование, использование инструментов, многоязычное понимание и обработка длинного контекста. Модель подвергнута AWQ int4-квантизации с использованием ms-swift, что снижает требования к памяти, но может сопровождаться некоторой потерей качества по сравнению с полной версией. README не содержит подробных сведений о языках, аппаратных требованиях и ограничениях производительности. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B v2 — это мультимодальная модель типа Mixture of Experts (MoE), разработанная oktayd на базе Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT. Модель распространяется в формате Ollama и предназначена для работы с текстом и изображениями, включая анализ скриншотов, документов, диаграмм и сцен. Модель ориентирована на диалог, объяснение научных и технических вопросов, рассуждения, программирование, отладку, создание контента, ролевые сценарии, tool calling и агентские рабочие процессы. Она также сфокусирована на бизнес-задачах, повседневной работе, визуальном вопросно-ответном взаимодействии, OCR и работе с документами. Заявлена поддержка различных стилей общения, включая прямой, неформальный и творческий; в обучении использовались многоязычные материалы, однако конкретный перечень языков не указан. Архитектура содержит около 35 миллиардов параметров, из которых примерно 3 миллиарда активируются для каждого токена; маршрутизация выбирает 8 из 256 экспертов. Это снижает вычислительную нагрузку по сравнению с полным запуском всех параметров, но не уменьшает требования к хранению весов и доступной RAM или VRAM до уровня 3B-модели. Доступны разные варианты квантования и размеры GGUF, что упрощает локальный запуск. Ограничения включают возможность ошибок, повторов и неточных ответов; README не указывает размер контекста и точные языковые характеристики. Лицензия модели — Apache-2.0.

Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound-v2 — квантованная версия базовой модели Qwen3.8-27B, разработанная goldhub с использованием AutoRound. Модель предназначена для генерации текста, рассуждений, программирования, обработки длинного контекста, а также мультимодальных задач с изображениями и видео. Заявлена поддержка английского, китайского, русского, украинского, греческого и иврита. Модель содержит 27 млрд параметров и использует гибридную схему: основные веса представлены в INT4 W4A16 с group_size 32, а критически важные компоненты, включая механизмы linear attention Gated DeltaNet, визуальный модуль, embed_tokens и lm_head, сохранены в BF16 или FP16. Заявленный контекст составляет 256K токенов, при этом стабильная работа без дополнительной настройки указана для 32K+, а для 128K–256K требуется выгрузка KV-кэша. Поддерживаются входы image-text и video-text. Сильными сторонами являются сохранение возможностей рассуждения, работы с кодом, мультимодальности и длинным контекстом после 4-битного квантования, а также пригодность для развёртывания на потребительских и профессиональных GPU. Ограничения включают большой для INT4 объём около 26,4 ГБ, потребность минимум в 32 ГБ VRAM или в двух GPU по 24 ГБ, возможные ограничения KV-кэша и риск циклической генерации при высокой температуре. В README рекомендуется vLLM; SGLang также поддерживается, но заявлен как менее производительный вариант. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Spark-X2.5-4B — компактная универсальная языковая модель семейства Spark-X2.5, опубликованная пользователем qikuanz на базе XHToken/Spark-X2.5-4B-Base. Модель предназначена для диалогов, генерации и редактирования текста, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Она ориентирована на локальное и эффективное развертывание, включая работу через llama.cpp, vLLM, SGLang, MLX, Ollama и LM Studio. Модель содержит около 4 млрд параметров и использует гибридную архитектуру внимания: один слой полного внимания сочетается с тремя слоями внимания со скользящим окном. Заявлена нативная поддержка контекста до 1 048 576 токенов и более 200 языков. В репозитории доступны GGUF-квантизации Q4_0, Q4_K_M и Q8_0, подходящие для запуска на совместимом оборудовании; также заявлена интеграция с агентскими инструментами и широкая аппаратная совместимость. Сильными сторонами модели являются небольшие размеры, поддержка очень длинного контекста, многоязычность, задачи программирования и агентские рабочие процессы, а также наличие нескольких вариантов квантизации. Ограничения связаны с зависимостью фактического потребления памяти и доступного контекста от используемого runtime и оборудования: сами GGUF-файлы не гарантируют совместимость с NPU, ONNX или конкретными библиотеками. Модель и добавленные GGUF-файлы распространяются по лицензии Apache-2.0.