II.8Инженерия данных и аналитика

Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она предназначена для сложных многошаговых задач, анализа больших документов и кодовых баз, а также для работы с математическими и научными запросами. Модель подходит разработчикам чат-ботов, RAG-систем и AI-агентов. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture-of-Experts и Attention, а Multi-Token Prediction ускоряет генерацию. Всего в модели 550 млрд параметров, из которых 55 млрд активны; контекст достигает 1 млн токенов. Чекпойнт использует NVFP4 и рассчитан на высокую пропускную способность на современном оборудовании NVIDIA. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, бразильский португальский и китайский языки. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Для запуска требуются значительные вычислительные ресурсы и подходящая инфраструктура NVIDIA; в README рекомендована многосерверная конфигурация для развертывания на нескольких узлах.

Phi-3.5-mini-instruct — компактная языковая модель Microsoft из семейства Phi-3 для генерации текста и диалогов. Это плотная авторегрессионная модель на 3,7 млрд параметров, доступная в формате Safetensors и предназначенная для запуска в условиях ограниченных вычислительных ресурсов и низкой задержки. В README также описаны варианты с контекстом до 128 тыс. токенов; метаданные этой карточки указывают нативный контекст 4096 токенов, поэтому заявленную длину контекста для данного репозитория следует сверять с используемой конфигурацией. Модель дообучена следованием инструкциям и рассчитана на многоязычные диалоги, рассуждения, задачи по математике и логике, а также помощь с кодом. Её можно использовать как основу генеративных функций, для ответов на вопросы по длинным документам и их суммаризации. В карточке отмечены улучшения качества многоязычных многоходовых диалогов и рассуждений относительно Phi-3 Mini Instruct. Лицензия — MIT. Как и другие языковые модели, она может ошибаться и не оценивалась для всех возможных сценариев; перед применением в ответственных областях требуется проверка качества и безопасности. README также отмечает возможную уязвимость к длительным многоходовым jailbreak-атакам, в том числе на разных языках.

Qwen3 — семейство языковых моделей, разработанное и выпущенное командой Qwen. Модели предназначены для генерации текста, диалогов, следования инструкциям, сложного рассуждения, использования инструментов и агентских сценариев. Они могут применяться в исследовательских ассистентах, системах генерации кода, корпоративных чат-ботах и многошаговых многоходовых диалогах. В семейство входят варианты размером 0,6B, 1,7B, 4B, 8B, 14B, 32B и 30B-A3B; для них доступны различные квантованные версии в формате GGUF. Qwen3 поддерживает переключение между режимами с рассуждением и без рассуждения, длинный контекст и многоязычную работу. Конкретные параметры архитектуры, длина контекста и перечень языков в README не указаны. Модель относится к категории text-generation и распространяется по лицензии Apache 2.0. Конвертацию выполнила Menlo Research.

Qwen-SEA-LION-v4.5-27B-IT-FP8-Dynamic — динамически квантованная версия модели Qwen-SEA-LION-v4.5-27B-IT. Базовая модель разработана AI Products Pillar организации AI Singapore, а квантование выполнил toeniant с использованием llmcompressor и схемы FP8_DYNAMIC. Модель предназначена для мультиязычного понимания и генерации текста, рассуждений, программирования, агентских сценариев, работы с репозиториями и визуально-текстовых задач. Модель содержит около 27 млрд параметров и построена на плотной архитектуре Qwen3.6-27B с гибридным дизайном Linear Attention и Full Attention. Она оснащена vision encoder и поддерживает единое мультимодальное взаимодействие с текстом и изображениями. Контекстное окно составляет 262 тысячи токенов. Поддерживаются английский, бирманский, индонезийский, филиппинский, малайский, тамильский, тайский и вьетнамский языки. Квантирование per-tensor dynamic FP8 в формате w8a8 уменьшает размер примерно с 54,5 до 29,5 ГБ, при этом, согласно README, практически не снижает точность относительно BF16; для инференса рекомендуется vLLM версии 0.7 или выше с включённым FP8. К сильным сторонам относятся большой контекст, мультиязычная и мультимодальная обработка, настраиваемые режимы рассуждения и высокая эффективность по памяти благодаря FP8. Ограничения включают отсутствие специального safety-alignment, риск галлюцинаций и нерелевантных ответов; результаты необходимо проверять, а безопасность дополнительно настраивать самостоятельно. Модель распространяется по лицензии MIT.

NVIDIA DeepSeek-V4-Pro-0813-nvfp4-DSpark — это NVFP4-квантизированная версия языковой модели DeepSeek-V4-Pro-0813, разработанной DeepSeek AI и подготовленной с использованием NVIDIA Model Optimizer. NVIDIA указывает, что модель не является новой самостоятельной разработкой NVIDIA: это релиз на базе nvidia/DeepSeek-V4-Pro-0813-NVFP4 с дополнительно квантизированной головой DSpark для speculative decoding. Модель предназначена для коммерческого и некоммерческого использования. Модель представляет собой авторегрессионную Transformer-модель с архитектурой Mixture-of-Experts, гибридным вниманием Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общее число параметров составляет около 1,65 трлн, из которых активируется около 49 млрд. Модель работает с текстом на входе и выходе, поддерживает многоходовые диалоги, системные инструкции, структурированный JSON, вызов функций и инструментов, а также выдачу рассуждений при включении соответствующего режима. Максимальная длина контекста — 1 млн токенов; предусмотрены уровни интенсивности рассуждений low, high и max. Языковой охват явно не указан. Модель ориентирована на сложное рассуждение, агентные приложения, использование инструментов, математику, разработку программного обеспечения и корпоративных AI-ассистентов. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость MoE, поддержка speculative decoding через DSpark и оптимизация под NVIDIA GPU. Ограничения включают зависимость от специализированной аппаратной и программной инфраструктуры: заявлена совместимость с NVIDIA Blackwell B200, Linux, SGLang и vLLM; характеристики работы на другой аппаратуре не указаны. Данные исходного обучения не раскрыты, а перед промышленным внедрением требуется дополнительное тестирование на прикладных данных. Модель распространяется по лицензии MIT. Указана версия NVIDIA Model Optimizer v0.47.0rc1; опубликованный релиз датирован 9 сентября 2026 года.

Falcon-H1-34B-Instruct-GGUF — квантизированное в формате GGUF представление инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это каузальная decoder-only модель с гибридной архитектурой, объединяющей Transformer attention и State Space Models на основе Mamba, что ориентировано на эффективную обработку длинного контекста и снижение вычислительных затрат. Вариант предназначен для запуска через совместимые инструменты, включая custom fork llama.cpp; семейство также поддерживается Transformers и vLLM. Модель рассчитана на генерацию текста, следование инструкциям, рассуждения, математические и научные задачи, программирование и многоязычное взаимодействие. Семейство Falcon-H1 поддерживает до 256K токенов контекста и 18 языков, включая русский, английский, арабский, китайский, японский, корейский, немецкий, французский, испанский, итальянский, португальский, польский, нидерландский, чешский, румынский, шведский, хинди и урду. Размер исходной модели — 34 млрд параметров; конкретные параметры квантизации данного GGUF-файла в README не указаны. К сильным сторонам относятся гибридная архитектура, эффективность по отношению к размеру, работа с длинным контекстом и высокие результаты в ряде общих, научных, математических и инструкционных тестов. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, возможные потери качества из-за квантизации и отсутствие в README подробностей о точном формате и уровне квантизации конкретного файла. Модель распространяется по лицензии Falcon-LLM License; условия доступны по ссылке, указанной разработчиком.

Карточка модели ApocalypseParty/G4-31B-SFT-v5-2-seed1337 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

coder3101/gemma-4-26B-A4B-it-heretic — мультимодальная диалоговая модель на базе Google Gemma 4 26B A4B IT, дообученная автором репозитория. Она принимает текст и изображения и генерирует текст; подходит для диалогов, рассуждений, программирования, анализа изображений и агентных сценариев с вызовом инструментов. По карточке базовой модели Gemma 4 поддерживает распознавание объектов, чтение документов и экранов, OCR, анализ диаграмм и последовательностей видеокадров. Для этой версии доступны веса SafeTensors и библиотека Transformers; контекст базовой модели составляет до 256 тысяч токенов. Модель обозначена как uncensored/decensored/abliterated. Эти метки указывают на изменение поведения относительно базовой модели, но карточка не описывает методику или объём изменений и не приводит отдельную оценку качества. Поддержка аудио заявлена только для вариантов Gemma 4 E2B и E4B, поэтому её не следует приписывать этой версии. Возможны ошибки в фактах, трудности с нюансами языка и сложными открытыми задачами, а также смещения из обучающих данных. Лицензия — Apache-2.0.

unsloth/gemma-4-31b-it-MLX-8bit — 8-битная MLX-версия instruction-tuned модели Gemma 4 31B, подготовленная Unsloth на базе Google Gemma 4 31B-it. Разработчик исходной модели — Google DeepMind. Это мультимодальная модель, принимающая текст и изображения и генерирующая текст; она предназначена для локального запуска на совместимом оборудовании Apple MLX, а также для диалоговых приложений, генерации текста, программирования, рассуждений, анализа изображений и агентских сценариев с поддержкой вызова функций. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным вниманием, сочетающим локальное скользящее окно размером 1024 токена с глобальным вниманием. Контекстное окно составляет до 256 тысяч токенов, размер словаря — 262 тысячи токенов, поддерживается более 140 языков. Gemma 4 также предлагает настраиваемые режимы рассуждения, нативную поддержку системных сообщений и обработку изображений с различным соотношением сторон и разрешением. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также оптимизации Gemma 4 для эффективной работы. Ограничения конкретной MLX-версии, требования к памяти, результаты бенчмарков и влияние 8-битного квантования на качество в README не указаны; аудио для модели 31B не заявлено. Модель распространяется по лицензии Apache 2.0.

cyankiwi/GLM-4.7-Flash-AWQ-4bit — 4-битная AWQ-квантизованная версия GLM-4.7-Flash, разработанной командой GLM и распространяемой организацией zai-org. Это языковая модель для генерации текста, рассуждений, программирования и агентских сценариев, включая взаимодействие с инструментами и решение задач, требующих многошагового планирования. Модель построена по архитектуре MoE с конфигурацией 30B-A3B: общий размер составляет около 30 млрд параметров, при этом на каждом шаге активируется примерно 3 млрд. Указаны поддерживаемые языки English и Chinese, библиотека Transformers и текстовая модальность. В README приведены настройки генерации с максимальной длиной нового вывода до 131 072 токенов, однако размер контекстного окна явно не указан. Для локального запуска заявлена совместимость с Transformers, vLLM и SGLang; для этой версии также требуется учитывать поддержку AWQ-квантизации используемым фреймворком. Сильными сторонами являются сочетание производительности и эффективности при локальном развертывании, а также результаты на задачах рассуждений, программирования, веб-поиска и взаимодействия с инструментами. Ограничениями выступают возможные потери качества из-за 4-битной квантизации и необходимость актуальных версий программного обеспечения для поддержки модели. В README указана лицензия MIT.

unsloth/gpt-oss-120b — открытая модель с весами, основанная на openai/gpt-oss-120b и разработанная OpenAI; карточка опубликована в формате, совместимом с Transformers. Модель предназначена для универсальной генерации текста, сложных рассуждений, агентских сценариев и задач разработчиков, включая вызов функций, веб-навигацию, выполнение Python-кода и Structured Outputs. Модель содержит около 117 млрд параметров, из которых при обработке активны примерно 5,1 млрд, и использует архитектуру Mixture of Experts с нативной MXFP4-квантизацией для MoE-слоёв. Она рассчитана на запуск в пределах одной GPU H100. Доступны настраиваемые уровни рассуждений — low, medium и high, что позволяет выбирать компромисс между качеством и задержкой. Модель обучена с использованием формата ответов harmony и должна применяться именно в этом формате. В README не указаны поддерживаемые языки и размер контекстного окна. Сильными сторонами являются открытые веса, высокая эффективность активных параметров, возможность тонкой настройки и поддержка инструментального и агентского использования. Полная цепочка рассуждений доступна для отладки и анализа, но не предназначена для показа конечным пользователям. Ограничения включают требование формата harmony и существенные аппаратные ресурсы для запуска полной модели; конкретные показатели качества и дополнительные ограничения в карточке не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование, модификацию и распространение.

Карточка модели unsloth/granite-3.2-2b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.2-8b-instruct, поэтому описание составлено по ней. Granite-3.2-8B-Instruct — плотная языковая модель IBM Granite Team с 8,2 млрд параметров, дообученная на базе ibm-granite/granite-3.1-8b-instruct для выполнения инструкций и задач рассуждения. Модель поддерживает управляемый режим рассуждения, который можно включать по необходимости, и работает через библиотеку Transformers; доступны веса в формате safetensors. Модель предназначена для диалоговых помощников и общих прикладных сценариев: суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Контекст — до 131 072 токенов, что подходит для анализа длинных документов и стенограмм. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. README указывает, что к ней применимы этические ограничения и ограничения Granite-3.1-8B-Instruct; конкретные ограничения в карточке не перечислены.

Granite-4.0-H-350M — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на основе ibm-granite/granite-4.0-h-350m-base с применением контролируемого дообучения, обучения с подкреплением и слияния моделей. Это плотная decoder-only архитектура GraniteMoeHybrid с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 278,4 млн параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов, локального и периферийного развёртывания, исследовательских сценариев и дообучения под специализированные задачи. Она умеет суммировать и извлекать текст, классифицировать, отвечать на вопросы, поддерживать RAG, выполнять задачи с кодом и вызовом функций, включая дополнение кода FIM. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Компактный размер упрощает запуск на устройствах и адаптацию под узкие задачи. При этом качество на языках помимо английского может быть ниже; ответы также могут содержать ошибки, предвзятость или небезопасный контент. Лицензия — Apache 2.0.

unsloth/granite-4.1-3b — вариант модели Granite 4.1-3B, опубликованный Unsloth на базе инструктивной модели IBM Granite 4.1-3B. Это плотная decoder-only трансформерная языковая модель с 3,4 млрд параметров и контекстом до 131 072 токенов. В архитектуре базовой модели используются GQA, RoPE, SwiGLU и RMSNorm. Модель предназначена для диалоговых ассистентов, следования инструкциям и агентных сценариев с вызовом инструментов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и многоязычный диалог. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; обучающие данные преимущественно англоязычные. Репозиторий содержит веса Safetensors, карточка отмечает исправления шаблона чата Unsloth. Лицензия — Apache 2.0. Модель может ошибаться, выдавать предвзятые или небезопасные ответы; качество на языках помимо английского может быть ниже. Для конкретных задач и развёртывания рекомендуется проверка и настройка безопасности.

Hermes-4-405B-GGUF — это крупная языковая модель в формате GGUF, разработанная Unsloth на основе Hermes 4 405B от Nous Research, который, в свою очередь, базируется на Llama 3.1 405B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, программирования, математики, STEM-задач, логики, творческого письма, ролевого взаимодействия, вызова функций и работы с инструментами. Модель поддерживает гибридный режим рассуждений: при необходимости она может формировать отдельные сегменты <think>...</think>, а также работать в более быстром режиме без длительного рассуждения. Она обучена следовать схемам и создавать структурированные ответы, включая валидный JSON и исправление некорректных объектов. Заявлена поддержка длинного контекста, формата чата Llama 3 и шаблонов ChatML; основной заявленный язык — английский. Для llama.cpp рекомендуется использовать режим шаблонов Jinja. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, соблюдение форматов, управляемость, вызов инструментов и сниженный уровень необязательных отказов. Из ограничений следует учитывать очень большой размер модели 405B, который предполагает значительные требования к памяти и вычислительным ресурсам; конкретные параметры контекстного окна, сведения о квантизации и детальные характеристики модальностей в README не указаны. Лицензия обозначена как llama3.

K2-Horizon-MoVA-36B-A4B-oQ4e — это MLX-конверсия и 4-битная смешанно-точная квантизированная версия модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной командой IFM. Модель предназначена для генерации текста, рассуждений, ответов на научные вопросы, программирования, извлечения информации, структурированного вывода и агентских сценариев с вызовом инструментов и использованием терминала. Архитектура модели основана на разреженной Mixture-of-Experts и механизме внимания Mixture-of-Values (MoVA). Всего модель содержит 36 млрд параметров, из которых при обработке активны около 4 млрд. Заявлена поддержка контекста до 512 тысяч токенов. Это reasoning-модель; для наилучших результатов рекомендуется использовать высокий уровень усилий рассуждения. Данные о поддерживаемых языках и мультимодальных возможностях в README не указаны, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются качество рассуждений, структурированный вывод, надёжность вызова инструментов и применение в локальных агентских конвейерах. По приведённым сравнениям модель превосходит Qwen 3.6 35B A3B в большинстве тестов, но уступает ему по скорости генерации: производительность ограничена большим общим размером модели, несмотря на небольшое число активных параметров. Для запуска требуется MLX-совместимая среда; при использовании oMLX необходима версия 0.6.4 или новее с патчем поддержки K2-Horizon. Модель распространяется по лицензии Apache-2.0, как и исходная модель.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w8a8 — квантизированная INT8-версия Mistral-Small-24B-Instruct-2501, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста и поддерживает текстовые и визуальные входные данные с текстовым выводом. Заявленные сценарии включают диалоговых агентов с быстрым откликом, вызов функций с низкой задержкой, программирование, математическое рассуждение, анализ длинных документов, визуальное понимание, локальный инференс и специализированные решения после дообучения. Модель имеет архитектуру Mistral3ForConditionalGeneration и содержит 24 млрд параметров в базовой версии. Веса и активации линейных операторов в трансформерных блоках квантизированы до INT8: для весов используется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема. При заявленных характеристиках это примерно вдвое снижает требования к памяти GPU и размер файлов весов, а также может увеличить производительность матричных умножений примерно в два раза. Квантизация выполнена с использованием SmoothQuant и GPTQ через библиотеку llm-compressor. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4; в документации приведён контекст до 32768 токенов. Ограничения включают возможное снижение точности из-за квантизации и запрет использования с нарушением применимых законов и в неподдерживаемых языках. Лицензия — Apache 2.0.

RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-quantized.w8a8 — это квантизированная версия инструкционной мультимодальной модели Mistral-Small-3.1-24B-Instruct-2503, разработанная Red Hat совместно с Neural Magic на базе модели Mistral AI. Архитектура обозначена как Mistral3ForConditionalGeneration. Модель принимает текст и изображения и генерирует текст; заявлена поддержка языков, включая английский, французский, немецкий, испанский, итальянский, португальский, хинди, арабский, китайский, японский, корейский, русский, украинский и другие языки из указанного перечня. Модель предназначена для быстрых диалоговых агентов, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Она также подходит для локального развертывания, включая сценарии обработки чувствительных данных, и для адаптации под предметные области посредством дообучения. Максимальный контекст в README явно не указан, однако в примере развертывания используется ограничение 32768 токенов. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8. Для весов применяется статическая симметричная поканальная схема, для активаций — динамическая симметричная потокенная схема; используются методы SmoothQuant и GPTQ. По данным README, это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных умножений. Компромиссом являются возможные потери точности по сравнению с исходной моделью, при этом конкретные результаты бенчмарков не приведены. Модель распространяется по лицензии Apache 2.0 и валидирована с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

Карточка модели RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 на Hugging Face совпадает с карточкой AbhijeetJain4075/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

Карточка модели nasooh1/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

Карточка модели rohitsingh158/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она предназначена для сложных многошаговых задач, анализа больших документов и кодовых баз, а также для работы с математическими и научными запросами. Модель подходит разработчикам чат-ботов, RAG-систем и AI-агентов. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture-of-Experts и Attention, а Multi-Token Prediction ускоряет генерацию. Всего в модели 550 млрд параметров, из которых 55 млрд активны; контекст достигает 1 млн токенов. Чекпойнт использует NVFP4 и рассчитан на высокую пропускную способность на современном оборудовании NVIDIA. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, бразильский португальский и китайский языки. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Для запуска требуются значительные вычислительные ресурсы и подходящая инфраструктура NVIDIA; в README рекомендована многосерверная конфигурация для развертывания на нескольких узлах.

Spark-X2.5-4B — компактная универсальная языковая модель семейства Spark-X2.5, опубликованная пользователем qikuanz на базе XHToken/Spark-X2.5-4B-Base. Модель предназначена для диалогов, генерации и редактирования текста, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Она ориентирована на локальное и эффективное развертывание, включая работу через llama.cpp, vLLM, SGLang, MLX, Ollama и LM Studio. Модель содержит около 4 млрд параметров и использует гибридную архитектуру внимания: один слой полного внимания сочетается с тремя слоями внимания со скользящим окном. Заявлена нативная поддержка контекста до 1 048 576 токенов и более 200 языков. В репозитории доступны GGUF-квантизации Q4_0, Q4_K_M и Q8_0, подходящие для запуска на совместимом оборудовании; также заявлена интеграция с агентскими инструментами и широкая аппаратная совместимость. Сильными сторонами модели являются небольшие размеры, поддержка очень длинного контекста, многоязычность, задачи программирования и агентские рабочие процессы, а также наличие нескольких вариантов квантизации. Ограничения связаны с зависимостью фактического потребления памяти и доступного контекста от используемого runtime и оборудования: сами GGUF-файлы не гарантируют совместимость с NPU, ONNX или конкретными библиотеками. Модель и добавленные GGUF-файлы распространяются по лицензии Apache-2.0.

Abu-Dju/Falcon-H1-34B-Instruct-GGUF — версия инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это авторегрессионная decoder-only модель на 34 млрд параметров с гибридной архитектурой, объединяющей Transformer attention и State Space Model Mamba. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и научных задач, программирования и многоязычных сценариев. Falcon-H1 поддерживает контекст до 256 000 токенов и 18 языков: арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Гибридная архитектура ориентирована на эффективную обработку длинного контекста и снижение вычислительных затрат. В опубликованных оценках модель показывает сильные результаты в общих, математических, научных, кодовых и инструкционных задачах, хотя её показатели зависят от конкретного теста и не превосходят все более крупные или сопоставимые модели. Для запуска указана совместимость с Hugging Face Transformers, vLLM и актуальными версиями llama.cpp; формат GGUF ориентирован на экосистему llama.cpp. Из-за размера в 34 млрд параметров для инференса могут требоваться значительные вычислительные ресурсы, однако точные требования для данной сборки в README не приведены. Модель распространяется по Falcon-LLM License; применимые условия следует уточнять в тексте лицензии.

QuantTrio/gemma-4-31B-it-AWQ — это квантизированная версия инструкционно дообученной мультимодальной модели google/gemma-4-31B-it, разработанной Google DeepMind. Репозиторий QuantTrio содержит AWQ-квантизацию, выполненную методом data-free quantization без калибровочного датасета. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалогов, анализа изображений, генерации текста, программирования, рассуждений и агентских сценариев с вызовом инструментов. Базовая модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и словарь размером 262 тысячи токенов. Она использует гибридный механизм внимания с чередованием локального sliding-window attention и глобального внимания; размер локального окна составляет 1024 токена. Заявленное контекстное окно — до 256 тысяч токенов. Для мультимодальной обработки используется визуальный энкодер примерно на 550 млн параметров; аудио для версии 31B не заявлено. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой сборки в README не уточняются. К сильным сторонам относятся большой контекст, поддержка изображений, возможности рассуждения, кодирования, native function calling и оптимизация для эффективного серверного развёртывания через vLLM. AWQ-квантизация уменьшает размер модели: указанный размер файлов составляет около 20 GiB, что может снизить требования к видеопамяти по сравнению с полной точностью. Ограничениями являются возможная потеря качества из-за квантизации, необходимость совместимых версий vLLM и Transformers, CUDA 12.8 и конфигурации с tensor parallelism; фактические требования зависят от выбранных параметров запуска и оборудования. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4, ссылка на которую указана в README.

Карточка модели GorgiasML/gpt-oss-20b на Hugging Face совпадает с карточкой Sprinter-Spb/gpt-oss-20b, поэтому описание составлено по ней. Sprinter-Spb/gpt-oss-20b — размещённая пользователем версия открытой модели gpt-oss-20b от OpenAI. Это языковая модель с архитектурой Mixture of Experts и классом GptOssForCausalLM; в README для исходной модели указаны 21 млрд параметров и 3,6 млрд активных параметров, а метаданные этой карточки сообщают 1,6 млрд параметров. Модель ориентирована на диалог, рассуждения, агентные сценарии и задачи разработчиков. Она принимает текст в формате Harmony, поддерживает вызов функций и настройку уровня рассуждений; заявленная длина контекста — 131 072 токена. Модель рассчитана на более низкую задержку и локальное использование; README указывает, что вариант gpt-oss-20b с MXFP4 может работать в пределах 16 ГБ памяти. Среди сценариев — ответы на вопросы, генерация текста и кода, использование инструментов и структурированный вывод. Карточка описывает семейство как тонко настраиваемое, но не сообщает о специальном дообучении этой версии Sprinter-Spb. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется формат Harmony; README также предупреждает, что цепочку рассуждений не следует показывать конечным пользователям.

Granite-4.0-350M — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-350m-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Она использует архитектуру decoder-only dense Transformer; в метаданных указано 352,3 млн параметров и контекст до 32 768 токенов. Модель предназначена для диалогов, локального запуска на устройствах и дообучения под специализированные задачи с умеренными вычислительными ресурсами. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов. Она поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Качество на языках, кроме английского, может быть ниже; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому перед применением в конкретной задаче её следует оценить и настроить.

Ling-3.0-flash-int4 — текстовая генеративная модель от inclusionAI, представленная в формате int4 и распространяемая по лицензии MIT. Она предназначена для генерации текста, рассуждений, следования инструкциям, программирования, задач общего назначения, глубокого исследования и агентских рабочих процессов, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель использует гибридную линейную MoE-архитектуру с чередованием 35 слоёв Kimi Delta Attention (KDA) и 7 слоёв Gated MLA в соотношении 5:1, двумя плотными слоями, 512 маршрутизируемыми и одним общим экспертом; на токен активируется 8 экспертов. Общий объём составляет 124 млрд параметров, активный — 5,1 млрд. Размер скрытого состояния — 2560, число голов внимания — 32, словарь содержит 157184 токена. Контекст обучался поэтапно от 8K до 256K токенов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — высокая вычислительная эффективность, поддержка длинного контекста, рассуждений и агентских сценариев, а также оптимизация для производственного развёртывания. Указана интеграция с иерархическим кэшированием SGLang HiCache и Mooncake, которое, по данным разработчика, снижает время до первого токена на 60–80% при длинных входах. Ограничения включают отсутствие в README подробностей о точности int4, фактических требованиях к аппаратному обеспечению, качестве на конкретных языках и результатах независимой проверки. Лицензия — MIT.

unsloth/Llama-3.1-8B-unsloth-bnb-4bit — это 4-битная версия языковой модели Llama 3.1 с 8 млрд параметров, подготовленная Unsloth на основе базовой модели Meta Llama 3.1 8B. Модель работает с текстом на входе и генерирует многоязычный текст и программный код. Архитектура — авторегрессионный Transformer с поддержкой Grouped-Query Attention (GQA), контекстное окно — до 128 тысяч токенов. Модель обучена на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, при этом семейство Llama 3.1 описано как многоязычное. Модель предназначена для генерации текста и кода, диалоговых сценариев, дообучения под прикладные задачи и запуска в условиях ограниченных вычислительных ресурсов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной версией и подходит для локального инференса и последующего fine-tuning, однако может сопровождаться компромиссами по точности и качеству генерации. README не содержит детальных результатов бенчмарков или характеристик аппаратных требований. Использование регулируется лицензией Llama 3.1; дополнительных условий для версии Unsloth в README не указано.

uncensoredai/Mistral-Small-24B-Instruct-2501 — дообученная по инструкциям версия Mistral Small 3, разработанная командой Mistral AI на базе Mistral-Small-24B-Base-2501. Это плотная языковая модель с 23,4 млрд параметров для диалогов, генерации текста, рассуждений и программирования; в каталоге для неё указана задача text-generation. Модель рассчитана на многоязычных разговорных помощников, вызов функций и формирование JSON. Она поддерживает контекст до 32 768 токенов и языки, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Репозиторий содержит веса Safetensors; для запуска README рекомендует vLLM. Для инференса на GPU в bf16 или fp16 требуется около 55 ГБ видеопамяти, а локальное размещение на менее мощном оборудовании возможно после квантизации. Модель подходит для локальных ассистентов, агентных сценариев и дообучения под предметные задачи. README предупреждает, что шаблон вызова инструментов находится в разработке. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование и модификацию.

stelterlab/Mistral-Small-24B-Instruct-2501-AWQ — инструкционная языковая модель на базе Mistral-Small-24B-Instruct-2501, разработанной командой Mistral AI. Данная версия дополнительно квантизирована stelterlab в формате INT4 GEMM с использованием AutoAWQ. Модель содержит 24 млрд параметров и рассчитана на локальный запуск, включая работу на одной видеокарте RTX 4090 или MacBook с 32 ГБ оперативной памяти после квантизации. Модель предназначена для диалоговых приложений с быстрым откликом, агентских сценариев, вызова функций, генерации JSON, задач общего назначения и последующей предметной донастройки. Она поддерживает многоязычную работу, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Заявлены развитые возможности рассуждения, следования системным инструкциям и агентского взаимодействия. Контекстное окно составляет 32 тысячи токенов, используется токенизатор Tekken со словарём размером 131 тысяча элементов. К сильным сторонам относятся сочетание относительно компактного размера, локального развертывания, низкой задержки и поддержки function calling и структурированного вывода. Ограничения связаны с INT4-квантизацией, которая может снижать точность по сравнению с исходными весами, а также с тем, что результаты бенчмарков не гарантируют аналогичное качество в конкретных прикладных задачах. Модель распространяется под лицензией Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.