II.8Инженерия данных и аналитика

nvidia/Gemma-4-31B-IT-NVFP4 — мультимодальная модель для генерации текста, разработанная Google DeepMind на базе Gemma 4 31B IT и квантизированная NVIDIA с помощью Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для чат-ботов и диалоговых систем, суммаризации, извлечения данных из изображений, рассуждений, программирования, мультимодального анализа, function calling, исследовательских и образовательных сценариев. Модель построена на архитектуре Transformer Gemma 4 и содержит около 30,7 млрд параметров при размере словаря 262 144 токена. Она принимает текст, изображения и видео, включая видео в форматах MP4 и WebM продолжительностью до 60 секунд с частотой один кадр в секунду, а генерирует текст. Поддерживаются переменные соотношения сторон и разрешения изображений, настраиваемые бюджеты визуальных токенов от 70 до 1120, контекст до 256 тысяч токенов и более 140 языков. Архитектура использует гибридное внимание с локальными sliding-window и глобальными слоями, едиными Keys и Values в глобальных слоях и Proportional RoPE для работы с длинным контекстом. NVFP4-квантизация весов и активаций рассчитана на инференс через vLLM на NVIDIA Blackwell и Linux. По приведённым результатам NVFP4 сохраняет близкие к BF16 показатели на GPQA Diamond, AIME 2025, MMLU Pro, LiveCodeBench и Scicode, однако точные характеристики зависят от оборудования и сценария использования. Модель версии 1.0 была квантизирована с помощью nvidia-modelopt 0.42.0; для калибровки использовался англоязычный датасет CNN/DailyMail. Указана лицензия Apache License 2.0 с условиями Gemma. Для запуска заявлена интеграция с vLLM и тестирование на NVIDIA Hopper H100.

Карточка модели balajiduraisamy/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Карточка модели dannyboy1978/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Granite-4.0-H-Micro — компактная инструктивная языковая модель, опубликованная Unsloth и разработанная командой Granite компании IBM. В карточке указано 3 млрд параметров, а в метаданных репозитория — 2,6 млрд; модель основана на ibm-granite/granite-4.0-h-micro и дообучена на открытых инструктивных и синтетических данных с применением supervised fine-tuning, выравнивания с подкреплением и объединения моделей. Используется архитектура decoder-only с компонентами GQA, Mamba2, SwiGLU и RMSNorm; формат весов — Safetensors, библиотека — Transformers, контекст — до 131 072 токенов. Модель предназначена для диалоговых ассистентов и бизнес-приложений. Она следует инструкциям, поддерживает вызов инструментов и подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, заполнения пропусков в коде и многоязычного диалога. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на многоязычных задачах может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать под конкретный сценарий.

unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Meta Llama 3.1 8B, подготовленная с использованием Unsloth. Модель разработана Meta и предназначена для генерации текста и кода, диалоговых сценариев, ответов на инструкции и других задач обработки текста. Она работает только с текстовыми данными на входе и выдаёт текст или код. Модель построена на авторегрессионной оптимизированной архитектуре Transformer, использует Grouped-Query Attention (GQA) и содержит около 8 млрд параметров. Заявленная длина контекста составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Instruction-тюнинг выполнен с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности ответов. 4-битное представление снижает требования к памяти и может быть удобно для локального запуска и инференса на доступном оборудовании, однако потенциально ограничивает точность по сравнению с полноразмерными вариантами. Модель является статической и обучена на офлайн-данных; дата отсечения знаний — декабрь 2023 года. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16 — мультимодальная инструкционная модель, разработанная Red Hat совместно с Neural Magic на базе Mistral-Small-3.1-24B-Instruct-2503 от Mistral AI. Она принимает текст и изображения, а генерирует текст; архитектура указана как Mistral3ForConditionalGeneration. Модель предназначена для разговорных агентов с быстрым откликом, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Также она подходит для локального развёртывания и тонкой настройки под специализированные предметные области, включая сценарии с чувствительными данными. Модель использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритмом GPTQ, реализованным в llm-compressor. По сравнению с 16-битным представлением это примерно на 75% снижает объём модели на диске и требования к памяти GPU, что является её ключевым преимуществом для быстрого и локального инференса. В README не указаны точное число параметров базовой модели, максимальная длина контекста и полный перечень поддерживаемых возможностей по каждому языку. Заявлена поддержка языков, включая английский, французский, немецкий, испанский, итальянский, португальский, хинди, индонезийский, вьетнамский, арабский, китайский, японский, корейский, русский, украинский и другие. Модель выпущена 15 апреля 2025 года, проверена в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. Ограничения включают возможную потерю точности из-за квантизации и запрет использования с нарушением применимого законодательства, а также в языках, официально не поддерживаемых моделью. Распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 — большая языковая модель, разработанная NVIDIA Corporation. Она предназначена для генерации текста, программирования, длительно работающих автономных агентов, вспомогательных агентских задач и эффективного локального вывода на совместимом оборудовании. Модель поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, а также языки программирования. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными Attention-слоями. Общее число параметров составляет 30 млрд, из них при обработке каждого токена активны около 3 млрд. Модель работает с контекстом до 1 млн токенов и распространяется в формате NVFP4. Поддерживаются NVIDIA Blackwell, Hopper и, через режим W4A16, Ampere; заявлено развёртывание на одной NVIDIA H100 или DGX Spark с GB10. Для ускорения генерации доступны DSpark, MTP и DFlash. К сильным сторонам относятся сочетание большого общего объёма параметров с небольшим числом активных параметров, поддержка очень длинного контекста, агентских сценариев и локального вывода на подходящем оборудовании. Ограничения связаны с требованиями к совместимому NVIDIA GPU и специализированным настройкам инференса; для некоторых аппаратных конфигураций параметры поддержки требуют дополнительного подтверждения. Модель лицензируется по OpenMDW License Agreement версии 1.1 и заявлена как готовая к коммерческому использованию.

Карточка модели microperceptron/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16, поэтому описание составлено по ней. Nemotron-3-Super-120B-A12B-BF16 — языковая модель NVIDIA для диалога, рассуждений и создания агентных систем. Она предназначена для разработчиков чат-ботов, RAG-систем и совместно работающих ИИ-агентов, а также для автоматизации больших потоков задач, например обработки ИТ-заявок. Модель поддерживает сложное следование инструкциям и работу с длинным контекстом. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и внимания в гибриде LatentMoE; также используются Multi-Token Prediction для ускорения генерации и 12 млрд активных параметров при 120 млрд общих. Карточка указывает контекст до 1 млн токенов, тогда как метаданные Hugging Face — 262 144 токена. Модель принимает текст и генерирует текст; заявлены английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Модель ориентирована на высокую пропускную способность, агентные сценарии, код, рассуждения и мультиязычный диалог. Карточка заявляет коммерческую готовность, но метаданные указывают лицензию «other», поэтому перед использованием следует проверить её условия. В опубликованном репозитории формат весов указан как safetensors; карточка описывает обучение с NVFP4, но это не означает, что репозиторий представляет квантизованную версию.

Карточка модели SIZWL/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16, поэтому описание составлено по ней. Nemotron-3-Super-120B-A12B-BF16 — языковая модель NVIDIA для диалога, рассуждений и создания агентных систем. Она предназначена для разработчиков чат-ботов, RAG-систем и совместно работающих ИИ-агентов, а также для автоматизации больших потоков задач, например обработки ИТ-заявок. Модель поддерживает сложное следование инструкциям и работу с длинным контекстом. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и внимания в гибриде LatentMoE; также используются Multi-Token Prediction для ускорения генерации и 12 млрд активных параметров при 120 млрд общих. Карточка указывает контекст до 1 млн токенов, тогда как метаданные Hugging Face — 262 144 токена. Модель принимает текст и генерирует текст; заявлены английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Модель ориентирована на высокую пропускную способность, агентные сценарии, код, рассуждения и мультиязычный диалог. Карточка заявляет коммерческую готовность, но метаданные указывают лицензию «other», поэтому перед использованием следует проверить её условия. В опубликованном репозитории формат весов указан как safetensors; карточка описывает обучение с NVFP4, но это не означает, что репозиторий представляет квантизованную версию.

NVIDIA Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалогов, рассуждений и построения агентных систем. Она предназначена для чат-ботов, RAG-приложений, совместно работающих агентов и высоконагруженных сценариев, включая автоматизацию ИТ-заявок, а также для сложного следования инструкциям и анализа длинного контекста. Модель использует гибридную архитектуру LatentMoE: слои Mamba-2 чередуются со слоями Mixture-of-Experts и отдельными слоями внимания. Всего в модели 120 млрд параметров, из которых активны 12 млрд; предусмотрены слои Multi-Token Prediction для ускорения генерации. Веса обучены с применением NVFP4, а заявленная длина контекста достигает 1 млн токенов. Модель поддерживает английский, французский, немецкий, итальянский, японский, испанский и китайский языки, а также задачи с кодом. Модель дообучена для диалогов, рассуждений, работы с инструментами, инструкциями и структурированными ответами; карточка сообщает о готовности к коммерческому использованию. Указана лицензия other, поэтому конкретные условия коммерческого применения следует сверить с лицензией репозитория. Возможности работы с изображениями, аудио или видео не заявлены; качество ответов зависит от задачи и используемой конфигурации вывода.

Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Вариант с NVFP4 содержит 120 млрд параметров, из которых 12 млрд активны; модель построена на гибридной архитектуре LatentMoE с чередованием Mamba-2, слоёв Mixture-of-Experts и отдельных слоёв внимания. Multi-Token Prediction поддерживает ускоренную генерацию. Для запуска используются Transformers и PyTorch; в карточке заявлен контекст до 1 млн токенов. Модель предназначена для чат-ботов, систем RAG, совместно работающих агентов, автоматизации IT-заявок, сложного следования инструкциям и рассуждений по длинному контексту. Она генерирует текст и поддерживает интерфейс вызова инструментов. Заявлены английский, французский, немецкий, итальянский, японский, испанский и китайский языки; также подходит для задач с кодом. По карточке, модель готова к коммерческому применению. Метаданные указывают лицензию «other», поэтому условия коммерческого использования следует сверять с лицензией и условиями NVIDIA для исходной модели.

Qwen3-235B-A22B-GPTQ-Int4 — квантизированная 4-битная версия крупной языковой модели Qwen3-235B-A22B, разработанная командой Qwen. Это авторегрессионная causal language model с архитектурой mixture-of-experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при генерации. Модель имеет 94 слоя, 128 экспертов, 8 активируемых экспертов, а также Grouped Query Attention с 64 головами Q и 4 головами KV. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевых сценариев, многошаговых диалогов и агентских задач с использованием внешних инструментов. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Доступно переключение между режимом reasoning для сложных задач и non-thinking для более эффективного общего общения в рамках одной модели. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. GPTQ-квантизация Int4 снижает требования к памяти, однако модель остаётся очень крупной и требует специализированной инфраструктуры; в README отмечены проблемы Transformers с мног GPU-инференсом и рекомендованы SGLang или vLLM. Для режима reasoning рекомендуется использовать заданные параметры сэмплирования и не применять жадное декодирование, поскольку это может ухудшать качество и приводить к повторениям. Модель распространяется под лицензией Apache 2.0. README не содержит подробных результатов бенчмарков, требований к конкретному оборудованию или измерений производительности.

lmstudio-community/Qwen3-30B-A3B-GGUF — квантованная в формате GGUF версия модели Qwen3-30B-A3B, разработанной командой Qwen. Квантование выполнено bartowski на базе llama.cpp, релиз b5200. Модель распространяется по лицензии Apache-2.0. Это Mixture-of-Experts-модель с 30 млрд общих параметров, из которых при обработке активируются около 3,3 млрд; всего используется 128 экспертов, из них 8 активны одновременно. Поддерживается контекст до 131 072 токенов с применением YaRN, при этом значение по умолчанию составляет 32 000 токенов. Модель работает в режимах с рассуждением и без него; режим рассуждения можно отключить добавлением /no_think в конец запроса. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математики, задач на здравый смысл и агентных применений. Она поддерживает более 100 языков и диалектов. К сильным сторонам относятся расширенные способности к рассуждению, широкий языковой охват и сравнительно эффективная активация параметров благодаря архитектуре MoE. Ограничения включают возможные ошибки, неточности и нежелательное содержание, характерные для генеративных моделей, а также потенциальное снижение качества из-за квантования; конкретные параметры квантования в README не указаны.

lmstudio-community/Qwen3-32B-GGUF — квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b5200. LM Studio распространяет эту модель в рамках общественной программы, но не является её разработчиком. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математических задач и рассуждений общего назначения. Поддерживаются режимы с рассуждением и без него; режим /no_think позволяет отключить рассуждения добавлением соответствующего параметра в конец запроса. Заявлена поддержка более 100 языков и диалектов, а также агентских сценариев. Модель имеет 32 млрд параметров и поддерживает контекст до 131 072 токенов с использованием YaRN; значение по умолчанию составляет 32 000 токенов. К ключевым преимуществам относятся расширенные возможности рассуждения, программирования, математики, диалогового взаимодействия и следования инструкциям. Ограничения включают возможные неточные, вредные или неподходящие ответы, а также отсутствие в README сведений о точном уровне квантизации, требованиях к оборудованию и характеристиках производительности. Модель распространяется по лицензии Apache 2.0.

cyankiwi/Qwen3.8-27B-AWQ-INT4 — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем cyankiwi. Модель представлена в формате Hugging Face Transformers и использует квантование AWQ с точностью INT4; размер файлов модели составляет около 21,02 ГБ. Лицензия — Apache-2.0. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, а также длительных агентских сценариев с планированием и обработкой обратной связи от окружения. Это causal language model с vision encoder, которая нативно понимает изображения и видео, включая документы и STEM-диаграммы. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и скрытую размерность 5120. Архитектура сочетает Gated DeltaNet и Gated Attention, а также использует Multi-Token Prediction. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Режим рассуждений включён по умолчанию, но может отключаться для отдельных запросов; глубина рассуждений настраивается параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться с помощью preserve_thinking. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, поддержка видео, длинного контекста, управляемого рассуждения и агентского выполнения задач при относительно компактном для класса 27B размере. К ограничениям относятся потери точности, возможные для INT4-квантования, а также необходимость совместимого программного обеспечения и значительного объёма памяти для локального запуска. README не содержит подробных числовых результатов тестирования, поэтому качество на конкретных бенчмарках по этим данным оценить нельзя.

Карточка модели Iambackup/gemma-4-12B-it на Hugging Face совпадает с карточкой RedHatAI/gemma-4-12B-it, поэтому описание составлено по ней. Gemma 4 12B IT — мультимодальная модель Google DeepMind на архитектуре Gemma4 Unified, дообученная для следования инструкциям. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает диалоги, рассуждения, программирование и вызов инструментов. Модель подходит для локального развёртывания на потребительских устройствах и для задач с длинным контекстом до 256 тыс. токенов. Модель может анализировать изображения и документы, распознавать текст и рукописный ввод, разбирать диаграммы и интерфейсы, а также анализировать видео по кадрам. Для аудио доступны распознавание речи и перевод речи в текст. Семейство Gemma 4 поддерживает более 140 языков в обучении, а карточка сообщает о мультиязычных возможностях; точный список языков для этой версии не приведён. Модель распространяется под лицензией Apache 2.0. Как и другие генеративные модели, она может допускать фактические ошибки; результаты распознавания, перевода и анализа следует проверять. Для видеовхода анализ выполняется по последовательностям кадров.

Granite-3.0-2B-Instruct — языковая модель IBM Granite Team для выполнения общих инструкций и создания диалоговых помощников. Это дообученная на основе Granite-3.0-2B-Base плотная decoder-only трансформерная модель на 2,5 млрд параметров; в обучении использовались supervised fine-tuning, выравнивание с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и структурированный формат чата, включая интерфейс вызова инструментов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного диалога. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; качество может быть ниже на языках, отличных от английского. Ответы могут быть неточными, предвзятыми или небезопасными, поэтому для прикладного использования требуется оценка модели. Лицензия — Apache 2.0.

cinnybun02/heretic-e2b-fp16 — мультимодальная производная Gemma 4 E2B IT, представленная в формате Safetensors и доступная по лицензии Apache-2.0. По метаданным, она дообучена на google/gemma-4-E2B-it. README описывает семейство Gemma 4 и указывает, что вариант E2B рассчитан на локальное развёртывание, включая устройства с ограниченными ресурсами. Модель предназначена для диалогов, рассуждений, генерации и редактирования кода, а также анализа изображений, видео и аудио. Она поддерживает распознавание речи и перевод речи в текст; семейство также умеет разбирать документы и PDF, распознавать текст на изображениях, анализировать графики и интерфейсы и вызывать инструменты. Для E2B заявлено контекстное окно до 128 тысяч токенов; семейство поддерживает более 35 языков. В README репозиторий помечен как uncensored/decensored/abliterated, но конкретные методы изменения базовой модели не описаны. Возможные ограничения включают фактические ошибки, зависимость качества от формулировки запроса и контекста, а также трудности с языковыми нюансами и сложными открытыми задачами. Следует учитывать возможные смещения и риск генерации вводящего в заблуждение контента.

unsloth/Llama-3.1-8B-bnb-4bit — это 4-битно квантованная версия языковой модели Meta Llama 3.1 8B, опубликованная Unsloth. Модель предназначена для генерации и обработки текста, диалоговых сценариев, работы с кодом, а также для последующего дообучения, включая создание reasoning-моделей с использованием GRPO. Она совместима с экосистемой Transformers и может быть экспортирована в форматы GGUF и vLLM. В основе лежит авторегрессионная модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention (GQA). Модель работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Размер базовой модели — 8 млрд параметров, контекст — до 128 тысяч токенов. Обучение выполнено на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, однако семейство Llama 3.1 описано как многоязычное. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и упрощающее запуск и дообучение по сравнению с полноразмерной моделью. Ограничения включают текстовую модальность, возможную потерю качества из-за квантования и ограниченную актуальность знаний. Модель распространяется по лицензии Llama 3.1; условия использования следует уточнять в тексте этой лицензии Meta.

unsloth/Llama-3.1-8B-Instruct-GGUF — это GGUF-версия инструкционно дообученной текстовой модели Llama 3.1 с 8 млрд параметров. Модель разработана Meta, а представленная конвертация и набор форматов опубликованы Unsloth. Она предназначена для генерации текста и кода, диалоговых сценариев, ассистентов и других задач, где требуется следование инструкциям на естественном языке. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA). Она работает только с текстом на входе и формирует текст или код на выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов; данные обучения основаны на общедоступных онлайн-данных, дата отсечения знаний — декабрь 2023 года. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning with human feedback. К сильным сторонам относятся мультиязычный диалог, поддержка длинного контекста, генерация кода и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp, Ollama и vLLM. Ограничения модели связаны с текстовой модальностью, статичностью знаний и возможными ошибками или небезопасными ответами; конкретный объём памяти и степень квантования зависят от выбранного GGUF-файла. Использование регулируется коммерческой Llama 3.1 Community License.

Mistral Small 3 (2501) — инструктивно дообученная языковая модель Mistral AI Team на базе Mistral-Small-24B-Base-2501. Это плотная авторегрессионная модель семейства Mistral с 23,4 млрд параметров и контекстом 32 768 токенов; репозиторий содержит веса в safetensors и рассчитан на запуск, в частности, через vLLM. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений и задач программирования, а также для сценариев с вызовом функций и формированием JSON. Карточка описывает многоязычную поддержку, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Разработчик отмечает возможность локального развёртывания; после квантизации модель может помещаться в память RTX 4090 или MacBook с 32 ГБ ОЗУ. Для работы без квантизации указано требование около 55 ГБ видеопамяти в bf16 или fp16. Модель подходит для локальных диалоговых агентов с низкой задержкой и настройки под специализированные задачи. Она распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Приведённые в карточке оценки получены на конкретных внутренних и публичных тестах и не гарантируют аналогичного качества на других данных; для заявленных возможностей вызова функций и JSON важно использовать подходящий формат шаблона и совместимые инструменты.

Qwen3-32B-AWQ — квантизированная 4-битная AWQ-версия причинной языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимом рассуждения для сложных задач и нерезультирующим режимом для более эффективного общего диалога в рамках одной модели. Модель содержит 32,8 млрд параметров, из них 31,2 млрд без учёта embedding, и имеет 64 слоя. Используется Grouped Query Attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на многоязычное следование инструкциям и перевод. AWQ-квантизация снижает требования к памяти, однако может влиять на качество по сравнению с полноразмерной версией; README также не содержит подробных результатов бенчмарков и требований к аппаратному обеспечению. Для режима рассуждения модель формирует промежуточное содержимое в блоке <think>...</think>; в README рекомендованы определённые параметры генерации и не рекомендуется жадное декодирование. Указанная лицензия — Apache 2.0.

shatu/Qwen3.5-27B — публикация Шашанка, содержащая веса и конфигурацию Qwen3.5-27B в формате Transformers. По README, веса идентичны Qwen/Qwen3.5-27B, а изменённый шаблон чата сохраняет промежуточные рассуждения между ходами диалога. Это мультимодальная причинная языковая модель с визуальным энкодером: плотная архитектура Qwen3.5 объединяет Gated Delta Networks и разреженные блоки внимания. В модели 27 млрд параметров и 64 слоя; нативный контекст — 262 144 токена, с расширением до 1 010 000 токенов. Модель предназначена для диалогов, анализа изображений, рассуждений, программирования и сценариев с вызовом инструментов. Она поддерживает 201 язык и диалект согласно README. Репозиторий использует safetensors и совместим с Transformers и рядом движков инференса. Лицензия — Apache-2.0. Это изменённая публикация существующих весов, а не новое обучение; качество и поведение шаблона зависят от используемого движка и его совместимости с Qwen3.5.

JunHowie/Qwen3-8B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений и обычным режимом генерации в рамках одной модели. Модель построена как causal language model и содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою. Архитектура включает 36 слоёв и grouped-query attention с 32 головами Q и 8 головами KV. Базовый контекст составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Qwen3 заявляет поддержку более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Квантизация выполнена в 4-битном формате с размером группы 128. По сравнению с более ранними квантизованными версиями заявлена повышенная эффективность по числу токенов в секунду благодаря параметру desc_act=False. Квантизация снижает требования к памяти и подходит для локального или серверного развёртывания, однако может приводить к потере качества по сравнению с полной точностью; конкретные показатели качества и требования к оборудованию в README не приведены. Для работы рекомендуется vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache 2.0.

Spark-X2.5-4B-FP8 — компактная универсальная языковая модель, разработанная командой SparkLLM; базовая модель указана как XHToken/Spark-X2.5-4B-Base. Версия FP8 предназначена для генерации текста и может применяться в диалогах, написании и редактировании текстов, переводе, рассуждениях, программировании, использовании инструментов и агентских сценариях. Модель содержит около 4 млрд параметров и использует гибридную архитектуру внимания: один слой полного внимания на три слоя sliding-window attention. Она поддерживает контекст до 1 млн токенов и более 200 языков. Модель обучалась на примерно 20 трлн токенов из веб-страниц, книг, научных публикаций, кода и энциклопедических материалов; дополнительное обучение включало supervised fine-tuning, масштабное reinforcement learning и метод MOPD. Заявлена совместимость с Transformers, vLLM, SGLang, llama.cpp, MLX, Ollama и LM Studio, а также с различными аппаратными платформами. Сильными сторонами являются сочетание длинного контекста, эффективности инференса, уменьшенного использования KV-cache, возможностей программирования и агентской работы. Ограничения конкретной версии FP8, включая возможные потери точности квантования и фактическое качество на отдельных языках и задачах, в README не уточняются. Модель распространяется по лицензии Apache-2.0.

Карточка модели Iambackup/gemma-4-E2B-it на Hugging Face совпадает с карточкой RedHatAI/gemma-4-E2B-it, поэтому описание составлено по ней. RedHatAI/gemma-4-E2B-it — инструктивный вариант мультимодальной модели Gemma 4, опубликованный Red Hat AI; семейство разработано Google DeepMind. Модель основана на google/gemma-4-E2B и предназначена для диалогов, генерации и редактирования текста, рассуждений, программирования и анализа мультимодальных данных. Она использует плотную архитектуру Gemma 4 и распространяется в формате Safetensors по лицензии Apache 2.0. Версия E2B принимает текст, изображения, видео и аудио и генерирует текстовые ответы. Для небольших моделей семейства заявлено контекстное окно до 128 тысяч токенов; поддерживаются многие языки. Возможности включают понимание изображений и документов, распознавание речи, перевод речи в текст, вызов инструментов и генерацию кода. Гибридное внимание и компактный размер семейства рассчитаны в том числе на локальное выполнение на устройствах с ограниченными ресурсами. Модель может ошибаться в ответах, распознавании и интерпретации мультимодальных входов; качество следует проверять для конкретного языка и сценария. README описывает возможности семейства Gemma 4 в целом, поэтому отдельные детали, не подтверждённые для E2B, не следует считать гарантированными.

RedHatAI/gemma-4-E2B-it — инструктивный вариант мультимодальной модели Gemma 4, опубликованный Red Hat AI; семейство разработано Google DeepMind. Модель основана на google/gemma-4-E2B и предназначена для диалогов, генерации и редактирования текста, рассуждений, программирования и анализа мультимодальных данных. Она использует плотную архитектуру Gemma 4 и распространяется в формате Safetensors по лицензии Apache 2.0. Версия E2B принимает текст, изображения, видео и аудио и генерирует текстовые ответы. Для небольших моделей семейства заявлено контекстное окно до 128 тысяч токенов; поддерживаются многие языки. Возможности включают понимание изображений и документов, распознавание речи, перевод речи в текст, вызов инструментов и генерацию кода. Гибридное внимание и компактный размер семейства рассчитаны в том числе на локальное выполнение на устройствах с ограниченными ресурсами. Модель может ошибаться в ответах, распознавании и интерпретации мультимодальных входов; качество следует проверять для конкретного языка и сценария. README описывает возможности семейства Gemma 4 в целом, поэтому отдельные детали, не подтверждённые для E2B, не следует считать гарантированными.

gemma4-E2B-it-qat-Q4-unsloth-heretic — модифицированная instruction-tuned модель семейства Gemma 4 E2B. Базовую модель разработала Google DeepMind, веса подготовлены в формате Unsloth, а данная сборка опубликована MobiusDevelopment и обработана инструментом Heretic. Из модели удалено встроенное поведение отказа отвечать на отдельные запросы («abliteration» или decensoring), при этом заявлено сохранение общих возможностей базовой модели. Модель предназначена для генерации текста, диалоговых и агентских сценариев, программирования, дополнения и исправления кода, function calling и задач, требующих обработки длинного контекста. Gemma 4 E2B поддерживает текстовые и графические входы, а также аудио; выводом является текст. Заявлены понимание изображений, OCR, анализ документов и PDF, интерфейсов и графиков, распознавание речи и перевод речи в текст, встроенный режим пошагового рассуждения и мультиязычная работа более чем со 140 языками. Архитектура использует гибридное внимание с чередованием локального sliding-window и глобального внимания, Per-Layer Embeddings и Proportional RoPE. Вариант E2B имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоёв, окно локального внимания 512 токенов, контекст до 128K токенов и словарь размером 262 тысяч токенов. Доступны bf16 safetensors для полной мультимодальной версии, текстовый GGUF Q4_K_M и отдельные vision/audio mmproj GGUF. Главная особенность и одновременно ограничение сборки — отсутствие встроенных отказов, поэтому её ответы требуют дополнительного контроля безопасности; качество после модификации может отличаться от базовой модели. Использование регулируется лицензией Gemma и условиями Google Gemma Terms of Use; в метаданных также указана лицензия Apache-2.0.

Granite-3.1-1B-A400M-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на Granite-3.1-1B-A400M-Base модель с архитектурой GraniteMoE; README также описывает этапы supervised fine-tuning, выравнивания с помощью reinforcement learning и слияния моделей. В метаданных указано 163,6 млн параметров и контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций, а также для многоязычного диалога и работы с длинными документами и встречами. README перечисляет английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Производительность на других языках может уступать английской; ответы могут быть неточными, предвзятыми или небезопасными. Лицензия — Apache 2.0.

QuantFactory/Phi-3.5-mini-instruct-GGUF — квантизированная версия языковой модели Phi-3.5-mini-instruct, созданная QuantFactory с использованием llama.cpp на основе модели Microsoft. Это компактная instruction-tuned модель для коммерческого и исследовательского применения, включая генеративные функции, многоязычный диалог, обработку текста, а также задачи, требующие рассуждений, особенно в программировании, математике и логике. Модель относится к семейству Phi-3 и содержит 3,8 млрд активных параметров. Она поддерживает контекст длиной до 128 тысяч токенов, ориентирована на текстовую генерацию и многоязычные сценарии. При обучении использовались синтетические данные и отфильтрованные общедоступные веб-источники, а для улучшения следования инструкциям и безопасности применялись supervised fine-tuning, proximal policy optimization и direct preference optimization. Квантизация предназначена для запуска в условиях ограниченных ресурсов, включая сценарии с требованиями к низкой задержке. К сильным сторонам относятся компактность, сравнительно высокая способность к рассуждениям для модели такого размера, улучшенное качество многоязычного и многоходового диалога и пригодность для сред с ограниченными вычислительными ресурсами. Ограничения включают типичные для языковых моделей риски неточностей, проблем с безопасностью и справедливостью; модель не оценивалась специально для всех прикладных сценариев, поэтому её необходимо тестировать и дополнительно контролировать, особенно в высокорисковых задачах. Модель распространяется по лицензии MIT.