II.8Инженерия данных и аналитика

unsloth/Qwen3-8B-128K-GGUF — это распространённая в формате GGUF версия языковой модели Qwen3-8B, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, многошагового взаимодействия и сценариев с внешними инструментами. Она поддерживает более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель представляет собой авторегрессионную causal language model с 8,2 млрд параметров, включая 6,95 млрд параметров без учёта эмбеддингов, и 36 слоями. Используется Grouped-Query Attention: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Qwen3 поддерживает переключение между режимом размышлений для сложных задач и обычным режимом для более эффективного диалога. Сильными сторонами являются сочетание рассуждений и универсального диалога, возможности работы с агентами, многоязычность и расширенный контекст. Ограничения включают зависимость качества и скорости от конкретной GGUF-квантизации и доступного оборудования; сведения о точном варианте квантизации, требованиях к памяти и производительности в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели crusoeai/DeepSeek-V4-Flash-BF16 на Hugging Face совпадает с карточкой RedHatAI/DeepSeek-V4-Flash-BF16, поэтому описание составлено по ней. RedHatAI/DeepSeek-V4-Flash-BF16 — версия модели DeepSeek-V4-Flash, опубликованная Red Hat AI. Это языковая модель архитектуры DeepSeek V4 для генерации текста; README описывает семейство как MoE, обученное на более чем 32 трлн токенов с последующей настройкой для разных областей и объединением навыков дистилляцией. Модель предназначена для диалогов, рассуждений, планирования, агентных сценариев и задач программирования. Для серии заявлен контекст до 1 048 576 токенов, а карточка репозитория указывает 10,7 млрд параметров. В README для Flash описаны режимы рассуждения от быстрых ответов до более глубокого анализа. Семейство использует гибридное внимание CSA/HCA для эффективной работы с длинным контекстом. Репозиторий использует библиотеку Transformers и формат safetensors; лицензия — MIT. README указывает, что в релизе нет Jinja-шаблона чата и для кодирования сообщений и разбора ответов предоставляются отдельные скрипты.

mlx-community/gemma-4-12B-it-OptiQ-4bit — это локальная MLX-квантизованная версия Gemma-4-12B-it, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для генерации текста, рассуждений, программирования, извлечения и классификации, следования инструкциям, вызова инструментов и агентских сценариев на компьютерах Apple Silicon без PyTorch и облачных сервисов. Это текстовый путь унифицированной модели Gemma-4, исходно поддерживающей текст, изображения и аудио: при конвертации визуальная и аудиобашни были удалены, поэтому данная версия работает только с текстом. Языковая башня использует смешанную квантизацию: чувствительные слои представлены в 8-битном формате, остальные — в 4-битном. Всего квантизовано 328 слоёв, средняя точность составляет 5,22 бита на вес, размер группы — 64, размер файла — около 8,3 ГБ. Модель поддерживает режим рассуждений с отдельным thinking channel; для прямых ответов его можно отключить. Согласно приведённым тестам, OptiQ-версия превосходит равномерную 4-битную квантизацию по пяти из шести метрик, особенно в задачах длинноконтекстного извлечения и программирования; в тесте BFCL разница находится в пределах указанного доверительного интервала. Для работы требуются mlx-lm из основной ветки и импорт optiq, регистрирующий тип модели gemma4_unified, поэтому стандартного выпуска mlx-lm 0.31.3 недостаточно. Модель распространяется на условиях Gemma license, унаследованных от базовой модели Google; применяются условия использования Google Gemma.

coder3101/gemma-4-12B-it-qat-q4_0-unquantized-heretic — мультимодальная инструкционная модель на 12 млрд параметров, основанная на Gemma 4 от Google DeepMind и дообученная автором репозитория. Она предназначена для диалога, рассуждений, генерации и исправления кода, работы с инструментами, а также анализа изображений, видео и аудио. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания; для модели 12B заявлен контекст до 256 тысяч токенов. Модель принимает текст и мультимодальные данные и генерирует текст; аудиовозможности Gemma 4 12B включают распознавание речи и перевод речи в текст. Семейство поддерживает более 35 языков, хотя конкретный перечень для этого чекпойнта не приведён. Модификация помечена как uncensored/decensored/abliterated, поэтому предполагает ослабленные ограничения на ответы по сравнению с обычной инструкционной моделью. Возможности включают извлечение данных из документов, OCR, понимание экранов и диаграмм, суммаризацию и ответы на вопросы. Модель может ошибаться в фактах, терять нюансы языка и отражать смещения обучающих данных; сложные и открытые запросы требуют проверки. Лицензия — Apache-2.0.

Gemma 4 31B — мультимодальная модель с открытыми весами, разработанная Google DeepMind и опубликованная под лицензией Apache 2.0. Вариант 31B использует плотную архитектуру Gemma4 и предназначен для работы с текстом и изображениями с генерацией текстовых ответов. Семейство поддерживает контекст до 256 тыс. токенов; для Gemma 4 заявлена многоязычная подготовка более чем на 140 языках. Модель подходит для диалога, рассуждений, написания и исправления кода, суммаризации и ответов на вопросы по изображениям и документам. Заявленные визуальные сценарии включают OCR, распознавание рукописного текста, анализ диаграмм, интерфейсов и последовательностей видеокадров, а встроенный вызов функций позволяет использовать её в агентных процессах. README описывает аудиоввод только для вариантов E2B, E4B и 12B, поэтому его нельзя приписывать модели 31B. Качество ответов и точность распознавания могут зависеть от языка, сложности входных данных и сценария; характеристики производительности для этого репозитория отдельно не приведены. Условия распространения — Apache 2.0.

Карточка модели AALange/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Карточка модели mbdk0/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Карточка модели OsGo/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Granite 3.1 8B Instruct — языковая модель, разработанная командой IBM Granite и представленная в GGUF-формате сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального запуска и решения широкого круга задач: следования общим инструкциям, суммаризации, классификации и извлечения текста, ответов на вопросы, работы с RAG, программирования, вызова функций и обработки длинного контекста. Модель поддерживает контекст до 131 072 токенов. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; для других языков возможна дополнительная дообученная адаптация. Архитектура и точный размер файловой квантизации в README не уточняются. Сильными сторонами являются широкий набор прикладных сценариев, многоязычность и большой контекст, однако модель может генерировать неточные, вредоносные или неподходящие ответы, а качество зависит от выбранного варианта квантизации и условий запуска. Лицензия — Apache 2.0.

Granite-3.2-2B-Instruct — инструкционная языковая модель семейства Granite, разработанная командой Granite компании IBM. Это плотная авторегрессионная модель на 2,5 млрд параметров, дообученная на базе ibm-granite/granite-3.1-2b-instruct для задач рассуждения и выполнения инструкций; режим рассуждения можно включать по необходимости. Модель работает с текстом, поддерживает диалог и интерфейс вызова инструментов, имеет контекст до 131 072 токенов и распространяется в формате safetensors по лицензии Apache 2.0. Модель предназначена для общих инструкционных задач и интеграции в ассистентов: ответов на вопросы, суммаризации длинных документов и встреч, извлечения и классификации текста, RAG, задач с кодом и вызова функций. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Среди сильных сторон — длинный контекст, управляемое рассуждение и многоязычный диалог. К ограничениям относятся унаследованные от Granite-3.1-2B-Instruct ограничения и этические соображения; README не приводит их подробнее.

Карточка модели RedHatAI/granite-3.2-2b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.2-2b-instruct, поэтому описание составлено по ней. Granite-3.2-2B-Instruct — инструкционная языковая модель семейства Granite, разработанная командой Granite компании IBM. Это плотная авторегрессионная модель на 2,5 млрд параметров, дообученная на базе ibm-granite/granite-3.1-2b-instruct для задач рассуждения и выполнения инструкций; режим рассуждения можно включать по необходимости. Модель работает с текстом, поддерживает диалог и интерфейс вызова инструментов, имеет контекст до 131 072 токенов и распространяется в формате safetensors по лицензии Apache 2.0. Модель предназначена для общих инструкционных задач и интеграции в ассистентов: ответов на вопросы, суммаризации длинных документов и встреч, извлечения и классификации текста, RAG, задач с кодом и вызова функций. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Среди сильных сторон — длинный контекст, управляемое рассуждение и многоязычный диалог. К ограничениям относятся унаследованные от Granite-3.1-2B-Instruct ограничения и этические соображения; README не приводит их подробнее.

Granite-4.0-H-Micro — компактная инструктивная языковая модель IBM Granite Team для диалогов и выполнения общих инструкций. В карточке модели указаны 2,6 млрд параметров, архитектура GraniteMoeHybrid и контекстное окно до 131 072 токенов. Модель принимает текст и генерирует текст; она доступна в формате Safetensors и рассчитана на использование через Transformers. Модель дообучена от Granite-4.0-H-Micro-Base на открытых наборах инструкций, синтетических и размеченных людьми данных. Для обучения применялись supervised fine-tuning, выравнивание с помощью обучения с подкреплением и объединение моделей. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов, включая корпоративных ассистентов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; также заявлены многоязычные диалоги и дополнение кода FIM. Инструктивная настройка улучшает следование инструкциям и вызов инструментов. По данным README, качество на языках помимо английского может быть ниже; несколько примеров в запросе могут помочь. Модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать для конкретного применения. Лицензия — Apache 2.0.

Карточка модели RedHatAI/granite-4.1-8b на Hugging Face совпадает с карточкой ibm-granite/granite-4.1-8b, поэтому описание составлено по ней. Granite-4.1-8B — языковая модель с 8,4 млрд параметров, разработанная командой Granite компании IBM. Это плотный декодерный трансформер с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель дообучена на основе Granite-4.1-8B-Base с помощью supervised fine-tuning и обучения с подкреплением; доступна в формате Safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для следования инструкциям и создания диалоговых помощников, в том числе агентов с вызовом инструментов. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного диалога. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Лицензия — Apache 2.0. Качество на многоязычных задачах может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы. Для конкретных сценариев рекомендуется проводить проверку безопасности и настройку.

Hermes-4-14B-AWQ-4bit — квантизированная 4-битная версия языковой модели Hermes 4 14B, разработанной Nous Research на базе Qwen 3 14B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, решения задач по математике, программированию, STEM и логике, творческого письма, структурированного вывода данных, а также сценариев с вызовом функций и использованием инструментов. Модель поддерживает гибридный режим рассуждений: при необходимости формирует сегменты <think>…</think>, а в быстром режиме может отвечать без длительного рассуждения. Она обучена следовать инструкциям, соблюдать заданные JSON-схемы и исправлять некорректные структурированные объекты. Для взаимодействия используется формат ChatML; заявлена поддержка английского языка. Архитектура основана на Qwen 3 14B, однако точная длина контекста в README не указана. Мультимодальные возможности не заявлены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, качество форматирования, управляемость и поддержка function calling и tool use. К ограничениям относятся зависимость качества от корректного применения ChatML-шаблона и инструментов, а также возможные компромиссы 4-битной квантизации по сравнению с полноточной версией; конкретные результаты бенчмарков в README не приведены. Модель распространяется по лицензии Apache 2.0.

Карточка модели muhamad-geosurge/invert-polarity-03f4a332-1a37-4914-97ef-8987e8d755bc на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Карточка модели muhamad-geosurge/invert-polarity-12749b4b-58f3-49a1-b1bd-bda8a6b08515 на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

K-EXAONE-2.0-750B-A37B — мультиязычная языковая модель общего назначения, разработанная LG AI Research. Это модель семейства EXAONE с архитектурой MoE для генерации текста и диалогов; в репозитории представлены веса Safetensors, а общий размер модели по метаданным составляет 34,1 млрд параметров. Нативная длина контекста — 262 144 токена. Модель предназначена для рассуждений, агентных сценариев, помощи в программировании, понимания длинных текстов и поиска сведений в контексте. Она поддерживает корейский, английский, испанский, немецкий, японский, вьетнамский, французский, итальянский, польский и португальский языки. В README также описаны методы ускорения генерации MTP и DSpark и развертывание на нескольких узлах с GPU. Модель может генерировать некорректные, устаревшие, предвзятые или нежелательные ответы, поэтому результаты следует проверять. Распространяется по лицензии Apache 2.0.

RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic — мультимодальная instruction-модель, разработанная Red Hat совместно с Neural Magic на базе Mistral-Small-3.1-24B-Instruct-2503 от Mistral AI. Архитектура Mistral3ForConditionalGeneration принимает текст и изображения, а генерирует текст. Заявлены поддержка 27 языков, включая русский, английский, французский, немецкий, испанский, китайский и японский, а также задачи text-to-text и image-text-to-text. Модель предназначена для быстрых диалоговых агентов, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Она также подходит для дообучения под предметные области и локального развертывания, в том числе в сценариях с чувствительными данными. Размер модели составляет 24 млрд параметров; README не указывает точное максимальное окно контекста. Модель оптимизирована с помощью FP8-квантизации весов и активаций: это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений по сравнению с FP16. Для весов используется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная потокенная квантизация; квантизуются линейные операторы внутри трансформерных блоков. Ограничения включают необходимость соблюдать законодательство и официально поддерживаемые языки. Модель распространяется по лицензии Apache-2.0.

Карточка модели Openintelligent123/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она предназначена для сложных многошаговых задач, анализа больших документов и кодовых баз, а также для работы с математическими и научными запросами. Модель подходит разработчикам чат-ботов, RAG-систем и AI-агентов. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture-of-Experts и Attention, а Multi-Token Prediction ускоряет генерацию. Всего в модели 550 млрд параметров, из которых 55 млрд активны; контекст достигает 1 млн токенов. Чекпойнт использует NVFP4 и рассчитан на высокую пропускную способность на современном оборудовании NVIDIA. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, бразильский португальский и китайский языки. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Для запуска требуются значительные вычислительные ресурсы и подходящая инфраструктура NVIDIA; в README рекомендована многосерверная конфигурация для развертывания на нескольких узлах.

Qwen2.5-3B-Instruct-AWQ — инструкционно дообученная причинная языковая модель из семейства Qwen2.5, разработанная командой Qwen; в примере README также указано, что Qwen создан Alibaba Cloud. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Модель содержит около 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура основана на Transformers и использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов. Применяется GQA с 16 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, длина генерации — до 8 192 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и другие. Ключевое преимущество версии AWQ — 4-битное квантование, позволяющее снизить требования к памяти и сделать развёртывание компактнее по сравнению с полноточной версией, при этом возможна потеря качества относительно исходной модели. Для работы рекомендуется использовать актуальную версию библиотеки Transformers и совместимые инструменты AWQ. В README указана лицензия qwen-research; точные условия следует проверять в файле лицензии репозитория.

Qwen/Qwen3-14B-MLX-bf16 — плотная языковая модель семейства Qwen3 от Alibaba, представленная в формате MLX с точностью bf16. Это производная от Qwen/Qwen3-14B-Base модель на 14 млрд параметров для генерации текста, диалогов, следования инструкциям, рассуждений, программирования, перевода и работы с внешними инструментами. В README описаны 40 слоёв и контекст 32 768 токенов; для более длинных входов заявлена возможность расширения до 131 072 токенов с YaRN. Метаданные указывают контекст 40 960 токенов. Модель поддерживает режимы с рассуждением и без него, многоходовый диалог и интерфейс вызова инструментов. Семейство Qwen3 поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель предназначена для локального запуска на совместимом оборудовании и использования в приложениях на базе MLX; карточка также упоминает Transformers. Лицензия — Apache-2.0. Качество и доступный контекст зависят от задачи, настроек генерации и используемого inference-фреймворка.

Qwen3-30B-A3B-GPTQ-Int4 — квантизированная 4-битная версия генеративной языковой модели Qwen3-30B-A3B, разработанной командой Qwen. Это авторегрессионная causal language model на архитектуре mixture-of-experts (MoE), предназначенная для генерации и обработки текста, диалогов, следования инструкциям, математического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит 30,5 млрд параметров, из которых при обработке одного токена активируется около 3,3 млрд; число неэмбеддинговых параметров составляет 29,9 млрд. Она включает 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений, а также 128 экспертов, из которых активируются 8. Нативная длина контекста — 32 768 токенов, с использованием YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов. Ключевая особенность Qwen3 — переключение между режимом рассуждения и обычным режимом без рассуждения в рамках одной модели. Режим рассуждения подходит для сложных логических задач, математики и кода, а обычный режим — для более эффективного общего диалога. GPTQ-квантизация Int4 снижает требования к памяти и облегчает развёртывание, однако может сопровождаться потерей качества по сравнению с полноразмерной версией; конкретные аппаратные требования и производительность зависят от среды запуска. Для работы рекомендуется актуальная версия Transformers, также заявлена совместимость с SGLang и vLLM. Модель распространяется по лицензии Apache-2.0. README не содержит подробных результатов бенчмарков, полного перечня поддерживаемых языков или точных требований к оборудованию.

Qwen3.5-35B-A3B — мультимодальная модель Alibaba с языковой частью и визуальным энкодером. Это post-trained версия базовой Qwen3.5-35B-A3B-Base, распространяемая в формате Transformers и совместимая с Transformers, vLLM, SGLang и KTransformers. Модель принимает текст и изображения и генерирует текст; поддерживает диалог и интерфейс вызова инструментов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активны около 3 млрд; используются 40 слоёв и 256 экспертов, из которых на шаг активируются 8 маршрутизируемых и один общий. Контекст составляет 262 144 токена с возможностью расширения примерно до 1,01 млн. В README заявлена поддержка 201 языка и диалекта, включая задачи рассуждения, программирования, работы с агентами и визуального понимания. Модель подходит для анализа изображений и документов, диалоговых помощников, задач с длинным контекстом и агентных сценариев с вызовом инструментов. Режим рассуждения включён по умолчанию; для высоких нагрузок разработчик рекомендует специализированные движки инференса. Доступны веса и конфигурации, лицензия — Apache-2.0.

Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound-v2 — квантованная версия базовой модели Qwen3.8-27B, разработанная goldhub с использованием AutoRound. Модель предназначена для генерации текста, рассуждений, программирования, обработки длинного контекста, а также мультимодальных задач с изображениями и видео. Заявлена поддержка английского, китайского, русского, украинского, греческого и иврита. Модель содержит 27 млрд параметров и использует гибридную схему: основные веса представлены в INT4 W4A16 с group_size 32, а критически важные компоненты, включая механизмы linear attention Gated DeltaNet, визуальный модуль, embed_tokens и lm_head, сохранены в BF16 или FP16. Заявленный контекст составляет 256K токенов, при этом стабильная работа без дополнительной настройки указана для 32K+, а для 128K–256K требуется выгрузка KV-кэша. Поддерживаются входы image-text и video-text. Сильными сторонами являются сохранение возможностей рассуждения, работы с кодом, мультимодальности и длинным контекстом после 4-битного квантования, а также пригодность для развёртывания на потребительских и профессиональных GPU. Ограничения включают большой для INT4 объём около 26,4 ГБ, потребность минимум в 32 ГБ VRAM или в двух GPU по 24 ГБ, возможные ограничения KV-кэша и риск циклической генерации при высокой температуре. В README рекомендуется vLLM; SGLang также поддерживается, но заявлен как менее производительный вариант. Модель распространяется по лицензии Apache-2.0.

mattbucci/gemma-4-12B-AWQ — 4-битная AWQ-Marlin-квантизированная версия модели google/gemma-4-12B-it, подготовленная mattbucci. Это унифицированная безэнкодерная модель Gemma 4 с архитектурой Gemma4UnifiedForConditionalGeneration. Она поддерживает работу с текстом, рассуждениями, инструментами, изображениями и аудио; заявленный нативный контекст составляет около 262 тысяч токенов. Модель использует attention с global-MQA и сочетание скользящего и полного внимания в пропорции 5:1. Квантизация выполнена в формате int4 W4A16 с размером группы 128. Линейные слои текстового декодера переведены в AWQ int4, тогда как эмбеддеры изображений и аудио, нормализации и связанная с эмбеддингами матрица lm_head сохранены в BF16 для поддержки мультимодальных возможностей. Согласно README, модель демонстрирует результаты 80% на MMLU, 95% на HumanEval, 100% на тесте Needle@long-ctx и 100% на тесте использования инструментов до контекста 256K; также заявлена работоспособность с изображениями и качественное рассуждение. Веса занимают около 5,4 ГБ на ранг при использовании int4. Модель предназначена для ресурсоэффективного инференса задач генерации и понимания текста, программирования, длинноконтекстного анализа, вызова инструментов, а также обработки изображений и аудио. Для запуска через SGLang требуются back-port-патчи 042–048 из указанного репозитория; на GPU Ampere рекомендуется использовать attention-backend triton и отключить CUDA Graph. Ограничения включают зависимость от специальной версии архитектуры и дополнительных патчей серверного ПО. Модель распространяется на условиях Gemma Terms of Use и является производной от google/gemma-4-12B-it.

JJaguar/gemma-4-12B-it-qat-q4_0-unquantized-heretic-nx — производная мультимодальная модель на основе Google Gemma 4 12B Instruct, размещённая пользователем JJaguar. Карточка описывает семейство Gemma 4: плотную архитектуру Gemma4Unified с чередованием локального скользящего и глобального внимания; для версии 12B заявлен контекст до 256K токенов. Метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа текста и мультимодальных входов. Семейство поддерживает понимание изображений и видео, включая OCR, разбор документов, графиков и интерфейсов; для версии 12B также заявлены распознавание речи и перевод речи в текст. Gemma 4 поддерживает более 35 языков; конкретный перечень для этой версии в данных не приведён. Модификация помечена как uncensored, decensored и abliterated, поэтому стандартные защитные ограничения исходной модели могли быть изменены. Среди общих ограничений Gemma 4 — возможные фактические ошибки, влияние пробелов и смещений обучающих данных, а также трудности с неоднозначными и сложными запросами. Лицензия — Apache-2.0.

Gemma 4 26B A4B IT QAT Q4_0 Unquantized — мультимодальная инструктивная модель семейства Gemma 4, разработанная Google DeepMind. Это вариант Gemma 4 26B A4B IT с весами, полученными из конвейера обучения с учётом квантования (QAT): веса сохранены в половинной точности, а не в готовом квантованном формате. Репозиторий предназначен для последующей компиляции и исследовательской работы с QAT-чекпойнтами. Модель принимает текст и изображения и генерирует текст. Она подходит для диалогов, рассуждений, программирования, анализа изображений, распознавания текста в документах и на изображениях, понимания диаграмм и интерфейсов, а также агентных сценариев с вызовом инструментов. Для варианта 26B A4B README указывает контекст до 256K токенов; семейство поддерживает более 140 языков в обучающих данных. Для Gemma 4 заявлены гибридное внимание с локальными и глобальными слоями и режим рассуждений; вариант 26B A4B относится к MoE-линейке семейства. QAT-чекпойнты призваны снижать требования к памяти при сохранении качества, близкого к bfloat16, однако этот конкретный репозиторий содержит не готовый GGUF или другой формат для прямого развёртывания, а веса для последующей обработки. Лицензия — Apache 2.0. Аудио для этой модели не заявлено: в README оно поддерживается только вариантами E2B, E4B и 12B.

Inkling — мультимодальная модель общего назначения от Thinking Machines. Это авторегрессионный трансформер с 66 слоями, архитектурой decoder-only и разреженным MoE-блоком: из 256 экспертов для каждого токена активируются 6, а ещё 2 общих эксперта участвуют всегда. Всего в модели 975 млрд параметров, активно используется 41 млрд. Поддерживаются форматы BF16 и NVFP4; веса опубликованы в Safetensors. Модель принимает текст, изображения и аудио, обрабатывает их в общем пространстве представлений и выдаёт текст. Она предназначена для диалогов, следования инструкциям, анализа изображений и аудио, программирования, агентных систем с использованием инструментов и RAG-приложений. Основной язык — английский; заявлены также общие многоязычные возможности. Для изображений рекомендуются размеры сторон от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью менее 20 минут. Модель доступна для интеграции, исследований и дообучения; лицензия — Apache-2.0. Возможны фактические ошибки, неточное следование инструкциям и ухудшение качества в длинных диалогах; качество может различаться между языками и предметными областями. Для важных решений требуется проверка человеком, а для публичных приложений README рекомендует дополнительные меры модерации.

Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

NVIDIA Nemotron-3-Ultra-550B-A55B-BF16 — крупная языковая модель NVIDIA для диалогов, рассуждений и агентных приложений. Она предназначена для разработчиков систем с ИИ-агентами, чат-ботов и RAG-приложений, а также для анализа больших документов и кодовых баз, сложного следования инструкциям и задач по математике и науке. Модель содержит 550 млрд параметров, из которых 55 млрд активируются при обработке токена. Архитектура LatentMoE объединяет слои Mamba-2, Mixture-of-Experts и внимания; Multi-Token Prediction поддерживает ускоренную генерацию. Метаданные указывают контекстное окно 262 144 токена, а README заявляет до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, хинди, корейский, португальский и китайский языки; в метаданных также отмечен иврит. Модель предназначена для коммерческого и некоммерческого использования. В метаданных лицензия обозначена как other, поэтому перед внедрением следует свериться с условиями лицензии в карточке модели. Масштаб модели требует значительных вычислительных ресурсов; заявленная длина контекста README отличается от значения в метаданных.