II.8Инженерия данных и аналитика

Qwen3.5-397B-A17B-FP8 — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.5-397B-A17B в формате Hugging Face Transformers, предназначенная для локального и серверного вывода с использованием Transformers, vLLM, SGLang, KTransformers и совместимых инструментов. Модель сочетает языковую модель с vision encoder и поддерживает обработку текста и изображений. Она использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts: всего 397 млрд параметров, из которых активируется 17 млрд; предусмотрено 512 экспертов, из них для токена выбираются 10 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентные сценарии и другие задачи общего назначения. Ключевое преимущество версии FP8 — снижение требований к ресурсам при сохранении показателей, близких к исходной модели; используется мелкозернистое FP8-квантизирование с размером блока 128. Ограничениями являются значительные требования к вычислительной инфраструктуре из-за общего размера модели, а также необходимость проверять фактическую совместимость и производительность конкретного стека инференса. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-8B-FP8 — FP8-квантизированная версия языковой модели Qwen3-8B, разработанной командой Qwen и опубликованной в репозитории Unsloth. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, математических задач, программирования, рассуждений, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding, и включает 36 слоёв. Используется Grouped-Query Attention: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов. Модель допускает переключение между режимами thinking для сложных задач и рассуждений и non-thinking для более быстрых обычных ответов. FP8-квантизация выполнена методом fine-grained FP8 с размером блока 128, что ориентировано на повышение эффективности инференса. Модель совместима с Transformers, SGLang и vLLM, однако для распределённого инференса через Transformers указаны известные ограничения. Лицензия — Apache 2.0.

google/gemma-4-31B-it-qat-w4a16-ct — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Она принимает текст и изображения и генерирует текст; предназначена для рассуждений, генерации текста, программирования, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное скользящее и глобальное внимание. Контекстное окно составляет до 256 тысяч токенов, размер словаря — 262 тысячи токенов. Gemma 4 поддерживает более 140 языков, режимы настраиваемого рассуждения и системные промпты. Для версии 31B заявлены текстовая и визуальная модальности; аудио для этой конфигурации не поддерживается. Суффикс qat-w4a16-ct указывает на чекпойнт, обученный с учётом квантизации и сохранённый в формате compressed-tensors с 4-битными весами и 16-битными активациями. Такой вариант ориентирован на эффективный инференс, включая нативное использование с vLLM, и должен требовать существенно меньше памяти при сохранении качества, близкого к bfloat16. Ограничениями являются повышенные требования к ресурсам по сравнению с меньшими моделями Gemma 4 и отсутствие аудиовхода. Лицензия — Apache 2.0.

Карточка модели Abobs132/gemma-4-E2B на Hugging Face совпадает с карточкой google/gemma-4-E2B, поэтому описание составлено по ней. Gemma 4 E2B — мультимодальная плотная модель с открытыми весами от Google DeepMind, принадлежащая семейству Gemma 4. Она принимает текст и изображения, а также аудио; генерирует текст. Семейство использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для малых моделей, включая E2B, заявлено контекстное окно до 128 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, суммаризации, понимания изображений и аудио, распознавания речи и перевода речи в текст. Она рассчитана на локальный запуск на мобильных устройствах и ноутбуках; семейство поддерживает многоязычные сценарии, включая более 35 языков в готовом виде. Модельные карточка описывает возможности семейства, поэтому отдельные характеристики E2B следует трактовать в его контексте. Репозиторий распространяется по лицензии Apache 2.0. Возможности включают OCR, разбор документов, анализ видео и вызов функций; описание аудиоподдержки для E2B подтверждает обработку аудио, а не генерацию речи. Качество ответов может зависеть от языка, сложности задачи и доступных вычислительных ресурсов; для критически важных сценариев результаты следует проверять.

Карточка модели Juan663/gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Карточка модели Openintelligent123/gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

dragonboat/gemma-4-E4B-it-GGUF — это квантизированная в формате GGUF instruction-tuned версия модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной в представлении Unsloth. Модель предназначена для локального запуска и дообучения, генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель имеет около 4,5 млрд эффективных параметров, 42 слоя и контекстное окно до 128K токенов. Она поддерживает обработку текста, изображений и аудио с генерацией текста, а также более 140 языков. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; размер локального окна составляет 512 токенов. Небольшой размер и оптимизация Gemma 4 E4B ориентированы на запуск на ноутбуках, мобильных устройствах и другом локальном оборудовании. К сильным сторонам относятся мультимодальность, длинный контекст, настраиваемый режим рассуждений, улучшенные возможности программирования, нативная поддержка системных инструкций и function calling. Ограничения включают зависимость производительности и качества от используемого GGUF-квантизатора и доступных вычислительных ресурсов; точные параметры квантизации в предоставленных данных не указаны. Модель распространяется по лицензии Apache 2.0.

EnlistedGhost/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это квантованная версия Mistral Small 3.1 24B Instruct 2503, исходно разработанной Mistral AI и преобразованной в формат GGUF пользователем EnlistedGhost с использованием llama.cpp. Модель совместима с Ollama и llama.cpp и предназначена для локального запуска. Модель имеет 24 миллиарда параметров, поддерживает работу с текстом и изображениями, а также контекст до 128 тысяч токенов. Она ориентирована на диалоговые приложения, вызов функций и агентские сценарии, генерацию JSON, программирование, математическое рассуждение, анализ длинных документов и визуальное понимание. Заявлена поддержка множества языков, включая английский, русский, украинский, арабский, испанский, немецкий, французский, китайский, японский, хинди и другие. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, длинный контекст, мультиязычность, поддержка function calling и возможность локального использования для задач, где важна конфиденциальность данных. К ограничениям относятся необходимость подбора подходящего квантования и наличие отдельных файлов vision projector для работы с изображениями; конкретные размеры основных GGUF-файлов в представленном README не указаны. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование, а также модификацию.

Qwen3-1.7B-FP8 — языковая модель для генерации текста, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-1.7B, предназначенная для диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода, творческого письма и агентских сценариев с интеграцией внешних инструментов. Модель представляет собой причинную языковую модель с 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою. Она содержит 28 слоёв и использует Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов. Модель умеет переключаться между режимом thinking для сложных рассуждений, математики и программирования и non-thinking для более быстрых универсальных ответов. К сильным сторонам относятся компактный размер, многоязычность, поддержка рассуждений, диалоговых и агентских задач, а также возможность запуска в популярных inference-фреймворках. FP8-квантизация с размером блока 128 повышает эффективность использования памяти и производительность, но для распределённого inference в Transformers указаны ограничения, включая необходимость CUDA_LAUNCH_BLOCKING=1 в некоторых конфигурациях с несколькими устройствами. Для работы рекомендуется Transformers версии 4.51.0 или новее; при частых повторениях требуется корректная настройка параметров sampling. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-32B-GGUF — версия модели Qwen3-32B в формате GGUF, подготовленная Unsloth на основе базовой модели Qwen/Qwen3-32B, разработанной Alibaba Cloud. Это авторегрессионная языковая модель с предварительным обучением и последующей настройкой, предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, переводов, творческого письма и агентских сценариев с использованием внешних инструментов. Модель содержит 32,8 млрд параметров, из которых 31,2 млрд не относятся к embedding, и имеет 64 слоя. Используется grouped-query attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает режимы thinking и non-thinking, между которыми можно переключаться, а также более 100 языков и диалектов. Формат GGUF ориентирован на запуск через совместимые локальные инструменты, однако конкретный вариант квантования в README не указан. К сильным сторонам относятся развитые способности к рассуждению, программированию, многоязычному следованию инструкциям, переводу, многошаговым диалогам и работе в агентских задачах. Ограничениями являются значительный размер модели и, вероятно, высокие требования к памяти и вычислительным ресурсам; точные требования зависят от варианта GGUF и в README не приведены. Модель распространяется по лицензии Apache 2.0.

Карточка модели wujitang/Qwen3.8-27B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-27B, поэтому описание составлено по ней. Qwen3.8-27B — плотная мультимодальная модель семейства Qwen от команды Qwen. Это постобученная причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров и построенная на архитектурной основе Qwen3.5. Репозиторий включает веса и конфигурацию в формате Hugging Face Transformers; модель также совместима с vLLM, SGLang и другими средами инференса. Лицензия — Apache-2.0. Модель предназначена для диалогов, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Она принимает текст, изображения и видео и умеет разбирать документы, диаграммы и длительные видеоматериалы. Режим рассуждения включён по умолчанию, его можно отключить для отдельного запроса, а глубину настраивать параметром reasoning_effort. Контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN-блоки; предусмотрено обучение с Multi-Token Prediction. В карточке заявлены улучшения планирования и выполнения задач с учётом обратной связи среды, однако приведённые описания бенчмарков сами по себе не гарантируют качество в конкретном применении. Модель ориентирована на применение и распространяется по лицензии Apache-2.0.

QuantFactory/Qwen3-8B-GGUF — квантизированная версия языковой модели Qwen3-8B, созданная QuantFactory на основе модели Qwen/Qwen3-8B с использованием llama.cpp. Это каузальная языковая модель для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических рассуждений, перевода и сценариев с интеграцией внешних инструментов. Модель содержит 8,2 млрд параметров, из них 6,95 млрд без учёта embedding, и включает 36 слоёв. В архитектуре используется grouped-query attention (GQA) с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает более 100 языков и диалектов и умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых ответов. К сильным сторонам относятся универсальность, развитые способности к рассуждениям, программированию, многоязычным задачам, диалогам и работе с инструментами, а GGUF-квантизация ориентирована на локальный запуск через совместимые приложения и llama.cpp. Ограничения конкретной сборки зависят от выбранного уровня квантизации, который в карточке не указан: по сравнению с полноразмерной моделью возможна потеря качества, а требования к памяти и производительность определить нельзя. Модель распространяется по лицензии Apache 2.0.

Gemma 4 12B IT — мультимодальная модель Google DeepMind на архитектуре Gemma4 Unified, дообученная для следования инструкциям. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает диалоги, рассуждения, программирование и вызов инструментов. Модель подходит для локального развёртывания на потребительских устройствах и для задач с длинным контекстом до 256 тыс. токенов. Модель может анализировать изображения и документы, распознавать текст и рукописный ввод, разбирать диаграммы и интерфейсы, а также анализировать видео по кадрам. Для аудио доступны распознавание речи и перевод речи в текст. Семейство Gemma 4 поддерживает более 140 языков в обучении, а карточка сообщает о мультиязычных возможностях; точный список языков для этой версии не приведён. Модель распространяется под лицензией Apache 2.0. Как и другие генеративные модели, она может допускать фактические ошибки; результаты распознавания, перевода и анализа следует проверять. Для видеовхода анализ выполняется по последовательностям кадров.

Карточка модели manojbillionaire123/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Карточка модели muhamad-geosurge/invert-polarity-56159e64-0eb6-4eaa-9608-08f385da12bb на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Карточка модели muhamad-geosurge/invert-polarity-801e2f5f-c60d-45d9-80b6-41cb7e07aa5f на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Карточка модели muhamad-geosurge/invert-polarity-915c4ad5-7eb1-4a90-8bc2-947b54bd79d0 на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Llama 3.1 8B Instruct — текстовая генеративная языковая модель Meta, представленная в формате GGUF. Квантованные GGUF-файлы подготовлены несколькими участниками сообщества, включая bartowski, kaetemi и ddh0, а исходная модель — Meta-Llama-3.1-8B-Instruct от Meta. Модель предназначена для ассистентского диалога, генерации и обработки текста, работы с кодом, а также коммерческих и исследовательских сценариев на поддерживаемых языках. Она использует авторегрессионную оптимизированную архитектуру Transformer, Grouped-Query Attention, содержит около 8 миллиардов параметров и поддерживает контекст до 128 тысяч токенов. Входом и выходом служит мультиязычный текст; заявленные языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель обучалась на более чем 15 триллионах токенов, а дата отсечения знаний указана как декабрь 2023 года. Сильные стороны модели — большой контекст, относительно компактный размер, оптимизация для диалоговых сценариев и возможность локального использования благодаря формату GGUF. Ограничения включают статичность знаний, текстовую мультимодальность без поддержки изображений и аудио, а также официальное ограничение на использование языков, не перечисленных в карточке. Модель распространяется по кастомной коммерческой лицензии Llama 3.1 Community License; применение также должно соответствовать Acceptable Use Policy и действующему законодательству.

unsloth/Qwen3-4B-GGUF — GGUF-версия языковой модели Qwen3-4B, разработанной Alibaba Cloud и подготовленной Unsloth для запуска и дообучения в совместимых инструментах, включая llama.cpp, Ollama и Open WebUI. Модель предназначена для диалогов, следования инструкциям, генерации и анализа текста, математических и программных задач, многошагового рассуждения, творческого письма, ролевых сценариев, перевода и интеграции с внешними инструментами. Это авторегрессионная causal language model с 4,0 млрд параметров, из которых 3,6 млрд приходятся на нелучевые параметры, 36 слоями и архитектурой Grouped-Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, однако в карточке отдельно указан английский язык. Она умеет переключаться между режимами рассуждения и нерссуждения, что позволяет выбирать между качеством решения сложных задач и более быстрым ответом. К сильным сторонам относятся компактный размер, поддержка мультиязычных сценариев, рассуждения, программирования, агентных задач и гибкое переключение режимов работы. Ограничения включают неизвестные из этой карточки точные требования к ресурсам, результаты бенчмарков, перечень поддерживаемых языков с оценкой качества и особенности конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-FP8 — мультимодальная причинная языковая модель с vision-энкодером из семейства Qwen3.5, разработанная командой Qwen. Представленная версия содержит FP8-квантизированные веса и конфигурацию в формате Hugging Face Transformers и предназначена для локального или серверного вывода в Transformers, vLLM, SGLang, KTransformers и совместимых системах. Модель ориентирована на работу с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она поддерживает 201 язык и диалект, имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts: всего 35 млрд параметров, из которых активируются около 3 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий эксперт. В модели 40 слоёв и скрытая размерность 2048. Ключевое преимущество версии FP8 — существенно более эффективный по памяти и вычислениям вывод при заявленной производительности, почти идентичной исходной модели. Ограничения включают необходимость совместимой инфраструктуры и ПО для FP8-инференса, а также то, что README не приводит подробных сведений о фактических требованиях к оборудованию, безопасности и результатах по отдельным тестам для данной квантизированной версии. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-f32-GGUF — мультимодальная причинная языковая модель с 9 млрд параметров, основанная на Qwen3.5-9B и разработанная командой Alibaba Qwen. Данная версия распространяется в формате GGUF и предназначена для локального и серверного инференса с использованием llama.cpp, vLLM или SGLang. Модель обрабатывает текст, изображения и видео и рассчитана на OCR, визуальные вопросы и ответы, анализ документов, программирование, математические задачи, многоязычное рассуждение и создание мультимодальных агентов. Архитектура включает интегрированный vision encoder, гибридную схему Gated DeltaNet и Gated Attention, 32 слоя, скрытую размерность 4096, словарь из 248 тысяч токенов для 201 языка и нативный контекст до 262 тысяч токенов с возможностью расширения свыше 1 млн с помощью YaRN. Для обработки визуальных данных используется DeepStack ViT, включая временную динамику видео. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, длинный контекст, поддержка большого числа языков и возможность запуска на одном RTX 4090: около 18 ГБ в BF16 или 5 ГБ в 4-битном представлении. Ограничения включают требования к значительным вычислительным и видеоресурсам для полноразмерных вариантов, а также зависимость мультимодального инференса от отдельного файла mmproj. В репозитории доступны варианты BF16, F16, F32 и Q8_0, а также соответствующие мультимодальные проекции. Лицензия — Apache 2.0.

Карточка модели utkarsh2439/gemma-4-12B-it на Hugging Face совпадает с карточкой RedHatAI/gemma-4-12B-it, поэтому описание составлено по ней. Gemma 4 12B IT — мультимодальная модель Google DeepMind на архитектуре Gemma4 Unified, дообученная для следования инструкциям. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает диалоги, рассуждения, программирование и вызов инструментов. Модель подходит для локального развёртывания на потребительских устройствах и для задач с длинным контекстом до 256 тыс. токенов. Модель может анализировать изображения и документы, распознавать текст и рукописный ввод, разбирать диаграммы и интерфейсы, а также анализировать видео по кадрам. Для аудио доступны распознавание речи и перевод речи в текст. Семейство Gemma 4 поддерживает более 140 языков в обучении, а карточка сообщает о мультиязычных возможностях; точный список языков для этой версии не приведён. Модель распространяется под лицензией Apache 2.0. Как и другие генеративные модели, она может допускать фактические ошибки; результаты распознавания, перевода и анализа следует проверять. Для видеовхода анализ выполняется по последовательностям кадров.

Mungert/granite-3.2-8b-instruct-GGUF — это GGUF-версия Granite-3.2-8B-Instruct, разработанная командой Granite компании IBM и преобразованная пользователем Mungert с помощью llama.cpp. Модель содержит около 8 миллиардов параметров и предназначена для генерации текста, выполнения инструкций и задач, требующих рассуждений, с поддержкой управляемого режима thinking. Модель подходит для создания AI-ассистентов, суммирования документов и встреч, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), программирования, function calling, многоязычного диалога и работы с длинным контекстом. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Точная длина контекста для этой сборки в README не указана. Сильной стороной является сочетание возможностей рассуждения, многоязычности и адаптации к длинным документам. Сборка использует GGUF и экспериментальный подход к квантованию: отдельные важные слои переводятся на более высокую точность, что, по описанию автора, может повысить точность при сохранении относительно низкого битового уровня, но увеличивает размер файла. Ограничения включают зависимость характеристик от выбранного варианта квантования и отсутствие в карточке подробных бенчмарков, требований к аппаратному обеспечению и точного размера контекста. Модель распространяется по лицензии Apache 2.0.

MaziyarPanahi/Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и кода, а также для многоязычного диалога и других сценариев, где требуется следование инструкциям. Формат GGUF поддерживается llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio и text-generation-webui, что позволяет запускать модель локально с использованием CPU и GPU-ускорения. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA), содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; модель также генерирует код. Базовая модель обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных, а инструкционная версия дополнительно настраивалась с помощью supervised fine-tuning и RLHF для повышения полезности и безопасности. Ключевые преимущества этой версии — широкий контекст, многоязычность, поддержка диалоговых сценариев и возможность более экономичного локального запуска благодаря квантизации с вариантами от 2 до 8 бит. Ограничения включают текстовую модальность, статичность знаний с отсечкой декабря 2023 года и возможные компромиссы между размером квантизации, качеством и требованиями к ресурсам. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

Карточка модели Openintelligent123/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16, поэтому описание составлено по ней. Nemotron-3-Super-120B-A12B-BF16 — языковая модель NVIDIA для диалога, рассуждений и создания агентных систем. Она предназначена для разработчиков чат-ботов, RAG-систем и совместно работающих ИИ-агентов, а также для автоматизации больших потоков задач, например обработки ИТ-заявок. Модель поддерживает сложное следование инструкциям и работу с длинным контекстом. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и внимания в гибриде LatentMoE; также используются Multi-Token Prediction для ускорения генерации и 12 млрд активных параметров при 120 млрд общих. Карточка указывает контекст до 1 млн токенов, тогда как метаданные Hugging Face — 262 144 токена. Модель принимает текст и генерирует текст; заявлены английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Модель ориентирована на высокую пропускную способность, агентные сценарии, код, рассуждения и мультиязычный диалог. Карточка заявляет коммерческую готовность, но метаданные указывают лицензию «other», поэтому перед использованием следует проверить её условия. В опубликованном репозитории формат весов указан как safetensors; карточка описывает обучение с NVFP4, но это не означает, что репозиторий представляет квантизованную версию.

Spark-X2.5-4B — компактная универсальная языковая модель от XHToken, представленная в виде дообученного чекпойнта для Transformers. Она содержит 3,8 млрд параметров и использует плотную архитектуру Spark2_5 с чередованием одного слоя полного внимания и трёх слоёв скользящего оконного внимания. Модель рассчитана на контекст до 1 048 576 токенов и, по заявлению разработчиков, поддерживает более 200 языков. Модель предназначена для диалога, написания и перевода текстов, рассуждений, программирования, следования инструкциям, вызова инструментов и агентных сценариев. Разработчики сообщают о предварительном обучении на примерно 20 трлн токенов и последующем дообучении с учителем и усилением; веса доступны в формате Safetensors и совместимы с Transformers. Для эксплуатации заявлена поддержка нескольких аппаратных платформ и сред инференса, включая vLLM, SGLang, llama.cpp, MLX, Ollama и LM Studio. Модель распространяется по лицензии Apache-2.0. Окно в миллион токенов требует достаточной памяти устройства; в README советуют уменьшить длину контекста при нехватке памяти. Заявления о сравнительных результатах принадлежат разработчикам и зависят от режима оценки и настроек генерации.

Карточка модели sagnikdas-ml/gemma-4-12B-it на Hugging Face совпадает с карточкой RedHatAI/gemma-4-12B-it, поэтому описание составлено по ней. Gemma 4 12B IT — мультимодальная модель Google DeepMind на архитектуре Gemma4 Unified, дообученная для следования инструкциям. Она принимает текст, изображения, видео и аудио и генерирует текст; поддерживает диалоги, рассуждения, программирование и вызов инструментов. Модель подходит для локального развёртывания на потребительских устройствах и для задач с длинным контекстом до 256 тыс. токенов. Модель может анализировать изображения и документы, распознавать текст и рукописный ввод, разбирать диаграммы и интерфейсы, а также анализировать видео по кадрам. Для аудио доступны распознавание речи и перевод речи в текст. Семейство Gemma 4 поддерживает более 140 языков в обучении, а карточка сообщает о мультиязычных возможностях; точный список языков для этой версии не приведён. Модель распространяется под лицензией Apache 2.0. Как и другие генеративные модели, она может допускать фактические ошибки; результаты распознавания, перевода и анализа следует проверять. Для видеовхода анализ выполняется по последовательностям кадров.

RadixArk/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash-BF16 от Z.ai, подготовленная RadixArk. Это производный чекпойнт без дополнительного обучения или дообучения, созданный с помощью NVIDIA Model Optimizer 0.46.0. Модель предназначена для агентной разработки, программирования, рассуждений с длинным контекстом, работы с инструментами, диалогов и других приложений на базе ИИ. Модель использует гибридную архитектуру Transformer со sparse Mixture-of-Experts: 320 млрд параметров всего и около 18 млрд активных на токен. Архитектура включает 45 слоёв, 42 MoE-слоя с 288 маршрутизируемыми экспертами, общим экспертом, KDA linear attention, DSA sparse attention, MLA, vision encoder и механизмом MTP/NextN. Она принимает текст, изображения и видео, выдаёт текст, поддерживает английский и китайский языки и контекст до 1 048 576 токенов. Ключевая особенность чекпойнта — смешанная NVFP4 W4A4-квантизация с group size 16 и нормализацией tensor-scale 256. Большинство MLP-тензоров экспертов квантизировано, тогда как компоненты внимания, vision tower, маршрутизаторы, нормализация, эмбеддинги, языковая голова и другие критичные компоненты сохранены в исходной точности. Это снижает требования к памяти и делает модель пригодной для эффективного развёртывания, но требует совместимой инфраструктуры. Заявлена проверка на NVIDIA Blackwell, включая конфигурацию из четырёх GB300; основной runtime — SGLang под Linux. Для KV-кэша поддерживаются FP8 и BF16 варианты. Модель распространяется по лицензии MIT. Для запуска рекомендованы официальный образ SGLang GLM-5.3-Flash и конфигурация на четырёх GPU. RadixArk не является разработчиком исходной модели, поэтому сведения о её обучении, исходных возможностях и условиях использования следует уточнять в карточке GLM-5.3-Flash-BF16 от Z.ai.

QuantFactory/granite-3.1-2b-instruct-GGUF — это квантизированная версия Granite-3.1-2B-Instruct, созданная QuantFactory с использованием llama.cpp на базе модели IBM Granite. Исходную модель разработала команда Granite компании IBM; она выпущена 18 декабря 2024 года и предназначена для выполнения общих инструкций и создания AI-ассистентов в различных прикладных областях. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), задачи работы с кодом, function calling, многоязычный диалог и обработку длинного контекста, включая анализ документов и протоколов встреч. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Архитектура представляет собой плотный decoder-only Transformer примерно на 2,5 млрд параметров с 40 слоями, размером эмбеддингов 2048, Grouped Query Attention (GQA), позиционными представлениями RoPE, активацией SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Максимальная длина контекста составляет 128K токенов. Квантизация может снизить требования к ресурсам, однако конкретные характеристики зависят от выбранного GGUF-варианта. Модель ориентирована на универсальные текстовые и кодовые задачи, но README не приводит отдельные результаты бенчмарков или подробности ограничений квантизированных вариантов. Модель распространяется по лицензии Apache 2.0. Пользователям следует учитывать, что качество может различаться между поддерживаемыми языками, задачами и уровнями квантизации.

Granite-4.0-Tiny-Preview-GGUF — текстовая instruct-модель семейства Granite, разработанная командой Granite компании IBM. Это конвертированная в формат GGUF версия базовой модели ibm-granite/granite-4.0-tiny-base-preview с различными вариантами квантования. Модель содержит около 7 млрд параметров и использует мелкозернистую гибридную архитектуру mixture-of-experts (MoE). Она дообучалась с применением supervised fine-tuning и методов выравнивания на основе reinforcement learning, включая открытые наборы инструкций и синтетические данные для задач с длинным контекстом. Модель предназначена для общего следования инструкциям и интеграции в AI-ассистентов, в том числе в бизнес-приложениях. Она поддерживает рассуждение, суммаризацию, классификацию и извлечение текста, ответы на вопросы, retrieval-augmented generation (RAG), работу с кодом, function calling, многоязычный диалог и обработку длинных документов и встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; модель также можно дообучать для других языков. Сильными сторонами являются сочетание компактного размера, MoE-архитектуры, широкого набора прикладных сценариев, многоязычности и ориентации на длинноконтекстные задачи. README не содержит точного размера контекстного окна, результатов benchmark-тестов, сведений о конкретных квантованиях и подробных ограничениях качества, поэтому эти характеристики требуют дополнительной проверки. Модель распространяется по лицензии Apache 2.0.