II.10Разработка и эксплуатация AI/ML-систем

duolaf/Qwen3.5-27B-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen; репозиторий подготовлен с использованием инструментов и вариантов квантования Unsloth. Модель предназначена для локального запуска и поддерживает задачи работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии, работу с длинным контекстом и вызов инструментов. Модель представляет собой каузальную языковую модель с vision encoder и содержит 27 млрд параметров. В её основе лежит гибридная архитектура, объединяющая Gated DeltaNet и разреженную Mixture-of-Experts; указаны 64 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступно отключение режима рассуждений через параметр chat-template. Сильными сторонами модели являются мультимодальность, большой контекст, поддержка широкого набора языков и оптимизация для эффективного локального вывода. Ограничения конкретных GGUF-вариантов, включая требования к памяти, скорость и степень потери качества, зависят от выбранного уровня квантования и используемого программного обеспечения; в README они подробно не указаны. Модель распространяется по лицензии Apache-2.0.

QwQ-LCoT-14B-Conversational — плотная языковая модель на архитектуре Qwen2, созданная Prithiv ML Mods дообучением Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов с длинным контекстом, пошаговых рассуждений, следования сложным инструкциям и генерации текста. Модель содержит 14 млрд параметров, использует формат safetensors и рассчитана на контекст до 32 768 токенов по метаданным Hugging Face; README заявляет поддержку до 128 000 токенов, поэтому фактический предел требует проверки в используемой конфигурации. Модель работает с текстом и имеет интерфейс для вызова инструментов. В README отмечены сценарии решения математических и кодовых задач, многоязычного общения, генерации JSON и таблиц, создания длинных материалов и работы чат-ботов. Заявлена поддержка более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский; основное назначение не ограничено одним языком. Лицензия — Apache-2.0. Среди ограничений указаны возможные ошибки в сложных рассуждениях и специализированных темах, различия в качестве между языками, потеря связности на очень длинном контексте, унаследованные смещения и повышенные требования к вычислительным ресурсам.

Calcium-Opus-14B-Elite4 — диалоговая языковая модель на архитектуре Qwen2, дообученная prithivMLmods на базе Qwen/Qwen2.5-14B-Instruct. Она предназначена для генерации текста с акцентом на многошаговые рассуждения, решение математических задач и работу с кодом. Модель поддерживает инструкции, длинные ответы, таблицы и структурированный вывод, включая JSON; заявленная длина контекста составляет 131 072 токена, а генерация — до 8 000 токенов за ответ. Карточка заявляет поддержку более 29 языков, в том числе русского и английского. Модель подходит для чат-ботов, объяснений, анализа структурированных данных, написания и отладки кода, а также создания длинных материалов. В репозитории указаны веса Safetensors и библиотека Transformers; лицензия — Apache-2.0. Качество может различаться между языками; возможны повторы и ошибки в длинных ответах, а знания о текущих событиях ограничены данными обучения. Для запуска 14-миллиардной модели с длинным контекстом требуются значительные вычислительные ресурсы. README противоречиво указывает размер модели как 20B в разделе ограничений, тогда как метаданные и название указывают 14B.

Cohere Command A Reasoning — авторегрессионная языковая модель с открытыми весами, разработанная Cohere и Cohere Labs. Модель на 111 млрд параметров предназначена для диалогов, агентных сценариев и работы с внешними инструментами; она поддерживает режим рассуждений, который можно включать для повышения качества или отключать ради меньшей задержки. Модель принимает текст и генерирует текст. Она обучена на 23 языках и поддерживает контекст до 256 тыс. токенов и генерацию до 32 тыс. токенов. Архитектура использует Transformer с чередованием слоёв скользящего внимания и глобального внимания; после предварительного обучения модель прошла дообучение с учителем и обучение на предпочтениях. Для работы с инструментами и цитированием результатов предусмотрен шаблон диалога Transformers. Модель подходит для многоязычного диалога, сложных запросов с рассуждением, вызова инструментов и агентных рабочих процессов. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование без отдельного согласования с Cohere; также необходимо соблюдать Acceptable Use Policy Cohere Labs. Для загрузки модели README рекомендует версию Transformers из исходного репозитория с необходимыми изменениями.

EXAONE-4.0-32B-AWQ — квантованная версия языковой модели EXAONE 4.0, разработанная LG AI Research. Это авторегрессионная модель для генерации текста, поддерживающая обычный режим работы и режим рассуждений, а также агентное использование с вызовом инструментов. Модель предназначена для диалоговых систем, решения сложных задач, генерации и обработки текста и сценариев, требующих многошагового рассуждения. Модель содержит 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует архитектуру GQA с 40 attention heads и 8 KV heads. Для 32B-версии применяется гибридное внимание: локальное sliding-window attention и глобальное full attention в соотношении 3:1, а также архитектурный подход QK-Reorder-Norm. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Поддерживаются английский, корейский и испанский языки. Версия AWQ использует 4-битное группавое weight-only квантование W4A16g128, что снижает требования к памяти по сравнению с полноразмерной моделью. Сильные стороны модели — сочетание общего режима генерации и reasoning mode, поддержка многоязычных сценариев, длинного контекста и tool calling. Ограничения включают необходимость корректной настройки параметров sampling в режиме рассуждений, а также потенциальные потери качества, связанные с 4-битным квантованием. Модель распространяется по лицензии EXAONE; в карточке указано обозначение лицензии other и ссылка на файл LICENSE.

unsloth/gemma-3-12b-it-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 12B, подготовленная Unsloth на базе google/gemma-3-12b-it. Семейство Gemma разработано Google DeepMind на основе технологий, использованных при создании Gemini. Модель предназначена для генерации текста и понимания изображений: она принимает текстовые запросы, документы и изображения, а на выходе формирует текстовые ответы, summaries, анализ содержимого изображений и результаты рассуждений. Модель мультимодальная, поддерживает более 140 языков и имеет контекстное окно до 128K токенов для версии 12B; максимальный объём генерируемого ответа составляет 8192 токена. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Квантование в формате bnb-4bit снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения на ограниченных ресурсах, включая ноутбуки, настольные компьютеры и собственную облачную инфраструктуру. Сильные стороны модели — сочетание относительно компактного размера, мультимодальности, большого контекстного окна, многоязычности и пригодности для задач вопросно-ответного взаимодействия, суммаризации, генерации текста и анализа изображений. Ограничения включают возможное снижение точности из-за 4-битного квантования, а также то, что модель генерирует только текст и не предназначена для вывода изображений. Использование регулируется лицензией и условиями Gemma; в карточке указана лицензия gemma.

unsloth/gemma-4-12b — мультимодальная версия Gemma 4 12B, подготовленная Unsloth на базе google/gemma-4-12B. Это плотная модель семейства Gemma 4 с архитектурой Gemma4UnifiedForConditionalGeneration, предназначенная для обработки изображений и текста и генерации текстовых ответов. В карточке указаны гибридное внимание с локальными скользящими окнами и глобальными слоями, поддержка контекста до 256K токенов для Gemma 4 12B, а также возможности понимания изображений и видео, распознавания текста на изображениях, работы с кодом и вызова инструментов. Модель подходит для диалогов, анализа документов и графиков, распознавания объектов, чтения экранов интерфейсов, генерации и исправления кода, а также для агентных сценариев со структурированным вызовом инструментов. Семейство Gemma 4 поддерживает более 35 языков «из коробки»; README также указывает аудиовозможности для 12B, включая распознавание речи и перевод речи в текст. Формат файлов этого репозитория — safetensors. Лицензия — Apache-2.0. Качество ответов зависит от формулировки запроса и охвата обучающих данных; модель может ошибаться в фактах, испытывать трудности с тонкими языковыми нюансами и сложными открытыми задачами, а также воспроизводить смещения данных. README описывает возможности семейства Gemma 4 в целом, поэтому отдельные заявления о сценариях следует сверять с поведением именно этого чекпойнта.

Карточка модели eyentsign/gemma-4-31B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-31B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46 подготовил Gemma 4 31B IT Uncensored Heretic — дообученную версию мультимодальной Gemma 4 31B IT от Google DeepMind. В README указано изменение компонента attn.o_proj; модель предназначена для диалогов, рассуждений, агентных сценариев, программирования и понимания изображений. Она принимает текст и изображения, поддерживает вызов инструментов и может разбирать документы, графики и интерфейсы, извлекать текст с изображений и отвечать на вопросы по визуальному содержимому. В основе — плотная архитектура Gemma4ForConditionalGeneration с чередованием локального скользящего и глобального внимания. Для исходной модели Gemma 4 31B IT заявлен контекст до 256 тысяч токенов и поддержка более 35 языков; метаданные указывают Transformers и формат safetensors. README также описывает видео и аудио для семейства Gemma 4, однако аудио заявлено только для вариантов E2B и E4B, поэтому здесь эти возможности не приписываются версии 31B. Карточка предупреждает о возможных фактических ошибках, предвзятости и трудностях с неоднозначностью и сложными открытыми задачами. Название «uncensored» указывает на изменённую фильтрацию, но карточка не описывает её конкретный эффект. Лицензия — Apache-2.0.

llmfan46 подготовил Gemma 4 31B IT Uncensored Heretic — дообученную версию мультимодальной Gemma 4 31B IT от Google DeepMind. В README указано изменение компонента attn.o_proj; модель предназначена для диалогов, рассуждений, агентных сценариев, программирования и понимания изображений. Она принимает текст и изображения, поддерживает вызов инструментов и может разбирать документы, графики и интерфейсы, извлекать текст с изображений и отвечать на вопросы по визуальному содержимому. В основе — плотная архитектура Gemma4ForConditionalGeneration с чередованием локального скользящего и глобального внимания. Для исходной модели Gemma 4 31B IT заявлен контекст до 256 тысяч токенов и поддержка более 35 языков; метаданные указывают Transformers и формат safetensors. README также описывает видео и аудио для семейства Gemma 4, однако аудио заявлено только для вариантов E2B и E4B, поэтому здесь эти возможности не приписываются версии 31B. Карточка предупреждает о возможных фактических ошибках, предвзятости и трудностях с неоднозначностью и сложными открытыми задачами. Название «uncensored» указывает на изменённую фильтрацию, но карточка не описывает её конкретный эффект. Лицензия — Apache-2.0.

Карточка модели balajiduraisamy/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Карточка модели AndresDevelopers/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Карточка модели jihui19499/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Карточка модели ravan011/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

Карточка модели sunshaohui/GLM-5.2 на Hugging Face совпадает с карточкой Ares-Realm-Studios/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — большая языковая модель от Ares-Realm-Studios для продолжительных задач, диалогов и программирования. Она построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 1 048 576 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для многошаговой работы с длинным контекстом, включая анализ материалов и разработку программного кода. В README заявлены гибкие уровни усилий рассуждения и оптимизации для обработки контекста в миллион токенов; для локального запуска перечислены Transformers, vLLM, SGLang и другие среды. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии MIT. Заявленные возможности и результаты приведены авторами; практическое качество может зависеть от сценария и настроек запуска.

QuantFactory/granite-3.1-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.1-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM Granite. Это инструкционная языковая модель для генерации текста и построения AI-ассистентов в различных прикладных областях, включая бизнес-сценарии. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), задач, связанных с кодом, function calling, многоязычного диалога и обработки длинного контекста, включая анализ документов и совещаний. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Исходная модель использует decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она относится к sparse MoE-архитектуре с 1,3 млрд параметров, из которых активно используется около 400 млн; включает 24 слоя, 32 эксперта и выбирает 8 экспертов на токен. Максимальная длина последовательности — 128K токенов. Квантизация может снизить требования к памяти и упростить локальный запуск, однако README не указывает конкретные форматы квантизации, их точность и совместимость. Модель выпущена под лицензией Apache 2.0.

unsloth/Mistral-Small-24B-Instruct-2501-GGUF — квантизированная версия 24-миллиардной Mistral Small 3 (2501), разработанной командой Mistral AI и опубликованной Unsloth в формате GGUF. Это instruction-tuned модель на базе Mistral-Small-24B-Base-2501, предназначенная для диалоговых приложений, генерации текста, локального инференса, function calling, выдачи JSON и создания специализированных предметных ассистентов после дообучения. Модель поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Заявлены сильные conversational и reasoning-возможности, поддержка системных промптов и контекстное окно 32K токенов. Используется токенизатор Tekken со словарём размером 131K; конкретная архитектура и параметры квантизации в предоставленном README не указаны. К сильным сторонам относятся высокая плотность знаний, низкая задержка, нативные возможности для агентных сценариев и возможность локального запуска после квантизации, в том числе на RTX 4090 или MacBook с 32 ГБ оперативной памяти. Ограничения включают отсутствие подробных данных о вариантах квантизации, требованиях к оборудованию и результатах независимых оценок; заявленные преимущества основаны на материалах разработчика. Модель распространяется по лицензии Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

OceanLabs/Ocean-1-4B-DSpark — дообученная компактная языковая модель общего назначения, основанная на D-Spark-4B и разработанная OceanLabs. Она предназначена для диалогов, написания и перевода текстов, рассуждений, повседневного программирования, вызова инструментов и агентных сценариев. Модель содержит 3,5 млрд параметров по метаданным и использует плотную архитектуру DSparkForCausalLM с чередованием слоёв скользящего и разреженного полного внимания. Контекстное окно достигает 1 048 576 токенов; заявлена поддержка более 200 языков. Модель оптимизирована для эффективного инференса на маломощных устройствах: архитектура снижает расход памяти KV-кэша и вычисления при работе с длинным контекстом. Указана совместимость с NVIDIA, Apple Silicon и CPU, а также с распространёнными средствами запуска и агентными фреймворками. В README приведены параметры базовой модели D-Spark-4B, отличающиеся от размера в метаданных; здесь указан размер из метаданных каталога. Репозиторий распространяется под лицензией Apache-2.0.

duyntnet/Qwen2.5-7B-Instruct-imatrix-GGUF — набор imatrix-квантизированных версий инструкционно дообученной текстовой модели Qwen2.5-7B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий предназначен для локального запуска и генерации текста через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой авторегрессионную causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами запросов и 4 головами ключей и значений. Модель ориентирована на диалог, следование инструкциям, генерацию длинных текстов, работу со структурированными данными и создание структурированных ответов, включая JSON, а также на задачи программирования и математики. Поддерживается более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. При этом исходная конфигурация рассчитана на 32 768 токенов; для работы с более длинными входами требуется включение расширения YaRN с указанными параметрами. Квантизация снижает требования к ресурсам и упрощает локальный запуск, но конкретные характеристики качества, скорости и потребления памяти зависят от выбранного варианта GGUF. В репозитории указана лицензия other, без подробного описания условий использования.

Qwen3.5-2B-MTP-GGUF — набор GGUF-файлов, подготовленный prithivMLmods на основе Qwen3.5-2B от команды Qwen компании Alibaba. Это компактная плотная мультимодальная модель примерно на 2 млрд параметров с поддержкой текста, изображений и видео. Модель ориентирована на локальный запуск на потребительском оборудовании и доступна в вариантах от Q2_K до BF16, а также с отдельными мультимодальными проекторами mmproj. Архитектура включает 24 слоя с гибридным сочетанием Gated DeltaNet и Gated Attention, скрытым размером 2048, 8 Q-heads и 2 KV-heads с размерностью головы 256. Заявлены словарь на 248 тысяч токенов, поддержка 201 языка и нативное контекстное окно 262 тысячи токенов с возможностью расширения свыше 1 млн токенов через YaRN. Формат MTP добавляет несколько выходных голов для предсказания будущих токенов и может ускорять спекулятивное декодирование без отдельной draft-модели. Модель предназначена для мультиязычных чат-ботов, визуальных вопросов и ответов, OCR, разбора документов, агентских сценариев, вызова инструментов и генерации кода для интерфейсов. Среди заявленных характеристик — режим пошагового рассуждения, поддержка vLLM, Ollama и llama.cpp, а также показатели 78,6% на IFEval, 66,5% на MMLU-Pro с включённым режимом рассуждения, 84,5% на OCRBench и 75,6% на VideoMME. Преимуществами являются малый размер, мультимодальность и широкий контекст; итоговое качество, скорость и требования к памяти зависят от выбранного типа квантизации, а для работы с изображениями и видео требуются соответствующие файлы mmproj. Распространяется по лицензии Apache 2.0.

Qwen3.5-9B Q4_K_M GGUF — это 4-битная квантованная версия языково-мультимодальной модели Qwen3.5-9B, первоначально разработанной Alibaba Cloud. Конвертацию в формат GGUF выполнила Unsloth, а квантование и оптимизацию для локального запуска на устройствах Apple — jc-builds. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, использования инструментов, анализа изображений и работы с документами и видео. Она поддерживает режим рассуждений с блоками <think>...</think>, ChatML-формат запросов и ориентирована прежде всего на приватный автономный запуск через llama.cpp, включая iPhone, iPad и Mac с Apple Silicon. Для iOS она доступна в приложении HaploAI. Архитектура сочетает Gated DeltaNet и полное Gated Attention в соотношении 3:1 и включает 32 слоя, скрытое измерение 4096, GQA с 16 query-heads и 4 KV-heads, а также FFN с промежуточным размером 12288. Модель содержит около 9 млрд параметров, занимает примерно 5,3 ГБ, поддерживает контекст до 262 144 токенов с возможностью расширения свыше 1 млн через YaRN и заявляет поддержку 201 языка и диалекта, включая русский, английский, китайский, японский, корейский и европейские языки. Нативная мультимодальность основана на раннем слиянии визуальных данных. К сильным сторонам относятся высокая заявленная эффективность для модели такого размера, большой контекст, мультимодальность, широкий языковой охват и возможность локального использования без передачи данных в облако. Ограничения включают значительные требования к памяти: для комфортной работы рекомендуется устройство с минимум 8 ГБ RAM, а на старых iPhone с 6 ГБ модель не рекомендуется. Приведённые результаты бенчмарков и скорости зависят от реализации, устройства и настроек запуска.

Umranz/Qwen3.8-27B-heretic — версия Qwen3.8-27B с ослабленным отказом от ответов, созданная с помощью Heretic v1.4.0. Это плотная мультимодальная модель типа причинной языковой модели с визуальным энкодером, содержащая 27 млрд параметров и совместимая с Transformers, vLLM и SGLang. Модель предназначена для диалогов и многошаговых задач с текстом, изображениями и видео: анализа документов и диаграмм, программирования, исследований и агентных сценариев. Поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 млн токенов. Модель унаследовала архитектуру Qwen3.5; README приводит параметры абляции и сравнение с исходной моделью, но не описывает отдельные языки. По сравнению с исходной Qwen3.8-27B модель сильнее отклоняется от её поведения: в README указаны оценка Keywords 59/100 против 94/100 и KL divergence 0,0101. Это может быть важно при выборе версии с меньшим числом отказов, но само по себе не гарантирует качество или безопасность ответов. Лицензия — Apache-2.0.

duyntnet/Qwen3-8B-imatrix-GGUF — набор квантованных версий модели Qwen3-8B, опубликованный пользователем duyntnet на основе Qwen/Qwen3-8B. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, программирования, творческого письма, ролевого общения, перевода и агентских сценариев с интеграцией внешних инструментов. Это авторегрессионная causal language model с 8,2 млрд параметров, включая 6,95 млрд параметров без учёта эмбеддингов. Архитектура содержит 36 слоёв и использует Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов. Она допускает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Формат GGUF и imatrix-квантизации ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие интерфейсы. Потенциальные ограничения связаны с потерями качества, зависящими от выбранного уровня квантизации, а также с требованиями к памяти и производительности оборудования; конкретные параметры для отдельных файлов в README не указаны. Лицензия обозначена как other, без уточнения дополнительных условий использования.

Карточка модели exolabs/Step-3.7-Flash-IQ3_XXS-dequant-bf16-vllm на Hugging Face совпадает с карточкой stepfun-ai/Step-3.7-Flash, поэтому описание составлено по ней. StepFun разработала Step 3.7 Flash — мультимодальную модель со смесью экспертов (MoE), предназначенную для высоконагруженных рабочих процессов. Она содержит 198 млрд параметров, из которых около 11 млрд активируются на каждом токене; включает языковую часть на 196 млрд параметров и визуальный энкодер на 1,8 млрд. Модель принимает изображения и текст, поддерживает контекст до 256 тыс. токенов и три уровня рассуждений: низкий, средний и высокий. Модель предназначена для понимания изображений, анализа больших документов, многошагового поиска и проверки фактов, оркестрации инструментов и API, а также для задач разработки ПО — например, поиска ошибок в репозиториях и подготовки исправлений. Заявленная скорость генерации достигает 400 токенов в секунду. Карточка описывает её как модель для производственных нагрузок; доступны варианты развёртывания через облачные платформы и локальные средства инференса. Репозиторий использует библиотеку Transformers и формат Safetensors. Лицензия — Apache-2.0. В метаданных указан английский язык; README не подтверждает поддержку других естественных языков.

A.X K2 — крупная языковая модель класса Mixture-of-Experts, разработанная SK Telecom в рамках южнокорейского государственного проекта Sovereign AI. Это преемник A.X K1 и агентная foundation-модель, обученная с нуля для понимания корейского языка и культуры, а также работы с многоязычными и программными данными. Модель предназначена для генерации текста, следования инструкциям, сложного рассуждения, решения задач и агентных сценариев. Она поддерживает управляемые режимы Think для многошагового рассуждения и Non-Think для кратких ответов с низкой задержкой. Используются английский, корейский, китайский, японский и испанский языки. Архитектура представляет собой decoder-only Transformer с 688 млрд параметров, из которых 33 млрд активируются на каждом токене: 256 маршрутизируемых экспертов, один общий эксперт и выбор восьми экспертов для токена. Модель содержит 61 слой, 64 attention heads и поддерживает контекст до 262 144 токенов; длина 256K достигнута расширением с 128K с помощью YaRN. Ключевые особенности A.X K2 — Multi-head Latent Attention со Sparse Gated Attention для более эффективной работы с длинным контекстом, Gated Norm для стабильного обучения и подавления выбросов активаций, а также нативное обучение в FP8. Чекпойнт предоставляется в block-scaled FP8 E4M3, что уменьшает требования к памяти и подходит для эффективного FP8-инференса без отдельной постквантизации. Ограничения включают высокие системные требования, обусловленные общим объёмом параметров, а также потенциальные риски и ограничения качества, свойственные большим языковым моделям; конкретные результаты бенчмарков в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели ApocalypseParty/G4-31B-SFT-v5-2 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

GDN-primed-HQwen3-8B-Instruct — созданная Amazon инструкционная гибридная языковая модель на базе Qwen3-8B. В ней 18 слоёв Attention и 18 слоёв Gated DeltaNet (GDN), то есть половина слоёв внимания заменена на слои модели пространства состояний. Модель содержит около 7,6 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов; веса доступны в формате safetensors, библиотека — Transformers. Модель предназначена для диалогов и выполнения инструкций, включая генерацию текста, ответы на вопросы, задачи с длинным контекстом, код и рассуждения. По данным разработчика, гибридная архитектура может ускорять генерацию на длинных последовательностях и снижать расход памяти на KV-кэш при близком к базовой трансформерной модели качестве. Это инструкционная модель, не рассчитанная на выдачу chain-of-thought токенов; вызов инструментов не поддерживается. Лицензия — Apache 2.0.

unsloth/gemma-4-31B — дообученная Unsloth версия мультимодальной плотной модели Gemma 4 31B от Google DeepMind. Она принимает текст и изображения и формирует текстовые ответы; заявленные сценарии включают диалог, рассуждения, программирование и визуальный анализ. Модель использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для семейства Gemma 4 31B заявлено контекстное окно до 256 тыс. токенов и поддержка более 35 языков; эти характеристики указаны для семейства, а не подтверждены отдельно для данной версии. Подходит для анализа изображений, извлечения текста из документов и графиков, ответов на вопросы по визуальному содержимому, генерации и исправления кода, суммаризации и диалоговых помощников. Карточка также описывает вызов функций и обработку видео для Gemma 4, но метаданные этой модели подтверждают только обработку изображений и текста. Аудио поддерживают только варианты E2B и E4B, поэтому эти возможности не относятся к версии 31B. Модель распространяется по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, а результаты зависят от качества обучающих данных и формулировки запроса.

unsloth/gemma-4-E2B — вариант Gemma 4 E2B от Unsloth, основанный на дообученной Google Gemma 4 E2B от Google DeepMind. Это плотная мультимодальная модель генерации текста по текстовым и визуальным входам; для семейства Gemma 4 заявлены гибридное внимание с локальными и глобальными слоями, режим пошагового рассуждения и контекст до 128 тысяч токенов для E2B. В репозитории указаны веса safetensors и лицензия Apache 2.0. Модель подходит для диалогов, генерации и исправления кода, суммаризации, ответов по изображениям, OCR, распознавания объектов, разбора документов, графиков и интерфейсов, а также агентных сценариев с вызовом инструментов. Семейство поддерживает более 35 языков; README также сообщает о возможностях аудио для E2B, но метаданные данного репозитория подтверждают только зрительную модальность и задачу image-text-to-text. Среди ограничений — возможные фактические ошибки, смещения и трудности с неоднозначностью, сложными открытыми задачами и тонкими языковыми нюансами.

gemma4-E2B-it-qat-Q4-unsloth-heretic — модифицированная instruction-tuned модель семейства Gemma 4 E2B. Базовую модель разработала Google DeepMind, веса подготовлены в формате Unsloth, а данная сборка опубликована MobiusDevelopment и обработана инструментом Heretic. Из модели удалено встроенное поведение отказа отвечать на отдельные запросы («abliteration» или decensoring), при этом заявлено сохранение общих возможностей базовой модели. Модель предназначена для генерации текста, диалоговых и агентских сценариев, программирования, дополнения и исправления кода, function calling и задач, требующих обработки длинного контекста. Gemma 4 E2B поддерживает текстовые и графические входы, а также аудио; выводом является текст. Заявлены понимание изображений, OCR, анализ документов и PDF, интерфейсов и графиков, распознавание речи и перевод речи в текст, встроенный режим пошагового рассуждения и мультиязычная работа более чем со 140 языками. Архитектура использует гибридное внимание с чередованием локального sliding-window и глобального внимания, Per-Layer Embeddings и Proportional RoPE. Вариант E2B имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоёв, окно локального внимания 512 токенов, контекст до 128K токенов и словарь размером 262 тысяч токенов. Доступны bf16 safetensors для полной мультимодальной версии, текстовый GGUF Q4_K_M и отдельные vision/audio mmproj GGUF. Главная особенность и одновременно ограничение сборки — отсутствие встроенных отказов, поэтому её ответы требуют дополнительного контроля безопасности; качество после модификации может отличаться от базовой модели. Использование регулируется лицензией Gemma и условиями Google Gemma Terms of Use; в метаданных также указана лицензия Apache-2.0.

Gemma 4 E4B Instruct QAT Mobile — мультимодальная модель Google DeepMind с плотной архитектурой Gemma 4ForConditionalGeneration, дообученная для следования инструкциям и оптимизированная с помощью Quantization-Aware Training для мобильного оборудования. Эта версия распространяется в формате compressed-tensors и использует схему wNa8o8 с 2-битными слоями декодирования, оптимизированным KV-кэшем и статическими активациями, чтобы снизить требования к памяти при запуске на устройстве. Модель принимает текст и изображения, а для варианта E4B также поддерживает аудио; выдаёт текст. Она предназначена для диалогов, генерации и редактирования кода, рассуждений, извлечения сведений из изображений и документов, OCR, понимания видео и агентных сценариев с вызовом инструментов. Для E4B заявлено контекстное окно 128K токенов; семейство Gemma поддерживает более 140 языков при предварительном обучении. Модель может работать на мобильных устройствах и других локальных системах с ограниченными ресурсами. Модель доступна по лицензии Apache 2.0. Качество и скорость на конкретном устройстве зависят от реализации и аппаратного обеспечения; QAT снижает расход памяти, но отдельные слои используют низкую разрядность. Карточка описывает аудио-возможности семейства, однако не уточняет их точный охват для этой сборки.