II.1Анализ требований и архитектура ПО

Ring-flash-linear-2.0 — открытая языковая модель от InclusionAI, полученная дальнейшим обучением inclusionAI/Ling-flash-base-2.0 на дополнительном триллионе токенов. Она предназначена для диалога и генерации текста, включая задачи рассуждения, математики, программирования, науки и творческого письма; также поддерживает интерфейс вызова инструментов. Модель на 5,5 млрд параметров построена на разреженной MoE-архитектуре Bailing с гибридным вниманием: линейное внимание сочетается со стандартным, а для ускорения генерации используются MTP-слои. По данным разработчика, активируется 6,1 млрд параметров, заявлена производительность на уровне плотной модели 40B и контекст до 128 тысяч токенов. Метаданные указывают английский язык; в README заявлены высокая эффективность инференса и результаты на уровне сопоставимых моделей в выбранных тестах. Для запуска README приводит варианты на Transformers, SGLang и vLLM с дополнительными пакетами и версиями зависимостей. Модель распространяется по лицензии MIT. Заявления о скорости и качестве основаны на оценках разработчика; README не приводит в представленном тексте подробностей о наборах данных и ограничениях ответов.

Ring-mini-2.0 — диалоговая языковая модель InclusionAI на архитектуре Mixture of Experts (MoE), основанная на Ling 2.0. Модель дообучена с применением SFT, обучения с проверкой результатов (RLVR) и RLHF; метаданные указывают 1,2 млрд параметров, тогда как README сообщает 16,8 млрд общих и 1,4 млрд активируемых параметров. В метаданных заявлена длина контекста 32 768 токенов, а README — поддержка до 128 тысяч токенов с YaRN. Модель предназначена для генерации текста и диалогов, включая сложные рассуждения, логические и математические задачи, а также генерацию кода. Разреженная MoE-архитектура рассчитана на эффективный инференс; README приводит показатели скорости на оборудовании H20, которые зависят от конфигурации развертывания. Подтверждённого списка поддерживаемых естественных языков в предоставленных данных нет. Модель распространяется по лицензии MIT. Заявленные в README результаты на бенчмарках и скорость инференса не являются гарантией качества или производительности в конкретной среде.

Merlinoz11/Solar-Open2-Apex-GGUF — GGUF-версия модели Solar Open 2 от Upstage, семейства больших языковых моделей с открытыми весами. Это модель с архитектурой Hybrid-Attention Mixture-of-Experts: всего около 250 млрд параметров, из которых на каждом токене активируются примерно 15 млрд. Гибридное чередование линейного и обычного внимания рассчитано на эффективную генерацию в длинном контексте; базовая модель поддерживает контекст до 1 048 576 токенов. Модель предназначена для агентных сценариев: многошагового рассуждения и выполнения задач, вызова инструментов, работы с документами, офисных задач и программирования. README описывает поддержку английского, корейского и японского языков. В метаданных этой копии указаны задача text-generation, чат-возможности и формат GGUF; отдельная специализация данного репозитория сверх базовой модели не уточняется. Для запуска полной модели README приводит конфигурацию с восемью GPU, каждый с памятью не менее 141 ГБ; фактические требования зависят от длины контекста и настроек. GGUF может быть удобен для локального развёртывания, но карточка этой копии не сообщает точный уровень квантизации или требования к ресурсам. Лицензия обозначена как other, поэтому условия использования следует проверять в исходной карточке и документах лицензии Upstage.

Swift 1.5 Qwen3.8-27B — дообученная UkisAI мультимодальная модель рассуждений на базе Qwen/Qwen3.8-27B. Она предназначена для диалогов, программирования и многошаговых задач, включая работу с агентами и терминалом; заявленная цель дообучения — сократить лишние рассуждения и ускорить решение задач при сохранении качества. Модель имеет плотную архитектуру Qwen3.5, содержит 27 млрд параметров и принимает текст и изображения; в метаданных также указаны интерфейс вызова инструментов и поддержка vision. В README описаны оценки на задачах кодирования и агентного взаимодействия, а также тестирование с контекстом до 262 144 токенов. По данным разработчика, Swift 1.5 использует меньше токенов рассуждений и быстрее базовой модели на ряде задач; приведённые результаты зависят от задачи и режима оценки. Для использования доступны контрольная точка BF16 и отдельные квантованные экспорты. Лицензия указана как other; README ссылается на отдельные условия enterprise-лицензирования, поэтому перед применением следует проверить условия в карточке модели.

Swift-Qwen3.8-27B — производная модель UkisAI на основе Qwen/Qwen3.8-27B, дообученная для более экономного пошагового рассуждения. По описанию разработчика, она использует на 58,3% меньше токенов рассуждения при потере качества менее 1% и ускоряет выполнение ряда задач примерно в 1,95 раза; также сообщается о меньшем числе ошибок из-за избыточных рассуждений. В обучении штрафовалось использование отдельных маркеров рассуждения, а дополнительный компонент переноса знаний получен от ThinkingCap-Qwen3.6-27B. Модель предназначена для диалогов и сложных задач, включая программирование, и поддерживает анализ изображений согласно метаданным. Разработчик оценивает её на разных уровнях reasoning effort и указывает на применение в квантованных развёртываниях; доступны веса safetensors и версия GGUF для совместимых сред llama.cpp. Для оценки приводятся результаты сравнений с базовой моделью, однако таблицы бенчмарков в доступном README опущены. Контекст базовой модели указан как 262 144 токена в настройках тестирования. Лицензия в метаданных обозначена как other; README сообщает о бесплатном API для исследовательского использования, но это не устанавливает условия лицензии самих весов.

Tess-2.0-Llama-3-70B — универсальная языковая модель для диалога и генерации текста, разработанная Migtissera; вычислительные ресурсы для обучения предоставила KindoAI. Это плотная autoregressive-модель семейства Llama 3 на архитектуре LlamaForCausalLM с 69,5 млрд параметров и контекстом до 8192 токенов. Она принимает текстовые инструкции и выдаёт текст, поддерживает формат диалога Llama 3. Модель дообучена на базе meta-llama/Meta-Llama-3-70B в течение двух эпох на наборе Tess-2.0, который по принципам LIMA включает около 100 тысяч высококачественных примеров по программированию и общим темам. Подходит для диалоговых помощников, ответов на вопросы, написания текстов и помощи с кодом. Карточка характеризует набор данных как мало ограничивающий следование инструкциям, поэтому модель может отвечать на нежелательные запросы. Модель может выдавать неточную или вводящую в заблуждение информацию, а также предвзятый, оскорбительный или иной неподходящий контент; ответы следует проверять. Лицензия — Llama 3 License (llama3).

Mungert/Youtu-LLM-2B-GGUF — GGUF-версия языковой модели Youtu-LLM-2B, разработанной Tencent. Это авторегрессионная causal language model для генерации текста; семейство включает базовую и instruct-версии. Данная сборка создана с использованием llama.cpp, однако конкретный уровень квантования в README не указан. Модель содержит 1,96 млрд параметров, 32 слоя и использует плотную архитектуру MLA с 16 attention heads для Q/K/V. Поддерживается контекст до 131 072 токенов, размер словаря — 128 256. Модель ориентирована на рассуждения, следование инструкциям, STEM-задачи, программирование, работу с длинным контекстом и агентские сценарии с инструментами; для instruct-версии заявлен режим reasoning. В представленных тестах она показывает особенно сильные результаты в генерации кода, математике, обработке длинного контекста и ряде end-to-end агентских задач, но результаты зависят от версии модели и настроек запуска. README не указывает поддерживаемые языки, точные требования к ресурсам и ограничения безопасности. Лицензия обозначена как other; условия следует уточнять по файлу лицензии Tencent.

Zirel-3 — дообученная разговорная модель Daemontatox на базе cerebras/GLM-4.5-Air-REAP-82B-A12B. Она предназначена для генерации текста и кода, следования инструкциям, рассуждений, работы с агентными сценариями и вызова функций. Модель использует разреженную архитектуру Mixture-of-Experts; в README указаны 82 млрд параметров, около 12 млрд активных на проход и контекст до 128 тыс. токенов. Метаданные каталога указывают 8,5 млрд параметров, поэтому размер модели в источниках расходится. Модель рассчитана прежде всего на английский язык. Карточка указывает совместимость с Transformers и рекомендует vLLM для более быстрой генерации. Репозиторий содержит веса Safetensors. Метаданные указывают лицензию Apache-2.0, тогда как README заявляет MIT; лицензию следует уточнить по файлу лицензии репозитория.

YOYO-AI/ZYH-LLM-Qwen2.5-14B-V3 — третья версия модели серии ZYH-LLM от YOYO-AI, созданная с помощью слияния нескольких языковых моделей. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров в формате safetensors. В README описан первый этап слияния Qwen/Qwen2.5-14B-Instruct и Qwen/Qwen2.5-14B методом DELLA; метаданные также указывают среди исходных моделей Azure99/Blossom-V6-14B, arcee-ai/Virtuoso-Small-v2 и варианты Qwen2.5-14B. Модель предназначена для генерации текста и диалогов, включая структурированные ответы и взаимодействие через интерфейс вызова инструментов. Заявленная длина контекста — 1 010 000 токенов. Метаданные карточки указывают английский и китайский языки. В README приведены результаты Open LLM Leaderboard: среднее значение 41,63, IFEval — 85,78 и BBH — 48,18; эти результаты не описывают все сценарии применения. Модель распространяется по лицензии Apache-2.0.

airoboros-3b-3p0 — экспериментальная языковая модель на архитектуре StableLM Epoch, разработанная jondurbin и обученная на наборе синтетических данных airoboros-3.0. Это плотная причинная языковая модель с 2,7 млрд параметров и контекстом до 4096 токенов; она принимает текст и генерирует текст. Для диалога используется формат Llama 2 Chat. Модель общего назначения с акцентом на следование инструкциям. Она предназначена для ответов на вопросы по заданному контексту, суммаризации, программирования, математических рассуждений с формированием MathJSON, многоходового диалога, генерации аргументов функций и планов выполнения задач. Для расчётов MathJSON предполагает последующую обработку формулы внешним вычислительным механизмом. Модель выпущена под лицензией CC BY-SA 4.0.

airoboros-l2-13b-3.0 — экспериментальная языковая модель jondurbin на архитектуре Llama 2 с 12,9 млрд параметров. Она дообучена на преимущественно синтетическом наборе airoboros-3.0, продолжающем airoboros-2.2.1; в данных также есть созданные человеком многоходовые диалоги для ролевого общения. Модель предназначена для генерации текста и выполнения инструкций, особенно для ответов на вопросы по заданному контексту, суммаризации, программирования и подготовки структурированных ответов. Модель поддерживает диалоговый шаблон Llama 2 Chat и контекст до 4096 токенов. Для математических запросов она может формулировать решения в формате MathJSON, которые затем вычисляются внешним инструментом. В README отмечено, что ответы по контексту следует явно оформлять специальными разделителями, а для MathJSON рекомендуется низкая температура генерации. Указанная лицензия — Llama 2; модель не следует считать надёжным средством вычислений, а генерацию MathJSON нужно проверять внешним вычислителем.

Apertus-70B-2509 — большая языковая модель семейства Apertus, разработанная Swiss AI Initiative. Это плотный авторегрессионный трансформер с 97,7 млрд параметров по метаданным репозитория; в карточке семейство описано как модель на 70 млрд параметров. Модель обучена с нуля на 15 трлн токенов, а затем прошла supervised fine-tuning и выравнивание QRPO. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста, многоязычных запросов и работы с длинным контекстом до 65 536 токенов. Карточка заявляет поддержку более 1 800 языков и возможность использования инструментов; модель рассчитана на запуск через Transformers, vLLM, SGLang и MLX. Разработчики также описывают её как полностью открытую и обученную на данных с соблюдением требований согласия и отказа от использования. Модель подходит для диалоговых и агентных сценариев, ответов на вопросы, создания и продолжения текста, а также задач на разных языках. Генерируемый текст может содержать фактические ошибки, логические несоответствия и предвзятость; встроенного фильтра персональных данных нет, поэтому важную информацию нужно проверять, а защиту от вывода персональных данных организовывать отдельно.

ChatGLM3-6B-32K 是由 ChatGLM 项目团队开发的中文、英文对话模型，基于 ChatGLM3-6B，并针对长文本对话进行了扩展训练。 Это плотная архитектура ChatGLM примерно с 7,5 млрд параметров; модель принимает текст и поддерживает контекст до 32 768 токенов. Модель предназначена для многоходового диалога и работы с длинными текстами: она может отвечать на вопросы по объёмным материалам, обобщать их и поддерживать сценарии с вызовом инструментов и исполнением кода, заявленные для семейства ChatGLM3. В карточке также указаны задачи генерации текста и классификации текста. Для контекстов до 8K токенов разработчики рекомендуют ChatGLM3-6B; вариант 32K рассчитан на более длинный ввод. Модель работает с PyTorch и Transformers. Веса открыты для академических исследований; бесплатное коммерческое использование допускается после регистрации через анкету.

Claude Opus 4.6 — модель Anthropic, предназначенная для программирования и длительных профессиональных задач. Карточка описывает её как особенно подходящую для агентов, которые выполняют целые рабочие процессы, а не отвечают на отдельные запросы. Данных о размере, архитектуре, модальностях, языках, длине контекста и лицензии в предоставленных источниках нет. Описание не уточняет конкретные возможности и ограничения модели.

CyberNeurova-GLM-5.3-Flash-BF16 — дообученная CyberNeurova мультимодальная разговорная модель на базе zai-org/GLM-5.3-Flash. Это разреженная MoE-модель с 321 млрд параметров, из которых около 18 млрд активны на токен; она принимает текст и изображения и формирует текстовые ответы. Заявлены контекст до 1 048 576 токенов, многоязычная работа, рассуждения с явной цепочкой размышлений, вызов инструментов, программирование и ответы на общие вопросы. Модель настроена на прямые ответы с уменьшенным количеством встроенных отказов; стиль можно задавать системным промптом. Сборка BF16 предназначена для GPU с поддержкой BF16 и может служить основой для дальнейшего дообучения. Для запуска в README приведена инструкция с использованием специального образа vLLM и параметра доверия удалённому коду. Лицензия — MIT. Карточка заявляет сохранение способностей к рассуждениям, программированию и общим знаниям, однако независимые оценки качества не приведены. Большой размер модели предъявляет значительные требования к ресурсам, а уменьшенное число отказов требует осторожной настройки и контроля применения.

PiehSoft подготовил квантованную версию DeepSeek-R1-Distill-Llama-70B в формате GGUF для запуска на видеокартах NVIDIA Blackwell. Это текстовая диалоговая модель на основе дистиллированной модели DeepSeek с архитектурой Llama; веса квантованы в NVFP4, что снижает требования к памяти и рассчитано на ускорение генерации на совместимом оборудовании. В README указана длина контекста 131072 токена. Модель подходит для диалогов, математических рассуждений, программирования и ответов на сложные вопросы. Она принимает текст и генерирует текст. По данным карточки, квантование выполнено с использованием 128 калибровочных примеров, после чего веса преобразованы в GGUF; лицензия — MIT. Это неофициальная конверсия сообщества. В README отмечены незрелость поддержки NVFP4 в экосистеме GGUF и возможные изменения производительности по мере развития реализации; результаты также зависят от совместимого оборудования и программного обеспечения.

kathisacutie/DeepSeek-V3.2 — текстовая генеративная модель на архитектуре DeepSeek V3.2, представленная как дообучение deepseek-ai/DeepSeek-V3.2-Exp-Base. В карточке заявлены эффективное рассуждение и работа в агентных сценариях, включая взаимодействие с инструментами. Модель использует механизм разреженного внимания DeepSeek Sparse Attention, рассчитанный на длинный контекст; размер указан как 37,6 млрд параметров, контекст — до 163 840 токенов. Модель предназначена для генерации текста, решения задач, требующих многошагового рассуждения, и сценариев, где агент использует инструменты. Для работы с сообщениями предусмотрен обновлённый формат чата с поддержкой вызова инструментов и режима рассуждения с инструментами; README отмечает, что шаблон Jinja не приложен. Репозиторий содержит веса в формате safetensors с FP8. Лицензия — MIT. README предупреждает, что парсер вывода рассчитан только на корректно сформированные строки и не исправляет ошибочный формат, поэтому для практического применения требуется надёжная обработка ошибок. Заявления об олимпиадных результатах и сравнении с другими моделями приведены авторами карточки и здесь не подтверждаются независимой оценкой.

Devstral-Small-2-24B-Instruct-2512-GGUF — это мультимодальная GGUF-сборка исходной instruct-модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI. Модель упакована и квантована для локального запуска в llama.cpp и рабочей среде Backpack. Она поддерживает текстовые и графические входные данные и генерирует текст. Модель построена на архитектуре Mistral3ForConditionalGeneration и содержит около 24 млрд параметров. Точная длина контекста в карточке не указана. Для обработки изображений требуется отдельный мультимодальный проектор F16 размером около 837,4 MiB. Доступны варианты квантования Q4_K_M, Q5_K_M и Q8_0; рекомендуемым для большинства пользователей назван Q4_K_M, обеспечивающий практический баланс качества, размера и скорости. Оценочный объём оперативной памяти составляет от 21,23 до 35,7 ГБ в зависимости от варианта, но фактическое потребление зависит от конфигурации запуска и длины контекста. Модель предназначена для диалогов, генерации кода, структурированных аргументов инструментов, tool calling и многошаговых циклов взаимодействия с инструментами. В тестах прошли проверки загрузки, инференса и токенизатора для всех вариантов квантования, а также детерминированные проверки перечисленных возможностей для Q4_K_M. Языки, специальные показатели качества и ограничения исходной модели в README не указаны. Квантование может влиять на качество ответов. Распространение осуществляется по лицензии Apache-2.0 с необходимостью учитывать условия upstream-модели.

QuantFactory/dolphin-2.9.1-yi-1.5-9b-GGUF — это квантизированная с помощью llama.cpp версия модели cognitivecomputations/dolphin-2.9.1-yi-1.5-9b, разработанной и обученной Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Yi-1.5-9B. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, математических задач, начальных агентских сценариев и function calling. Модель относится к классу авторегрессионных текстовых моделей с архитектурой LlamaForCausalLM и использует формат промптов ChatML. Указан размер базовой модели — 9 миллиардов параметров; исходная модель имеет контекст 4K, а дообучение выполнялось на последовательностях длиной 12K с использованием RoPE theta 1000000.0. README не указывает поддерживаемые языки и точный вариант квантизации GGUF. Сильными сторонами заявлены широкий набор инструкционных, разговорных и кодовых навыков, поддержка function calling и результат 70,9 на MMLU для версии 9B. Модель описывается как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть чрезмерно послушной и генерировать небезопасный или неэтичный контент. Перед использованием в сервисах рекомендуется добавить собственный слой выравнивания и фильтрации. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование.

Dolphin-2.9-Llama3-8B-GGUF — это квантизированная версия текстовой генеративной модели Dolphin 2.9 Llama 3 8B, созданной cognitivecomputations на базе Meta-Llama-3-8B. Квантизации в формате GGUF подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых ответов, следования инструкциям, генерации и анализа текста, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы данных Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие специализированные датасеты. Модель имеет текстовую модальность и около 8 миллиардов параметров. README не содержит точных сведений о поддерживаемых языках и размере контекстного окна. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-классов размером примерно от 2,6 до 8,54 ГБ: более качественные варианты требуют больше памяти, а низкобитные позволяют запускать модель на менее производительном оборудовании с некоторой потерей качества. Для работы указан формат чата с ролями system, user и assistant. Сильными сторонами являются широкий набор инструкционных, кодовых, математических и агентских данных, поддержка локального запуска через llama.cpp и большой выбор компромиссов между качеством и требованиями к памяти. Версия устарела и помечена как deprecated из-за проблем с настройками токенизатора; рекомендуется использовать более новую переквантизированную версию dolphin-2.9-llama3-8b-GGUF. Лицензия указана как other, без подробностей об условиях использования.

DataSoul/DwQ-R1-32B-v0.1 — слитая модель генерации текста, созданная с помощью mergekit методом Linear из huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated и huihui-ai/QwQ-32B-Coder-Fusion-9010. В конфигурации слияния веса моделей составляют 0,9 и 0,1 соответственно; архитектура — плотная Qwen2ForCausalLM, размер — 32 млрд параметров, формат весов — safetensors, библиотека — Transformers. Модель предназначена для диалоговой генерации текста и может применяться для рассуждений и помощи с задачами программирования благодаря объединению двух исходных моделей. Она принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Ro-xe/FMixAI_7B — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом SLERP с помощью mergekit из OpenChat 3.5-1210 и OpenChat 3.5-0106. Она предназначена для генерации текста и ведения диалога; базовые модели также рассчитаны на программирование, математические рассуждения и ответы на общие вопросы. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. В репозитории веса сохранены в формате safetensors. Лицензия в предоставленных данных не указана.

Fusion-14B-Instruct — объединённая языковая модель на архитектуре Qwen2, созданная автором репозитория с помощью mergekit. В основе объединения лежит Qwen/Qwen2.5-14B; также использованы arcee-ai/Virtuoso-Small и qingy2024/Qwen2.5-Math-14B-Instruct-Preview. Применён метод DARE TIES, веса сохранены в формате safetensors; размер модели — 14 млрд параметров. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, рассуждений и математических задач. Она поддерживает интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. В метаданных указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Лицензия в предоставленных данных не указана.

Galactic-Qwen-14B-Exp2 — языковая модель PrithivMLmods для генерации текста, диалогов и решения задач на рассуждение. Это плотная модель семейства Qwen2, содержащая 14 млрд параметров и дообученная на базе prithivMLmods/Lacerta-Opus-14B-Elite8 с использованием модели, обученной на длинных цепочках рассуждений, и специализированных наборов данных. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для ответов на вопросы, логических выводов, многошагового решения задач, следования инструкциям, объяснений, суммаризации и генерации структурированного текста, включая JSON. Она поддерживает контекст до 131 072 токенов; в карточке также заявлена генерация до 8 000 токенов за один ответ и поддержка более 29 языков, включая английский, китайский и русский. Заявленные сценарии включают образовательную помощь, чат-ботов, многоязычную коммуникацию и создание длинных текстов. Карточка приводит результаты IFEval (66,20%) и BBH (59,92%), но не содержит подробностей методики оценки. Среди ограничений указаны высокие требования к памяти при работе с длинным контекстом, возможная предвзятость и ошибки, чувствительность к формулировке запроса и отсутствие доступа к актуальным событиям. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия gemma-3-12b-it-ultra-uncensored-heretic, разработанная независимым автором LLMfan46 на базе Google Gemma 3 12B Instruct. Модель создана с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения встроенных ограничений на ответы при сохранении исходных возможностей. По приведённому сравнению, частота отказов снизилась с 97 до 4 из 100, а KL-дивергенция составляет 0,0131 относительно оригинальной модели. Модель предназначена для генерации текста, ответов на вопросы, анализа, суммаризации, рассуждений и понимания изображений. Gemma 3 поддерживает текстовые и графические входные данные с генерацией текста, контекст до 128K токенов, выход до 8192 токенов и более 140 языков. Для мультимодальной работы требуется отдельный vision projector. Доступны варианты GGUF с квантованием от BF16 и Q8_0 до IQ3_XXS; версии с более низкой разрядностью занимают меньше места, но могут сильнее терять в качестве. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Сильной стороной является сочетание относительно компактного размера 12B, мультимодальности, длинного контекста и уменьшенного числа отказов. Ограничения включают возможное снижение качества при агрессивном квантовании, необходимость vision projector для работы с изображениями и потенциальные риски, связанные с ослаблением механизмов отказа. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google. Базовые модели Gemma разработаны Google DeepMind.

Карточка модели RichardHuu/gemma-4-12B-it-assistant на Hugging Face совпадает с карточкой google/gemma-4-12B-it-assistant, поэтому описание составлено по ней. Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

MoonRide/gemma-4-31B-it-heretic-ara-GGUF — GGUF-версия инструкционной модели MoonRide/gemma-4-31B-it-heretic-ara, созданной на базе Google Gemma 4 31B IT. Модель модифицирована с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm; заявленная цель модификации — уменьшить склонность исходной модели к отказам. Семейство Gemma разработано Google DeepMind. Модель относится к плотной архитектуре с примерно 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения и генерирует текст; для семейства Gemma 4 заявлена поддержка более 140 языков. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также оптимизации для длинного контекста. Файлы представлены в различных вариантах GGUF-квантизации; рекомендуемые README варианты занимают около 12,1 и 12,6 ГБ. Основная сильная сторона модели — сочетание крупного контекста, мультимодального понимания, возможностей генерации текста, рассуждений и программирования с существенно меньшим числом отказов по сравнению с исходной Gemma 4 31B IT: в приведённом сравнении отказов было 11 из 100 против 99 из 100. При этом декенсоринг может изменить поведение и защитные свойства исходной модели; указанная оценка основана на ограниченном внутреннем тесте, а KL divergence относительно оригинала составляет 0,0508. Для загрузки README рекомендует llama.cpp версии b8751 или новее. Модель распространяется по лицензии Apache 2.0. Перед использованием необходимо учитывать, что снижение числа отказов не означает гарантии корректности, безопасности или точности ответов, а качество и потребление памяти зависят от выбранной GGUF-квантизации и аппаратной конфигурации.

mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit — это квантизированная MLX-модель, созданная сообществом mlx-community с использованием инструментария mlx-optiq на базе Google Gemma-4 E4B IT QAT. Она предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов. Модель поддерживает генерацию текста, а через mlx-optiq — работу с изображениями и текстом, а также ускорение генерации с помощью speculative decoding. В основе лежит quantization-aware-trained модель google/gemma-4-E4B-it-qat-q4_0-unquantized, обученная с учетом последующей низкобитной квантизации. Используется чувствительная к слоям mixed-precision схема: 221 компонент работает в 8-битном формате, 122 — в 4-битном. Достигнутая точность составляет 5,17 бит на вес, размер модели на диске — около 7 ГБ, размер группы — 64. Для vision-компонента используется отдельный bf16-файл. Калибровка проводилась на данных шести типов: обычный текст, рассуждения, код, агентские сценарии, вызовы инструментов и инструкции с ограничениями. По заявленным тестам модель показывает Capability Score 68,67, что на 1,19 пункта выше равномерной 4-битной квантизации той же базы; наиболее заметный прирост отмечен в HumanEval и задаче длинного контекста HashHop. Она подходит для текстовых задач, программирования, рассуждений, следования инструкциям, вызова инструментов и мультимодального анализа изображений. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и необходимость mlx-optiq для image-text режима и speculative decoding. Лицензия указана как Apache-2.0, при этом базовая Gemma распространяется по Gemma Terms of Use.

GLM-4.7 — языковая модель компании Z.ai для программирования, диалогов и сложных многошаговых задач. Модель с архитектурой семейства GLM-4 MoE содержит 23,4 млрд параметров и имеет контекстное окно 202 752 токена. Она принимает текст и генерирует текст; поддерживает английский и китайский языки, режим чата и вызов инструментов. Модель предназначена для генерации и отладки кода, работы в терминале и агентных системах, а также для математических рассуждений, веб-разработки, создания слайдов и обычного общения. Поддерживает чередование рассуждений и действий, сохранение блоков рассуждений между ходами и управление режимом рассуждений на уровне хода. В README отмечены улучшения относительно GLM-4.6 в задачах программирования, использования инструментов и рассуждений; приведённые результаты являются оценками на выбранных бенчмарках и не гарантируют аналогичного качества в каждом сценарии. Модель распространяется под лицензией MIT. Для локального запуска README указывает Transformers, vLLM и SGLang; поддержка GLM-4.7 в vLLM и SGLang требует основных веток проектов.

GLM-5.2-NVFP4 — это квантизированная версия языковой модели GLM-5.2, разработанной zai-org и подготовленной сообществом local-inference-lab. Модель предназначена для генерации текста, диалоговых сценариев, программирования, многошаговой агентной работы, tool calling и function calling. Заявлена поддержка английского и китайского языков; модель опубликована для использования с Transformers и относится к классу text-generation. В основе лежит Mixture-of-Experts-модель на 744 млрд параметров, из которых около 40 млрд активируются для каждого токена. В каждом MoE-слое предусмотрено 256 экспертов, восемь из которых выбираются на токен; также используется архитектура DeepSeek Sparse Attention (DSA). Квантизация NVFP4 выполнена напрямую из полноразмерного BF16-чекпойнта GLM-5.2, а не из FP8-версии. В NVFP4 переведены только MLP-проекции неразделяемых MoE-экспертов, тогда как веса attention, плотных MLP-слоёв и общих экспертов сохранены в BF16, что снижает требования к памяти при сохранении значительной части исходной точности. Калибровка охватывала кодирование, разнообразные пользовательские диалоги и длинные последовательности свыше 8K токенов, включая английские и китайские системные промпты. Сильными сторонами модели являются крупный объём параметров, разреженная активация экспертов, оптимизация под задачи программирования и агентного взаимодействия, а также существенная экономия памяти благодаря NVFP4. Ограничения включают высокие требования к оборудованию: рекомендована конфигурация из восьми GPU RTX PRO 6000 Blackwell по 96 ГБ с b12x MoE runner. Максимальная длина контекста, точные показатели качества и полный перечень поддерживаемых языков в README не указаны. Модель распространяется по лицензии MIT.