II.4Отладка, тестирование и качество ПО

Карточка модели jdlovestofish/granite-4.2-8b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-8b, поэтому описание составлено по ней. Granite-4.2-8B — языковая модель команды Granite компании IBM для диалогов, рассуждений и работы с инструментами. Это плотный декодерный трансформер GraniteForCausalLM с 8,4 млрд параметров, доступный в формате safetensors и рассчитанный на библиотеку Transformers. Модель дообучена на базе ibm-granite/granite-4.1-8b-base; лицензия Apache 2.0 разрешает коммерческое и академическое использование. Модель предназначена для ответов на вопросы, многошаговых рассуждений, математических и программных задач, а также сценариев, где нужно выбирать и вызывать инструменты. Поддерживаются режимы полного, облегчённого и отключённого рассуждения. Метаданные указывают контекст до 131 072 токенов. Архитектура включает Grouped Query Attention, RoPE, SwiGLU и RMSNorm. Модель обучалась преимущественно на английских инструкциях, также включает многоязычные данные для немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Качество на других языках может уступать английскому; ответы могут быть неточными, предвзятыми или небезопасными. Текст рассуждений может содержать промежуточные мысли и не отражать итоговый ответ.

Карточка модели genevaquant/Hermes-4.3-36B на Hugging Face совпадает с карточкой NousResearch/Hermes-4.3-36B, поэтому описание составлено по ней. Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

Карточка модели genevaquant/Hermes-4-405B на Hugging Face совпадает с карточкой Deniss8686/Hermes-4-405B, поэтому описание составлено по ней. Hermes 4 405B — языковая модель Nous Research для диалогов и следования инструкциям, дообученная на базе Meta Llama 3.1 405B. Это плотная авторегрессионная модель с 403,7 млрд параметров, представленная в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для работы в роли универсального ассистента: она ведёт диалог, рассуждает, помогает с математикой, программированием, STEM-задачами, логикой и творческим письмом. Поддерживает гибридный режим рассуждений, вызов функций и инструментов, а также генерацию структурированных ответов, включая JSON по заданной схеме. В карточке указана поддержка английского языка. Разработчик сообщает об улучшениях в рассуждениях, следовании форматам и управляемости после дообучения. Реальное качество может зависеть от запроса, шаблона чата и настроек генерации; работа с инструментами требует подходящего парсера и среды исполнения. Лицензия — Llama 3.

Kanana 1.5 8B Instruct — разговорная языковая модель компании Kakao, представленная в мае 2025 года. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов; доступны веса в формате SafeTensors, библиотека — Transformers. Модель обучена с уточнённой постобработкой и поддерживает интерфейс вызова инструментов. Модель рассчитана на сложные диалоговые задачи, включая программирование, математику и вызов функций. Нативная длина контекста — 32 768 токенов; с настройкой YaRN в конфигурации можно обрабатывать последовательности до 128 тыс. токенов. Карточка указывает английский и корейский языки. По заявлению разработчика, пользовательские данные Kakao не входили в данные предобучения и постобучения. Модель распространяется по лицензии Apache 2.0. Качество ответов может варьироваться в зависимости от задачи; контекст длиннее 32 768 токенов требует настройки YaRN.

unsloth/Llama-3.1-8B-Instruct-unsloth-bnb-4bit — это 4-битная версия инструкционной модели Llama 3.1 8B, разработанной Meta и подготовленной для распространения Unsloth. Модель предназначена для многоязычного диалога, генерации текста и кода, выполнения инструкций, а также локального запуска и последующей тонкой настройки. README также указывает на сценарии дообучения, включая создание reasoning-моделей с использованием GRPO. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 миллиардами параметров и поддержкой Grouped-Query Attention. Она работает только с текстом: принимает многоязычный текст и генерирует многоязычный текст и код. Контекстное окно составляет до 128 тысяч токенов, обучающие данные включают более 15 триллионов токенов из общедоступных онлайн-источников, дата отсечения знаний — декабрь 2023 года. Инструкционная версия использует supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Ключевое преимущество этой сборки — 4-битное представление, снижающее требования к памяти и подходящее для эффективного локального инференса и дообучения. Ограничения включают текстовую модальность, возможные ошибки и ограничения базовой языковой модели, а также устаревание знаний после декабря 2023 года. Для использования применяется лицензия Llama 3.1; её условия необходимо соблюдать при распространении и эксплуатации модели.

Карточка модели Lumo69/Llama-3_1-Nemotron-Ultra-253B-v1 на Hugging Face совпадает с карточкой nvidia/Llama-3_1-Nemotron-Ultra-253B-v1, поэтому описание составлено по ней. Llama-3.1-Nemotron-Ultra-253B-v1 — большая языковая модель NVIDIA для рассуждений, диалогов и выполнения инструкций. Это плотный авторегрессионный Transformer-декодер, созданный на основе Meta Llama-3.1-405B-Instruct с применением Neural Architecture Search: структура блоков изменена для сокращения памяти и ускорения инференса. В README указано 253 млрд параметров; метаданные каталога оценивают общий размер в 697,9 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и работает через Transformers. Модель предназначена для чат-ботов, агентных систем, RAG, вызова инструментов и общих задач по инструкциям, включая математику, программирование и рассуждения. Она рассчитана прежде всего на английский язык; README также заявляет поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель оптимизирована по соотношению качества и эффективности и, по README, может использоваться коммерчески. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке модели.

Карточка модели RedHatAI/Llama-3_1-Nemotron-Ultra-253B-v1 на Hugging Face совпадает с карточкой nvidia/Llama-3_1-Nemotron-Ultra-253B-v1, поэтому описание составлено по ней. Llama-3.1-Nemotron-Ultra-253B-v1 — большая языковая модель NVIDIA для рассуждений, диалогов и выполнения инструкций. Это плотный авторегрессионный Transformer-декодер, созданный на основе Meta Llama-3.1-405B-Instruct с применением Neural Architecture Search: структура блоков изменена для сокращения памяти и ускорения инференса. В README указано 253 млрд параметров; метаданные каталога оценивают общий размер в 697,9 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и работает через Transformers. Модель предназначена для чат-ботов, агентных систем, RAG, вызова инструментов и общих задач по инструкциям, включая математику, программирование и рассуждения. Она рассчитана прежде всего на английский язык; README также заявляет поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель оптимизирована по соотношению качества и эффективности и, по README, может использоваться коммерчески. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке модели.

MaziyarPanahi/Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и кода, а также для многоязычного диалога и других сценариев, где требуется следование инструкциям. Формат GGUF поддерживается llama.cpp и рядом локальных приложений и библиотек, включая llama-cpp-python, LM Studio и text-generation-webui, что позволяет запускать модель локально с использованием CPU и GPU-ускорения. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA), содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Контекстное окно составляет 128 тысяч токенов. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; модель также генерирует код. Базовая модель обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных, а инструкционная версия дополнительно настраивалась с помощью supervised fine-tuning и RLHF для повышения полезности и безопасности. Ключевые преимущества этой версии — широкий контекст, многоязычность, поддержка диалоговых сценариев и возможность более экономичного локального запуска благодаря квантизации с вариантами от 2 до 8 бит. Ограничения включают текстовую модальность, статичность знаний с отсечкой декабря 2023 года и возможные компромиссы между размером квантизации, качеством и требованиями к ресурсам. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License.

Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16 — мультимодальная инструкционная модель, разработанная Red Hat совместно с Neural Magic на базе Mistral-Small-3.1-24B-Instruct-2503 от Mistral AI. Она принимает текст и изображения, а генерирует текст; архитектура указана как Mistral3ForConditionalGeneration. Модель предназначена для разговорных агентов с быстрым откликом, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Также она подходит для локального развёртывания и тонкой настройки под специализированные предметные области, включая сценарии с чувствительными данными. Модель использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритмом GPTQ, реализованным в llm-compressor. По сравнению с 16-битным представлением это примерно на 75% снижает объём модели на диске и требования к памяти GPU, что является её ключевым преимуществом для быстрого и локального инференса. В README не указаны точное число параметров базовой модели, максимальная длина контекста и полный перечень поддерживаемых возможностей по каждому языку. Заявлена поддержка языков, включая английский, французский, немецкий, испанский, итальянский, португальский, хинди, индонезийский, вьетнамский, арабский, китайский, японский, корейский, русский, украинский и другие. Модель выпущена 15 апреля 2025 года, проверена в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. Ограничения включают возможную потерю точности из-за квантизации и запрет использования с нарушением применимого законодательства, а также в языках, официально не поддерживаемых моделью. Распространяется по лицензии Apache-2.0.

WhiskyAKM/Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор моделей в формате GGUF, созданный на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 и разработанный NVIDIA Corporation. Файлы были конвертированы и квантизированы с помощью llama.cpp и предназначены для локального запуска и генерации текста, включая программирование, рассуждения, задачи общего назначения и агентские сценарии. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE, а также отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно используется около 3 млрд. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки, а также языки программирования. Заявлена длина контекста до 1 млн токенов при нативном значении по умолчанию 256 тыс. токенов. Доступны режимы рассуждения с включением и отключением через chat template, а также методы ускорения генерации DSpark, DFlash и MTP. Сильными сторонами модели являются высокая вычислительная эффективность MoE-архитектуры, поддержка длинного контекста, многоязычность и несколько вариантов квантизации — от BF16 до 4-битных форматов. Качество, скорость и требования к памяти зависят от выбранного файла; более компактные варианты экономичнее, но могут уступать полноточной версии по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Распространение и коммерческое использование регулируются лицензией OpenMDW License Agreement версии 1.1.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 — большая языковая модель, разработанная NVIDIA Corporation. Она предназначена для генерации текста, программирования, длительно работающих автономных агентов, вспомогательных агентских задач и эффективного локального вывода на совместимом оборудовании. Модель поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, а также языки программирования. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными Attention-слоями. Общее число параметров составляет 30 млрд, из них при обработке каждого токена активны около 3 млрд. Модель работает с контекстом до 1 млн токенов и распространяется в формате NVFP4. Поддерживаются NVIDIA Blackwell, Hopper и, через режим W4A16, Ampere; заявлено развёртывание на одной NVIDIA H100 или DGX Spark с GB10. Для ускорения генерации доступны DSpark, MTP и DFlash. К сильным сторонам относятся сочетание большого общего объёма параметров с небольшим числом активных параметров, поддержка очень длинного контекста, агентских сценариев и локального вывода на подходящем оборудовании. Ограничения связаны с требованиями к совместимому NVIDIA GPU и специализированным настройкам инференса; для некоторых аппаратных конфигураций параметры поддержки требуют дополнительного подтверждения. Модель лицензируется по OpenMDW License Agreement версии 1.1 и заявлена как готовая к коммерческому использованию.

QuantFactory/Phi-3.5-mini-instruct-GGUF — квантизированная версия языковой модели Phi-3.5-mini-instruct, созданная QuantFactory с использованием llama.cpp на основе модели Microsoft. Это компактная instruction-tuned модель для коммерческого и исследовательского применения, включая генеративные функции, многоязычный диалог, обработку текста, а также задачи, требующие рассуждений, особенно в программировании, математике и логике. Модель относится к семейству Phi-3 и содержит 3,8 млрд активных параметров. Она поддерживает контекст длиной до 128 тысяч токенов, ориентирована на текстовую генерацию и многоязычные сценарии. При обучении использовались синтетические данные и отфильтрованные общедоступные веб-источники, а для улучшения следования инструкциям и безопасности применялись supervised fine-tuning, proximal policy optimization и direct preference optimization. Квантизация предназначена для запуска в условиях ограниченных ресурсов, включая сценарии с требованиями к низкой задержке. К сильным сторонам относятся компактность, сравнительно высокая способность к рассуждениям для модели такого размера, улучшенное качество многоязычного и многоходового диалога и пригодность для сред с ограниченными вычислительными ресурсами. Ограничения включают типичные для языковых моделей риски неточностей, проблем с безопасностью и справедливостью; модель не оценивалась специально для всех прикладных сценариев, поэтому её необходимо тестировать и дополнительно контролировать, особенно в высокорисковых задачах. Модель распространяется по лицензии MIT.

Qwen2.5-3B-Instruct-GGUF — инструкционно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она может использоваться локально через llama.cpp в формате GGUF. Модель относится к causal language models и содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам. Архитектура основана на transformers и включает RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанные эмбеддинги слов. Она имеет 36 слоёв, 16 attention heads для Q и 2 для KV в конфигурации GQA. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантизации q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Модель поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, работа с длинным текстом, кодом, математикой и структурированными форматами. Ограничения включают относительно небольшой размер и максимальный контекст 32 768 токенов для данной GGUF-версии, поэтому производительность и качество зависят от выбранного уровня квантизации. Лицензия указана как qwen-research; дополнительные условия следует уточнять в файле лицензии разработчика.

sirigidipandu/qwen3-4b-instruct-2507 — текстовая причинно-авторегрессионная модель семейства Qwen3 на 3,7 млрд параметров. Карточка описывает её как обновлённую instruct-версию Qwen3-4B, обученную на этапах предварительного и последующего обучения. Модель принимает текст и генерирует ответы в диалоговом формате; поддерживает контекст до 262 144 токенов и режим без рассуждений в специальном формате thinking. Модель предназначена для следования инструкциям и диалогов, рассуждений, понимания текста, математики, естественных наук, программирования и использования инструментов. В карточке также отмечены улучшения многоязычных знаний и работы с открытыми запросами. Репозиторий использует Transformers и содержит веса в формате safetensors; предусмотрен интерфейс вызова инструментов. Ограничение: модель работает только в режиме без thinking и не предназначена для генерации специальных блоков thinking. Лицензия Apache-2.0 разрешает коммерческое использование с соблюдением её условий.

impacte/Qwen3.8-27B-GGUF — квантованная в формате GGUF версия модели Qwen3.8-27B, разработанной командой Qwen и подготовленной для запуска через llama.cpp. Квантизацию выполнил bartowski, а репозиторий и готовые конфигурации запуска предоставлены impacte.tech. Модель распространяется по лицензии Apache 2.0. Это плотная модель с 27,78 млрд параметров, в которой активны все параметры каждого токена. Архитектура Qwen3.5 сочетает 48 слоёв линейного внимания и 16 слоёв полного внимания, включает 64 слоя, скрытый размер 5120, 24 attention heads и 4 KV heads. Нативное окно контекста составляет 262 144 токена. Модель поддерживает рассуждения с блоками thinking и response, а также вызов инструментов в формате XML. Доступны две версии. Мультимодальная Q4_K_M размером около 17,77 ГБ работает с текстом, изображениями и видео и поставляется вместе с мультимодальным проектором. Текстовая IQ4_XS размером около 14,7 ГБ предназначена для чата, программирования, RAG и вызова инструментов, но не поддерживает изображения и видео. Квантизация уменьшает требования к памяти, однако для запуска рекомендуются GPU с 24 ГБ и более видеопамяти, не менее 64 ГБ оперативной памяти и современная сборка llama.cpp. Для использования полного контекста 256K требуется значительный объём системной RAM, поскольку KV-кэш может храниться вне видеопамяти.

Litwein/Qwen3.8-Flash-Next-REAP320-oQ3e-DWQ-MTP-Vision-MTPLX — это мультимодальная квантованная версия Qwen3.8-Flash-Next, подготовленная Litwein для запуска через MTPLX на компьютерах Apple Silicon. Модель предназначена для генерации текста, агентских сценариев, задач рассуждения и программирования, а также для работы с изображениями, документами, графиками и визуальными вопросами. В обучающих данных указаны, в частности, SWE-bench, математические и кодовые наборы, ChartQA, DocumentVQA, TextVQA и COCO. Модель использует MoE-архитектуру с 512 исходными экспертами, из которых после REAP pruning оставлено 320. Она содержит 133,7 млрд параметров, общий уровень квантования составляет 4,28 бит на вес: маршрутизируемые эксперты представлены в 3-битном формате, отдельные компоненты используют 4–8 бит, а vision tower хранится в bf16. Поддерживаются английский и русский языки, текстово-визуальный ввод и контекст до 262 144 токенов архитектурно; в конфигурации для 48 ГБ памяти заявлено до 163 840 токенов. MTP sidecar и speculative decoding ускоряют генерацию, сохраняя распределение целевой модели. К сильным сторонам относятся мультимодальность, длинный контекст, поддержка агентских и reasoning-сценариев, а также высокая скорость декодирования на Apple M4 Pro с 48 ГБ памяти: примерно 31–35 токенов в секунду при глубине MTP 2. Ограничения включают зависимость от Apple Silicon с не менее 48 ГБ unified memory, MTPLX версии 2.11.2 или новее, быстрого SSD и около 72 ГБ свободного места. Это прунинговые и квантованные веса, поэтому характеристики могут отличаться от исходной модели Qwen3.8-Flash-Next. Лицензия указана как Qwen Community License 1.0.

Ring-flash-linear-2.0-128k — языковая модель компании inclusionAI для генерации текста и диалогов. Она основана на Ling-flash-base-2.0 и дополнительно обучена на 1 трлн токенов. Модель использует гибридную архитектуру линейного и стандартного внимания и разреженную MoE-схему; в README заявлена производительность на уровне плотной модели с 40 млрд параметров при активации 6,1 млрд. Метаданные указывают общий размер 5,5 млрд параметров. Модель предназначена для рассуждений, программирования, научных и математических задач, а также работы с длинными входными и выходными текстами. Нативное контекстное окно составляет 131 072 токена; README указывает на возможность расширения до 512 тыс. токенов с помощью YaRN. Заявлены ускоренная генерация и эффективность обработки длинного контекста. Поддерживаются интерфейсы чата и вызова инструментов. Модель принимает и генерирует текст; в метаданных указан английский язык. Распространяется по лицензии MIT.

AIArchiveInfo/Seed-OSS-36B-Instruct — побитовая архивная копия модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Согласно карточке, веса скопированы без обучения и изменений; модель предназначена для диалогов, рассуждений, задач общего назначения и сценариев с использованием инструментов. Это плотная причинная языковая модель семейства Seed-OSS с архитектурой RoPE, GQA, RMSNorm и SwiGLU. В метаданных указано 31,7 млрд параметров и контекст до 524 288 токенов; README округляет размер семейства до 36 млрд. Модель оптимизирована для международного применения, поддерживает управление бюджетом рассуждений и рассчитана на длинный контекст. Лицензия — Apache-2.0.

Карточка модели Reeves289/Spark-X2.5-4B на Hugging Face совпадает с карточкой XHToken/Spark-X2.5-4B, поэтому описание составлено по ней. Spark-X2.5-4B — компактная универсальная языковая модель от XHToken, представленная в виде дообученного чекпойнта для Transformers. Она содержит 3,8 млрд параметров и использует плотную архитектуру Spark2_5 с чередованием одного слоя полного внимания и трёх слоёв скользящего оконного внимания. Модель рассчитана на контекст до 1 048 576 токенов и, по заявлению разработчиков, поддерживает более 200 языков. Модель предназначена для диалога, написания и перевода текстов, рассуждений, программирования, следования инструкциям, вызова инструментов и агентных сценариев. Разработчики сообщают о предварительном обучении на примерно 20 трлн токенов и последующем дообучении с учителем и усилением; веса доступны в формате Safetensors и совместимы с Transformers. Для эксплуатации заявлена поддержка нескольких аппаратных платформ и сред инференса, включая vLLM, SGLang, llama.cpp, MLX, Ollama и LM Studio. Модель распространяется по лицензии Apache-2.0. Окно в миллион токенов требует достаточной памяти устройства; в README советуют уменьшить длину контекста при нехватке памяти. Заявления о сравнительных результатах принадлежат разработчикам и зависят от режима оценки и настроек генерации.

DeepSeek-V2 — языковая модель компании DeepSeek для генерации текста и диалогов. Она основана на архитектуре Mixture-of-Experts (MoE): в README указаны 236 млрд параметров всего и 21 млрд активных на каждом токене; архитектура включает DeepSeekMoE и механизм внимания MLA, который сжимает данные для KV-кэша. В метаданных репозитория указано 18,1 млрд параметров, поэтому сведения о размере в источниках расходятся. Модель обучена на корпусе объёмом 8,1 трлн токенов с последующими этапами supervised fine-tuning и reinforcement learning. Она предназначена для продолжения текста, диалогов, ответов на вопросы, рассуждений и задач программирования. README сообщает о контексте до 128 тысяч токенов, а метаданные указывают нативный контекст 163 840 токенов. Результаты приведены, в частности, для англоязычных и китайских тестов; сведений о поддержке конкретного набора языков нет. DeepSeek-V2 заявлена как более эффективная в обучении и инференсе благодаря MoE и MLA. Для локального запуска в BF16 README указывает требование к оборудованию 8 GPU по 80 ГБ; для инференса также предлагается vLLM. Лицензия в метаданных обозначена как other, поэтому конкретные права использования по этим данным определить нельзя.

Карточка модели ApocalypseParty/G4-31B-SFT-v5-2-seed1337 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

unsloth/gemma-4-12b — мультимодальная версия Gemma 4 12B, подготовленная Unsloth на базе google/gemma-4-12B. Это плотная модель семейства Gemma 4 с архитектурой Gemma4UnifiedForConditionalGeneration, предназначенная для обработки изображений и текста и генерации текстовых ответов. В карточке указаны гибридное внимание с локальными скользящими окнами и глобальными слоями, поддержка контекста до 256K токенов для Gemma 4 12B, а также возможности понимания изображений и видео, распознавания текста на изображениях, работы с кодом и вызова инструментов. Модель подходит для диалогов, анализа документов и графиков, распознавания объектов, чтения экранов интерфейсов, генерации и исправления кода, а также для агентных сценариев со структурированным вызовом инструментов. Семейство Gemma 4 поддерживает более 35 языков «из коробки»; README также указывает аудиовозможности для 12B, включая распознавание речи и перевод речи в текст. Формат файлов этого репозитория — safetensors. Лицензия — Apache-2.0. Качество ответов зависит от формулировки запроса и охвата обучающих данных; модель может ошибаться в фактах, испытывать трудности с тонкими языковыми нюансами и сложными открытыми задачами, а также воспроизводить смещения данных. README описывает возможности семейства Gemma 4 в целом, поэтому отдельные заявления о сценариях следует сверять с поведением именно этого чекпойнта.

coder3101/gemma-4-26B-A4B-it-heretic — мультимодальная диалоговая модель на базе Google Gemma 4 26B A4B IT, дообученная автором репозитория. Она принимает текст и изображения и генерирует текст; подходит для диалогов, рассуждений, программирования, анализа изображений и агентных сценариев с вызовом инструментов. По карточке базовой модели Gemma 4 поддерживает распознавание объектов, чтение документов и экранов, OCR, анализ диаграмм и последовательностей видеокадров. Для этой версии доступны веса SafeTensors и библиотека Transformers; контекст базовой модели составляет до 256 тысяч токенов. Модель обозначена как uncensored/decensored/abliterated. Эти метки указывают на изменение поведения относительно базовой модели, но карточка не описывает методику или объём изменений и не приводит отдельную оценку качества. Поддержка аудио заявлена только для вариантов Gemma 4 E2B и E4B, поэтому её не следует приписывать этой версии. Возможны ошибки в фактах, трудности с нюансами языка и сложными открытыми задачами, а также смещения из обучающих данных. Лицензия — Apache-2.0.

Это зеркальная копия Gemma 4 E2B IT от Google DeepMind, подготовленная chibifire. Модель прошла обучение с учётом квантизации Q4_0 (QAT), а в репозитории хранятся полут точные веса в формате safetensors вместе с токенизатором, шаблоном диалога и конфигурациями обработки и генерации. Она основана на плотной архитектуре Gemma 4 и предназначена для локального вывода и дальнейшего преобразования весов. Модель принимает текстовые и мультимодальные запросы и формирует ответы в диалоговом режиме; базовая Gemma 4 E2B IT поддерживает анализ изображений и аудио наряду с текстом. Обучение QAT рассчитано на сохранение качества при последующем хранении весов в Q4_0, хотя данная копия содержит полут точные, а не квантизованные веса. Для загрузки README рекомендует Transformers. Лицензия репозитория — Apache 2.0.

Карточка модели Terom/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели google/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

cyankiwi/GLM-4.7-Flash-AWQ-4bit — 4-битная AWQ-квантизованная версия GLM-4.7-Flash, разработанной командой GLM и распространяемой организацией zai-org. Это языковая модель для генерации текста, рассуждений, программирования и агентских сценариев, включая взаимодействие с инструментами и решение задач, требующих многошагового планирования. Модель построена по архитектуре MoE с конфигурацией 30B-A3B: общий размер составляет около 30 млрд параметров, при этом на каждом шаге активируется примерно 3 млрд. Указаны поддерживаемые языки English и Chinese, библиотека Transformers и текстовая модальность. В README приведены настройки генерации с максимальной длиной нового вывода до 131 072 токенов, однако размер контекстного окна явно не указан. Для локального запуска заявлена совместимость с Transformers, vLLM и SGLang; для этой версии также требуется учитывать поддержку AWQ-квантизации используемым фреймворком. Сильными сторонами являются сочетание производительности и эффективности при локальном развертывании, а также результаты на задачах рассуждений, программирования, веб-поиска и взаимодействия с инструментами. Ограничениями выступают возможные потери качества из-за 4-битной квантизации и необходимость актуальных версий программного обеспечения для поддержки модели. В README указана лицензия MIT.

Granite-4.1-3B (FP8) — это FP8-квантизированная версия компактной инструкционной языковой модели Granite-4.1-3B, разработанная командой Granite компании IBM. Модель предназначена для генерации текста и построения AI-ассистентов, включая корпоративные приложения и LLM-агентов с использованием инструментов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог и Fill-In-the-Middle для завершения кода. Модель содержит около 3 млрд параметров и основана на decoder-only dense Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными embeddings. Для версии 3B указаны 40 слоёв, размер embeddings 2560, 40 attention heads, 8 KV heads и максимальная длина последовательности 131072 токена. FP8-квантизация предназначена для более эффективного развёртывания и снижения требований к памяти; репозиторий поддерживает Transformers, vLLM и SGLang. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Сильные стороны модели — улучшенные instruction following, tool calling, диалоговые возможности, кодирование и математическое рассуждение при компактном размере. Ограничения включают возможное снижение качества для неанглийских задач, а также риск неточных, предвзятых или небезопасных ответов; IBM рекомендует проводить собственное тестирование и настройку безопасности. Модель распространяется по лицензии Apache 2.0.

JoyAI-LLM Flash-Base — базовая языковая модель семейства JoyAI-LLM Flash, представленная в карточке модели как разработанная для высокопроизводительных приложений с низкой задержкой и стоимостью запросов. Это плотная архитектура DeepseekV3ForCausalLM по метаданным; README описывает модель как смесь экспертов (MoE) с 48 млрд параметров всего и 3 млрд активируемых параметров, тогда как метаданные указывают общий размер 2,7 млрд параметров. Модель предназначена для генерации текста, рассуждений, работы со знаниями и кодом, а также сценариев с использованием инструментов и автономным решением задач. README сообщает об обучении с оптимизатором Muon и о варианте с MTP, который, по заявлению авторов, повышает пропускную способность в 1,3–1,7 раза относительно версии без MTP. Поддерживаемые языки по тегам карточки — китайский и английский; контекстное окно составляет 131 072 токена. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не указана.

WhiskyAKM подготовил GGUF-сборку K2-Horizon-7B в формате NVFP4 на основе модели IFM/K2-Horizon-7B. Это плотная авторегрессионная языковая модель с 7 млрд параметров и контекстом до 524 288 токенов; репозиторий предназначен для запуска через llama.cpp и другие движки с поддержкой GGUF. Модель рассчитана на диалоги, рассуждения, программирование, работу с длинным контекстом и агентные сценарии. В карточке приведены результаты исходной модели на математических, программных и других бенчмарках. Квантизация NVFP4 уменьшает точность представления весов и ориентирована на оборудование NVIDIA Blackwell. Репозиторий содержит файл модели в формате GGUF. Лицензия — Apache-2.0.