II.4Отладка, тестирование и качество ПО

NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-dynamic — языковая модель, разработанная Red Hat на базе NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 от NVIDIA. Она предназначена для генерации и преобразования текста, рассуждений и решения сложных задач, математики и естественных наук, генерации кода, следования инструкциям и вызова инструментов. Модель поддерживает вход и выход в текстовой модальности, а также tool calling. Модель построена на архитектуре NemotronHForCausalLM и содержит 550 млрд параметров, из которых 55 млрд являются активными. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: для весов используется статическая симметричная поканальная схема, для активаций — динамическая симметричная схема на токен. Это примерно вдвое снижает требования к памяти и размеру файлов, а также может повысить пропускную способность матричных вычислений примерно в два раза. Для эффективного развертывания заявлена интеграция с vLLM; в примере конфигурации используется максимальная длина последовательности 262144 токена. Заявленные языки включают английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит. Сильными сторонами модели являются большой общий объём параметров, активная разреженная вычислительная конфигурация, поддержка рассуждений, программирования и инструментов, а также преимущества FP8-квантизации. Ограничения включают высокие требования к вычислительной инфраструктуре и зависимость эффективного развертывания от совместимого стека, включая vLLM и специальные парсеры. Модель распространяется по лицензии openmdw-1.1; использование в нарушение применимых законов и нормативных требований исключено из области применения.

unsloth/Qwen2.5-7B-Instruct — инструктивная языковая модель семейства Qwen2.5, опубликованная Unsloth как производная от Qwen/Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель с 7,1 млрд параметров; карточка указывает архитектуру Qwen2 и поддержку Transformers, а README описывает 28 слоёв, RoPE, SwiGLU, RMSNorm и механизм группового внимания GQA. Метаданные указывают контекст 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Она подходит для ответов на вопросы, написания и анализа кода, математических задач, создания длинных текстов и выдачи структурированных ответов, включая JSON. Поддерживает английский, русский, китайский и ряд других языков; заявлена поддержка более 29 языков. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. README описывает возможность работы с более длинным контекстом через YaRN, но отмечает, что статическое масштабирование может ухудшить качество или производительность на коротких запросах. Модель выпущена под лицензией Apache-2.0.

Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.

NVIDIA Qwen3.8-2.4T-A95B-NVFP4 — квантизированная версия языковой модели Alibaba Qwen3.8-2.4T-A95B, подготовленная с помощью NVIDIA Model Optimizer. Модель предназначена для генерации текста, программирования, профессиональных и исследовательских задач, а также длительных агентных сценариев с использованием инструментов. Она принимает текстовые строки и формирует текстовые ответы, включая естественный язык, код, вызовы инструментов и структурированные данные в зависимости от конфигурации приложения. Модель использует архитектуру Transformers с гибридным механизмом внимания и блоками Mixture-of-Experts. Общее количество параметров составляет 2,4 трлн, из них активируется 95 млрд. Поддерживается контекст длиной до 1 млн токенов. Версия NVFP4 применяет 4-битное квантование весов и активаций линейных операторов в трансформерных блоках, что снижает требования к памяти по сравнению с 16-битным представлением. Предусмотрен запуск через vLLM и SGLang на GPU NVIDIA Blackwell; предпочтительная операционная система — Linux. Сильные стороны модели — большой контекст, масштабная MoE-архитектура, возможности в программировании, научном рассуждении, следовании инструкциям, извлечении информации из длинных контекстов и агентном использовании инструментов. Язык обучения и полный состав обучающих данных не раскрыты, а приведённые сведения об оценивании относятся преимущественно к текстовым задачам. Модель оптимизирована для систем с GPU NVIDIA, поэтому её применение на CPU или неподдерживаемом оборудовании может быть ограничено. Использование разрешено в коммерческих и некоммерческих целях на условиях NVIDIA Open Model Agreement; исходная модель разработана Alibaba, а не NVIDIA.

unsloth/Qwen3-8B — плотная причинно-авторегрессионная языковая модель семейства Qwen3, основанная на Qwen/Qwen3-8B и опубликованная Unsloth. По карточке модели, она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики и программирования; также поддерживает интерфейс вызова инструментов. Qwen3 позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают 7,6 млрд параметров и контекст до 40 960 токенов; модель распространяется в формате safetensors и рассчитана на использование с Transformers. Карточка базовой модели заявляет поддержку более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель может быть полезна для чат-ботов, генерации и редактирования текста, помощи с кодом и агентных сценариев с инструментами. Указана лицензия Apache-2.0. Заявленный в README базовой модели размер параметрического набора и длина контекста отличаются от значений метаданных этой записи, поэтому здесь приведены значения метаданных каталога.

unsloth/cogito-v2-preview-llama-70B-GGUF — GGUF-версия большой языковой модели Cogito v2 preview 70B, разработанная Unsloth на базе deepcogito/cogito-v2-preview-llama-70B. Это инструкционно дообученная генеративная модель с гибридным режимом рассуждений: она может отвечать напрямую либо предварительно выполнять саморефлексию. Обучение проводилось с использованием Iterated Distillation and Amplification (IDA), стратегии итеративного самоулучшения. Модель предназначена для генерации текста, следования инструкциям, программирования, задач STEM, вызова инструментов и общего ассистирования. Модель поддерживает контекст длиной до 128k токенов и обучена более чем на 30 языках, поэтому ориентирована на многоязычные сценарии. Заявлены улучшенные возможности в программировании, работе с инструментами и многоязычии по сравнению с сопоставимыми по размеру моделями. Доступны стандартный режим и расширенное рассуждение; для последнего в совместимых инструментах требуется включить параметр enable_thinking или использовать предусмотренный системный запрос и префилл. GGUF-формат подходит для запуска через совместимые средства локального инференса, включая llama.cpp; для корректного применения шаблона чата в llama.cpp рекомендуется параметр --jinja. К ограничениям относятся значительные требования к вычислительным ресурсам, обусловленные размером 70B, а также экспериментальный статус preview и возможная хрупкость гибридного режима в редких случаях. Репозиторий распространяется по лицензии Llama 3.1, указанной как допускающая коммерческое использование; точные условия следует проверять в тексте лицензии.

vs199507/gemma-4-31B-it-GGUF — GGUF-версия мультимодальной instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной сообществом Unsloth. Модель предназначена для генерации и понимания текста, программирования, рассуждений, работы с изображениями и агентских сценариев с вызовом функций. Это плотная модель примерно с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное скользящее окно размером 1024 токена с глобальным вниманием. Она принимает текст и изображения и генерирует текст, поддерживает контекст до 256 тысяч токенов и мультиязычную работу более чем со 140 языками. Для модели заявлены настраиваемые режимы рассуждений, улучшенные возможности программирования, native function calling и поддержка системных промптов. К сильным сторонам относятся большой контекст, мультимодальное понимание, развитые возможности рассуждений и широкий спектр прикладных сценариев — от диалогов и анализа документов до coding и автономных агентов. Конкретные характеристики квантования, требования к памяти и производительность этой GGUF-сборки в README не указаны; из-за размера модель ориентирована преимущественно на мощные рабочие станции и серверы. Распространение осуществляется по лицензии Apache 2.0.

Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Mistral Small 3.1 24B Instruct — мультимодальная инструкционная модель Mistral AI с плотной архитектурой Mistral3 и 24 млрд параметров, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Она принимает текст и изображения, отвечает на вопросы о визуальном содержимом и поддерживает контекст до 128 тысяч токенов. Модель предназначена для диалоговых помощников, вызова функций и генерации JSON, программирования, математических рассуждений и анализа длинных документов. Модель поддерживает множество языков, включая английский, русский, французский, немецкий, испанский, китайский, японский, арабский и хинди. Среди описанных возможностей — локальный запуск, системные инструкции и визуальный анализ; для инференса рекомендована библиотека vLLM. Квантизированную версию можно разместить на одной RTX 4090 или MacBook с 32 ГБ памяти, согласно карточке модели. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Качество ответов может различаться в зависимости от задачи; в карточке приведены результаты отдельных бенчмарков, которые не гарантируют точность в каждом практическом сценарии.

unsloth/Qwen3-32B-GGUF — версия модели Qwen3-32B в формате GGUF, подготовленная Unsloth на основе базовой модели Qwen/Qwen3-32B, разработанной Alibaba Cloud. Это авторегрессионная языковая модель с предварительным обучением и последующей настройкой, предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, переводов, творческого письма и агентских сценариев с использованием внешних инструментов. Модель содержит 32,8 млрд параметров, из которых 31,2 млрд не относятся к embedding, и имеет 64 слоя. Используется grouped-query attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает режимы thinking и non-thinking, между которыми можно переключаться, а также более 100 языков и диалектов. Формат GGUF ориентирован на запуск через совместимые локальные инструменты, однако конкретный вариант квантования в README не указан. К сильным сторонам относятся развитые способности к рассуждению, программированию, многоязычному следованию инструкциям, переводу, многошаговым диалогам и работе в агентских задачах. Ограничениями являются значительный размер модели и, вероятно, высокие требования к памяти и вычислительным ресурсам; точные требования зависят от варианта GGUF и в README не приведены. Модель распространяется по лицензии Apache 2.0.

AIArchiveInfo публикует точную архивную копию Qwen3-8B от команды Qwen: веса и файлы сохранены без изменений. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров по метаданным, предназначенная для генерации текста и диалогов. Она поддерживает режимы рассуждения и обычного ответа, следование инструкциям, работу с инструментами, программирование, математику и перевод. Карточка заявляет поддержку более 100 языков и диалектов; метаданные указывают контекст 40 960 токенов. Модель можно использовать для многошаговых диалогов, написания и редактирования текстов, генерации кода, рассуждений и интеграции с внешними инструментами. Это текстовая модель, работающая через Transformers и распространяемая в формате Safetensors. Копия не обучалась и не дообучалась архиватором; лицензия Apache-2.0.

Qwen-72B — базовая плотная языковая модель на архитектуре Transformer, разработанная Alibaba Cloud в рамках семейства Tongyi Qianwen. В репозитории представлена предварительно обученная модель с 119,4 млрд параметров; она обучена более чем на 3 трлн токенов из веб-текстов, книг, кода, математики и других общих и профессиональных материалов. Это базовая модель, а не диалоговая версия Qwen-72B-Chat. Модель предназначена для генерации текста и служит основой для сценариев продолжения текста, рассуждений, ответов на запросы, работы с кодом и математическими задачами. В README указаны 32 тысячи токенов контекста, словарь размером свыше 150 тысяч токенов и архитектурные компоненты RoPE, SwiGLU и RMSNorm. Основное внимание уделено китайскому и английскому языкам; словарь также рассчитан на поддержку ряда других языков, включая русский. Для запуска BF16/FP16 требуется не менее 144 ГБ видеопамяти, а для варианта Int4 — не менее 48 ГБ. README предупреждает, что при дообучении нужно учитывать особенности tiktoken-токенизатора и специальных токенов. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией репозитория.

RedHatAI/DeepSeek-V4-Flash-BF16 — версия модели DeepSeek-V4-Flash, опубликованная Red Hat AI. Это языковая модель архитектуры DeepSeek V4 для генерации текста; README описывает семейство как MoE, обученное на более чем 32 трлн токенов с последующей настройкой для разных областей и объединением навыков дистилляцией. Модель предназначена для диалогов, рассуждений, планирования, агентных сценариев и задач программирования. Для серии заявлен контекст до 1 048 576 токенов, а карточка репозитория указывает 10,7 млрд параметров. В README для Flash описаны режимы рассуждения от быстрых ответов до более глубокого анализа. Семейство использует гибридное внимание CSA/HCA для эффективной работы с длинным контекстом. Репозиторий использует библиотеку Transformers и формат safetensors; лицензия — MIT. README указывает, что в релизе нет Jinja-шаблона чата и для кодирования сообщений и разбора ответов предоставляются отдельные скрипты.

Falcon3-10B-Instruct — инструкция-ориентированная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, понимания языка, программирования и математики. Модель основана на причинном декодере Transformer с 40 блоками, архитектурой GQA, SwiGLU и RMSNorm; содержит 9,9 млрд параметров и работает с контекстом до 32 тыс. токенов. Она дообучена на разговорных, STEM-, программных, безопасностных данных и примерах вызова функций. Поддерживает английский, французский, испанский и португальский языки; репозиторий содержит веса Safetensors для Transformers. Модель подходит для создания диалоговых помощников, анализа и генерации текста, помощи с кодом и решения математических задач. Качество зависит от задачи, а результаты бенчмарков в карточке отражают оценки на момент выпуска. Лицензия — TII Falcon-LLM License 2.0.

mlx-community/gemma-4-12B-it-OptiQ-4bit — это локальная MLX-квантизованная версия Gemma-4-12B-it, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для генерации текста, рассуждений, программирования, извлечения и классификации, следования инструкциям, вызова инструментов и агентских сценариев на компьютерах Apple Silicon без PyTorch и облачных сервисов. Это текстовый путь унифицированной модели Gemma-4, исходно поддерживающей текст, изображения и аудио: при конвертации визуальная и аудиобашни были удалены, поэтому данная версия работает только с текстом. Языковая башня использует смешанную квантизацию: чувствительные слои представлены в 8-битном формате, остальные — в 4-битном. Всего квантизовано 328 слоёв, средняя точность составляет 5,22 бита на вес, размер группы — 64, размер файла — около 8,3 ГБ. Модель поддерживает режим рассуждений с отдельным thinking channel; для прямых ответов его можно отключить. Согласно приведённым тестам, OptiQ-версия превосходит равномерную 4-битную квантизацию по пяти из шести метрик, особенно в задачах длинноконтекстного извлечения и программирования; в тесте BFCL разница находится в пределах указанного доверительного интервала. Для работы требуются mlx-lm из основной ветки и импорт optiq, регистрирующий тип модели gemma4_unified, поэтому стандартного выпуска mlx-lm 0.31.3 недостаточно. Модель распространяется на условиях Gemma license, унаследованных от базовой модели Google; применяются условия использования Google Gemma.

Карточка модели Abobs132/gemma-4-E2B на Hugging Face совпадает с карточкой google/gemma-4-E2B, поэтому описание составлено по ней. Gemma 4 E2B — мультимодальная плотная модель с открытыми весами от Google DeepMind, принадлежащая семейству Gemma 4. Она принимает текст и изображения, а также аудио; генерирует текст. Семейство использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для малых моделей, включая E2B, заявлено контекстное окно до 128 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, суммаризации, понимания изображений и аудио, распознавания речи и перевода речи в текст. Она рассчитана на локальный запуск на мобильных устройствах и ноутбуках; семейство поддерживает многоязычные сценарии, включая более 35 языков в готовом виде. Модельные карточка описывает возможности семейства, поэтому отдельные характеристики E2B следует трактовать в его контексте. Репозиторий распространяется по лицензии Apache 2.0. Возможности включают OCR, разбор документов, анализ видео и вызов функций; описание аудиоподдержки для E2B подтверждает обработку аудио, а не генерацию речи. Качество ответов может зависеть от языка, сложности задачи и доступных вычислительных ресурсов; для критически важных сценариев результаты следует проверять.

Карточка модели Openintelligent123/gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Hermes 4 405B — большая плотная языковая модель Nous Research для диалогов и следования инструкциям, созданная на основе Meta Llama 3.1 405B с дополнительным постобучением. Модель содержит около 403,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Основной язык карточки — английский. Модель предназначена для диалогового помощника и сложных задач рассуждения, включая математику, программирование, STEM, логику и творческое письмо. Она поддерживает режим рассуждения, вызов инструментов и функций, а также генерацию структурированных ответов, в том числе JSON по заданной схеме. Вызовы инструментов требуют подходящего шаблона диалога и обработки специального формата вывода. Модель распространяется под лицензией Llama 3.1 Community License. Это крупная модель, для обслуживания которой README рекомендует многокарточные серверные конфигурации и движки вывода вроде vLLM или SGLang. Утверждения о качестве и результатах на бенчмарках приведены разработчиком; карточка не предоставляет подробных таблиц результатов.

Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

unsloth/Kimi-K2-Thinking-BF16 — публикация модели Kimi K2 Thinking в формате BF16, размещённая Unsloth и основанная на moonshotai/Kimi-K2-Thinking. Это текстовая разговорная модель с архитектурой DeepSeek V3; карточка описывает исходную Kimi K2 Thinking как модель с архитектурой Mixture-of-Experts, примерно 1 трлн параметров и 32 млрд активируемых параметров. В метаданных данной публикации указано 37,9 млрд параметров. Модель предназначена для сложных рассуждений, работы с инструментами, исследований, программирования и написания текстов. Заявлены контекст до 256 тыс. токенов и способность поддерживать длинные последовательности вызовов инструментов; результаты тестов в README получены с поиском, браузером и интерпретатором кода там, где указано использование инструментов. Это текстовая модель, а не модель для обработки изображений или аудио. Метаданные указывают лицензию «other», поэтому конкретные условия использования следует сверять с лицензией и уведомлениями в репозитории. README описывает INT4-квантизацию исходной Kimi K2 Thinking, однако эта публикация заявлена как BF16, а в метаданных указан формат safetensors; результаты и характеристики исходной версии не следует автоматически переносить на эту публикацию.

Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она предназначена для сложных многошаговых задач, анализа больших документов и кодовых баз, а также для работы с математическими и научными запросами. Модель подходит разработчикам чат-ботов, RAG-систем и AI-агентов. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture-of-Experts и Attention, а Multi-Token Prediction ускоряет генерацию. Всего в модели 550 млрд параметров, из которых 55 млрд активны; контекст достигает 1 млн токенов. Чекпойнт использует NVFP4 и рассчитан на высокую пропускную способность на современном оборудовании NVIDIA. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, бразильский португальский и китайский языки. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Для запуска требуются значительные вычислительные ресурсы и подходящая инфраструктура NVIDIA; в README рекомендована многосерверная конфигурация для развертывания на нескольких узлах.

unsloth/Qwen3-32B-128K-GGUF — это GGUF-версия большой языковой модели Qwen3-32B, разработанной командой Qwen и опубликованной в формате GGUF командой Unsloth. Модель представляет собой причинную языковую модель с 32,8 млрд параметров, из которых 31,2 млрд не относятся к эмбеддингам. Архитектура включает 64 слоя и групповое обобщённое внимание (GQA) с 64 головами для Q и 8 для KV. Модель предназначена для диалогов, следования инструкциям, генерации и анализа кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, многошаговых диалогов, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Заявлена поддержка более 100 языков и диалектов. Базовая длина контекста составляет 32 768 токенов, а с использованием YaRN она увеличена до 131 072 токенов. Модель сочетает широкий набор языковых и рассуждательных возможностей с поддержкой длинного контекста и локального запуска в GGUF-экосистеме. Ограничения включают значительный размер, потенциально высокие требования к памяти и вычислительным ресурсам, а также зависимость качества и скорости от конкретной GGUF-квантизации и настроек запуска. В README не приведены точные параметры квантизации, требования к оборудованию или результаты бенчмарков. Модель распространяется по лицензии Apache-2.0.

Карточка модели wycliffearapcheruiyot/Qwen3-4B-Instruct-2507 на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Instruct-2507, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

Карточка модели nicoplv/Qwen3.8-27B-oQ4e-fp16-mtp на Hugging Face совпадает с карточкой Qwen/Qwen3.8-27B, поэтому описание составлено по ней. Qwen3.8-27B — плотная мультимодальная модель семейства Qwen от команды Qwen. Это постобученная причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров и построенная на архитектурной основе Qwen3.5. Репозиторий включает веса и конфигурацию в формате Hugging Face Transformers; модель также совместима с vLLM, SGLang и другими средами инференса. Лицензия — Apache-2.0. Модель предназначена для диалогов, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Она принимает текст, изображения и видео и умеет разбирать документы, диаграммы и длительные видеоматериалы. Режим рассуждения включён по умолчанию, его можно отключить для отдельного запроса, а глубину настраивать параметром reasoning_effort. Контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN-блоки; предусмотрено обучение с Multi-Token Prediction. В карточке заявлены улучшения планирования и выполнения задач с учётом обратной связи среды, однако приведённые описания бенчмарков сами по себе не гарантируют качество в конкретном применении. Модель ориентирована на применение и распространяется по лицензии Apache-2.0.

Карточка модели Xyre/Qwen3-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

QuantFactory/Qwen3-8B-GGUF — квантизированная версия языковой модели Qwen3-8B, созданная QuantFactory на основе модели Qwen/Qwen3-8B с использованием llama.cpp. Это каузальная языковая модель для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических рассуждений, перевода и сценариев с интеграцией внешних инструментов. Модель содержит 8,2 млрд параметров, из них 6,95 млрд без учёта embedding, и включает 36 слоёв. В архитектуре используется grouped-query attention (GQA) с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает более 100 языков и диалектов и умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых ответов. К сильным сторонам относятся универсальность, развитые способности к рассуждениям, программированию, многоязычным задачам, диалогам и работе с инструментами, а GGUF-квантизация ориентирована на локальный запуск через совместимые приложения и llama.cpp. Ограничения конкретной сборки зависят от выбранного уровня квантизации, который в карточке не указан: по сравнению с полноразмерной моделью возможна потеря качества, а требования к памяти и производительность определить нельзя. Модель распространяется по лицензии Apache 2.0.

Карточка модели crusoeai/DeepSeek-V4-Flash-BF16 на Hugging Face совпадает с карточкой RedHatAI/DeepSeek-V4-Flash-BF16, поэтому описание составлено по ней. RedHatAI/DeepSeek-V4-Flash-BF16 — версия модели DeepSeek-V4-Flash, опубликованная Red Hat AI. Это языковая модель архитектуры DeepSeek V4 для генерации текста; README описывает семейство как MoE, обученное на более чем 32 трлн токенов с последующей настройкой для разных областей и объединением навыков дистилляцией. Модель предназначена для диалогов, рассуждений, планирования, агентных сценариев и задач программирования. Для серии заявлен контекст до 1 048 576 токенов, а карточка репозитория указывает 10,7 млрд параметров. В README для Flash описаны режимы рассуждения от быстрых ответов до более глубокого анализа. Семейство использует гибридное внимание CSA/HCA для эффективной работы с длинным контекстом. Репозиторий использует библиотеку Transformers и формат safetensors; лицензия — MIT. README указывает, что в релизе нет Jinja-шаблона чата и для кодирования сообщений и разбора ответов предоставляются отдельные скрипты.

coder3101/gemma-4-12B-it-qat-q4_0-unquantized-heretic — мультимодальная инструкционная модель на 12 млрд параметров, основанная на Gemma 4 от Google DeepMind и дообученная автором репозитория. Она предназначена для диалога, рассуждений, генерации и исправления кода, работы с инструментами, а также анализа изображений, видео и аудио. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания; для модели 12B заявлен контекст до 256 тысяч токенов. Модель принимает текст и мультимодальные данные и генерирует текст; аудиовозможности Gemma 4 12B включают распознавание речи и перевод речи в текст. Семейство поддерживает более 35 языков, хотя конкретный перечень для этого чекпойнта не приведён. Модификация помечена как uncensored/decensored/abliterated, поэтому предполагает ослабленные ограничения на ответы по сравнению с обычной инструкционной моделью. Возможности включают извлечение данных из документов, OCR, понимание экранов и диаграмм, суммаризацию и ответы на вопросы. Модель может ошибаться в фактах, терять нюансы языка и отражать смещения обучающих данных; сложные и открытые запросы требуют проверки. Лицензия — Apache-2.0.

JJaguar/gemma-4-12B-it-qat-q4_0-unquantized-heretic-nx — производная мультимодальная модель на основе Google Gemma 4 12B Instruct, размещённая пользователем JJaguar. Карточка описывает семейство Gemma 4: плотную архитектуру Gemma4Unified с чередованием локального скользящего и глобального внимания; для версии 12B заявлен контекст до 256K токенов. Метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа текста и мультимодальных входов. Семейство поддерживает понимание изображений и видео, включая OCR, разбор документов, графиков и интерфейсов; для версии 12B также заявлены распознавание речи и перевод речи в текст. Gemma 4 поддерживает более 35 языков; конкретный перечень для этой версии в данных не приведён. Модификация помечена как uncensored, decensored и abliterated, поэтому стандартные защитные ограничения исходной модели могли быть изменены. Среди общих ограничений Gemma 4 — возможные фактические ошибки, влияние пробелов и смещений обучающих данных, а также трудности с неоднозначными и сложными запросами. Лицензия — Apache-2.0.

Google DeepMind Gemma 4 26B A4B IT QAT Q4_0 Unquantized — мультимодальная instruction-tuned модель семейства Gemma 4, связанная с базовой моделью google/gemma-4-26B-A4B-it. Это контрольная точка QAT: веса извлечены из конвейера обучения с учётом квантования, но сами хранятся в формате safetensors; вариант предназначен для последующей компиляции и исследований. Лицензия — Apache 2.0. Модель принимает текст и изображения и выдаёт текст. Она подходит для диалогов, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания текста на изображениях и вызова инструментов. Для варианта 26B A4B в карточке семейства заявлено контекстное окно до 256K токенов; аудиовозможности относятся только к меньшим моделям семейства. QAT-обучение нацелено на сохранение качества, близкого к bfloat16, при снижении требований к памяти в соответствующих вариантах квантованных контрольных точек. Этот репозиторий содержит unquantized QAT-веса, поэтому сам по себе не является готовым GGUF или мобильным квантованным вариантом. Карточка описывает возможности семейства в целом; отдельные показатели качества для этого чекпойнта не приведены.