II.4Отладка, тестирование и качество ПО

unsloth/gemma-4-26B-A4B-it-NVFP4 — инструкционная мультимодальная модель семейства Gemma 4, подготовленная Unsloth на базе google/gemma-4-26B-A4B-it и разработанная Google DeepMind. Это квантованный вариант в формате NVFP4, предназначенный для эффективного запуска, в частности через vLLM на совместимом оборудовании NVIDIA. Модель принимает текст и изображения и генерирует текст. Вариант 26B A4B относится к архитектурам Mixture-of-Experts (MoE): семейство Gemma 4 позиционирует такие модели для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев. Поддерживаются настраиваемые режимы рассуждения, нативный system prompt, вызов функций и длинный контекст; для средних моделей Gemma 4 заявлено до 256K токенов. Семейство также поддерживает более 140 языков. К сильным сторонам относятся сочетание мультимодального понимания, возможностей рассуждения и кодирования, поддержка длинного контекста и более эффективное выполнение благодаря MoE-архитектуре и NVFP4-квантизации. Ограничения включают зависимость производительности и совместимости от поддерживаемых NVFP4-ядер и аппаратного обеспечения; точные требования к памяти, показатели качества и языковые характеристики именно этого квантованного варианта в README не указаны. Модель распространяется по лицензии Apache 2.0.

PhalaCloud/GLM-5.2-W4AFP8 — это квантизированная версия GLM-5.2, разработанного zai-org. Модель предназначена для генерации текста, рассуждений, точного следования инструкциям, работы с длинным контекстом и вызова инструментов. Указаны поддерживаемые языки English и Chinese; модель работает в текстовом режиме. Модель сохраняет полный объём 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса квантизированы до 4 бит с group size 128 и FP8-активациями, а отдельные компоненты, включая attention и MTP-слой, остаются в FP8 или BF16. На одном узле с 8 GPU H200 поддерживается контекст до 1 млн токенов. Квантизация рассчитана на снижение потребления памяти без измеримой потери качества относительно FP8-версии; заявлена поддержка EAGLE speculative decoding. По приведённым тестам модель показывает высокие результаты в reasoning, instruction following, long-context reasoning и tool calling, а также извлекает данные из контекста длиной около 983 тысяч токенов. Основные ограничения — необходимость GPU Hopper с SM90, проверенная совместимость только с SGLang версии 0.5.13.post1 или новее и непроверенная работа с vLLM и другими движками. Модель распространяется по лицензии MIT, унаследованной от GLM-5.2.

IFM/K2-Horizon-32B-FP8 — открытая FP8-квантизированная версия K2-Horizon-32B-Stage1, разработанная IFM. Это плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, агентских сценариев, программирования и задач рассуждения. Модель поддерживает английский язык и нативное контекстное окно до 524 288 токенов. Веса всех линейных слоёв, кроме lm_head, квантизированы в FP8: для весов используется статическое масштабирование по блокам 128×128, а для активаций — динамическое масштабирование по группам 1×128. По данным разработчиков, FP8-версия близка к исходной BF16-модели по результатам оценивания, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Модель относится к этапу Stage1 обучения, а финальный чекпойнт на момент публикации ещё не выпущен, поэтому заявленные характеристики могут быть неполными. Указано, что тренировочные данные, рецепт и код обучения будут открыты, а промежуточные чекпойнты планируется публиковать для анализа изменений возможностей. Модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.3-GGUF — это GGUF-квантизированная версия Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, следования инструкциям и использования в качестве универсального ассистента, включая сценарии с вызовом функций. Модель содержит около 7 млрд параметров, использует архитектуру Mistral и поддерживает контекст длиной 32 768 токенов. В версии 0.3 расширен словарь с 32 000 до 32 768 токенов, добавлен новый токенизатор и реализована поддержка function calling через специальные токены TOOL_CALLS, AVAILABLE_TOOLS и TOOL_RESULTS. Для работы в LM Studio рекомендуется шаблон Mistral Instruct с форматом <s> [INST] запрос [/INST] </s>. Сильные стороны модели — качественное следование инструкциям, универсальность и поддержка вызова функций. README не содержит сведений о поддерживаемых языках, конкретных размерах файлов или характеристиках отдельных уровней квантизации. Модель распространяется по лицензии Apache 2.0.

unsloth/Mistral-Small-24B-Instruct-2501-GGUF — квантизированная версия 24-миллиардной Mistral Small 3 (2501), разработанной командой Mistral AI и опубликованной Unsloth в формате GGUF. Это instruction-tuned модель на базе Mistral-Small-24B-Base-2501, предназначенная для диалоговых приложений, генерации текста, локального инференса, function calling, выдачи JSON и создания специализированных предметных ассистентов после дообучения. Модель поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Заявлены сильные conversational и reasoning-возможности, поддержка системных промптов и контекстное окно 32K токенов. Используется токенизатор Tekken со словарём размером 131K; конкретная архитектура и параметры квантизации в предоставленном README не указаны. К сильным сторонам относятся высокая плотность знаний, низкая задержка, нативные возможности для агентных сценариев и возможность локального запуска после квантизации, в том числе на RTX 4090 или MacBook с 32 ГБ оперативной памяти. Ограничения включают отсутствие подробных данных о вариантах квантизации, требованиях к оборудованию и результатах независимых оценок; заявленные преимущества основаны на материалах разработчика. Модель распространяется по лицензии Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

Mistral-Small-24B-Instruct-2501-unsloth-bnb-4bit — это 4-битная квантованная версия Mistral Small 3 (2501), подготовленная Unsloth на базе Mistral-Small-24B-Instruct-2501 от команды Mistral AI. Модель содержит 24 млрд параметров и предназначена для локального запуска, диалоговых приложений и задач, требующих высокой качества ответов при ограниченных ресурсах. После квантования заявлена возможность размещения на одной видеокарте RTX 4090 или MacBook с 32 ГБ оперативной памяти. Модель ориентирована на быстрых разговорных агентов, вызов функций, генерацию JSON, предметных помощников после дообучения и локальную обработку чувствительных данных. Она поддерживает десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, нидерландский и польский. Доступно контекстное окно 32K токенов, а также поддержка системных инструкций. Используется токенизатор Tekken со словарём размером 131 тысяча токенов. К сильным сторонам относятся агентские возможности, встроенный вызов функций, структурированный вывод, мультиязычность, развитые диалоговые и рассуждательные способности, а также снижение требований к памяти благодаря 4-битному представлению. Ограничениями являются зависимость качества и скорости от аппаратной конфигурации и возможные потери точности, связанные с квантованием; конкретные показатели для данной квантованной сборки в README не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию.

Mistral-Small-3.1-24B-Instruct-2503-GGUF — текстовая инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF. Квантование подготовлено bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и задач, требующих продвинутого рассуждения. Модель поддерживает контекст длиной до 128 тысяч токенов и множество языков, включая английский, французский, немецкий, греческий, хинди, индонезийский, итальянский, японский, корейский, малайский, непальский, польский, португальский, румынский, русский, сербский, испанский, шведский, турецкий, украинский, вьетнамский, арабский, бенгальский, китайский и фарси. Указанная версия является текстовой и не поддерживает другие модальности. Размер базовой модели — 24B параметров. К сильным сторонам относятся широкий языковой охват, длинный контекст и ориентация на агентские и сложные задачи рассуждения. Ограничения включают текстовую специализацию, возможные ошибки, неточности и нежелательные ответы, типичные для генеративных моделей, а также зависимость производительности и качества от выбранного варианта квантования и аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

unsloth/Phi-4-mini-instruct-unsloth-bnb-4bit — это квантованная 4-битная версия Phi-4-mini-instruct, разработанной Microsoft, с исправлениями и оптимизациями от Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач, программирования и других задач обработки естественного языка. В README заявлена поддержка мультиязычных сценариев и контекста до 128K токенов. Модель построена на данных, включающих синтетические примеры и отфильтрованные общедоступные веб-источники, с акцентом на качественные данные для рассуждений. Для Phi-4-mini-instruct указано применение supervised fine-tuning и direct preference optimization, направленных на точное следование инструкциям и повышение безопасности. Версия Unsloth исправляет обработку padding и EOS-токенов, шаблон чата и unk_token, а также использует селективное динамическое 4-битное квантование, призванное лучше сохранять точность по сравнению со стандартным 4-битным форматом. К сильным сторонам относятся небольшой размер относительно более крупных моделей семейства Phi-4, длинный контекст, поддержка диалогов, кода и математики, а также сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества из-за 4-битного представления, отсутствие в предоставленных данных точных сведений о размере модели и перечне поддерживаемых языков, а также текстовую, а не мультимодальную специализацию. В карточке указана лицензия MIT, унаследованная от microsoft/Phi-4-mini-instruct.

duyntnet/Qwen2.5-3B-Instruct-imatrix-GGUF — набор imatrix-квантизаций в формате GGUF для instruction-tuned модели Qwen2.5-3B-Instruct, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы со структурированными данными и форматированными ответами, включая JSON, а также для задач программирования и математики. Это авторегрессионная causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует GQA с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также возможности в программировании и математике. Формат GGUF и совместимость с llama.cpp, KoboldCPP, text-generation-webui и Ollama подходят для локального запуска, однако конкретные требования к памяти, производительность и качество зависят от выбранной квантизации. В репозитории указана лицензия other; дополнительные условия лицензирования не раскрыты.

ibrahimkettaneh/Qwen2.5-72B-Instruct-abliterated-AWQ — производная версия Qwen2.5-72B-Instruct, опубликованная пользователем Ibrahim Kettaneh на Hugging Face. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий содержит веса в формате Safetensors, квантизированные методом AWQ до 4 бит, и предназначен для локального запуска текстовой генерации и диалоговых приложений на совместимом оборудовании. Отдельная карточка модели для этого производного репозитория отсутствует, поэтому сведения о специфических изменениях, внесённых в вариант «abliterated», не задокументированы надёжно. Архитектурно это causal language model семейства Qwen2.5 с примерно 72,7 млрд параметров, 80 слоями, RoPE, SwiGLU, RMSNorm и grouped-query attention: 64 головы для Q и 8 для KV. Исходная instruction-tuned модель поддерживает генерацию текста, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский. Полный контекст составляет до 131 072 токенов, а рекомендуемая длина генерации — до 8192 токенов; для очень длинного контекста требуется настройка YaRN. К сильным сторонам относятся большой масштаб, развитые способности к рассуждению, коду и обработке длинного контекста, а 4-битная AWQ-квантизация уменьшает требования к памяти по сравнению с полноразмерными весами. Ограничения — высокая вычислительная требовательность даже после квантизации, возможное снижение качества из-за квантизации и отсутствие надёжно опубликованных оценок именно этого варианта. На странице производного репозитория отдельная лицензия не указана; у исходной Qwen2.5-72B-Instruct указана лицензия Qwen, поэтому условия использования следует проверять по лицензии исходной модели и файлам конкретного репозитория.

QuantFactory/Qwen3-1.7B-GGUF — квантизированная версия языковой модели Qwen3-1.7B, созданная QuantFactory с использованием llama.cpp на основе базовой модели Qwen/Qwen3-1.7B от команды Qwen. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, математических и логических задач, программирования, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и включает 28 слоёв. Используется grouped-query attention: 16 голов для Q и 8 для KV. Максимальная длина контекста — 32 768 токенов. Qwen3 поддерживает более 100 языков и диалектов, а также мультиязычное следование инструкциям и перевод. В одной модели доступны режимы с рассуждением и без него: первый ориентирован на сложные задачи, математику и код, второй — на более быстрый диалог и универсальную генерацию. Формат GGUF и квантизация предназначены для более эффективного локального запуска с инструментами и приложениями, совместимыми с llama.cpp, включая Ollama и LM Studio; конкретный уровень квантизации в карточке не указан. Ограничениями являются отсутствие сведений о точном варианте квантизации, требованиях к аппаратному обеспечению и результатах бенчмарков, а также возможное появление повторов при неподходящих параметрах генерации. Модель распространяется по лицензии Apache-2.0.

duyntnet/Qwen3-4B-imatrix-GGUF — набор квантованных версий языковой модели Qwen3-4B, опубликованный пользователем duyntnet и основанный на модели Qwen/Qwen3-4B. Это каузальная текстовая модель с примерно 4 млрд параметров, включая 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и архитектурой Grouped-Query Attention: 32 головы запросов и 8 голов ключей и значений. Модель предназначена для генерации текста, диалогов, следования инструкциям, написания кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Qwen3-4B поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов в рамках одной модели. Указана поддержка более 100 языков и диалектов, однако для данной карточки в метаданных явно заявлен английский язык. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. Формат GGUF и imatrix-квантизация ориентированы на локальный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio, GPT4All и другие клиенты. Сильными сторонами модели являются сочетание компактного размера, мультиязычности, развитого следования инструкциям, рассуждений и агентских возможностей, а также возможность локального инференса в квантованном формате. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования, необходимость совместимого инференс-движка и отсутствие в карточке подробных результатов бенчмарков, требований к ресурсам и точных параметров конкретных квантованных файлов. В метаданных указана лицензия other; дополнительных условий лицензирования в README не приведено.

ZuzeTt/Qwen3.5-4B-imatrix-GGUF — мультимодальная causal language model с vision encoder из семейства Qwen3.5, разработанная командой Qwen. Модель основана на Qwen/Qwen3.5-4B-Base и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и использует гибридную архитектуру Gated DeltaNet и разреженной Mixture-of-Experts с механизмом Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Репозиторий содержит артефакты в формате GGUF, полученные с использованием llama.cpp; README также указывает совместимость исходной модели с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большое контекстное окно, компактный размер и архитектурная оптимизация для производительного инференса. Ограничения конкретной imatrix-квантизации, включая точность, требования к памяти и поддерживаемые варианты квантования, в README подробно не указаны. Лицензия — Apache 2.0.

QuantTrio/Qwen3.5-9B-AWQ — квантованная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса в формате, совместимом с Transformers и сервером инференса vLLM; квантование выполнено методом, не использующим обучающие данные. README не уточняет состав команды, выполнившей квантование. Модель предназначена для генерации и понимания текста и изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Это каузальная языковая модель с vision-энкодером, поддерживающая 201 язык и диалект. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; модель содержит около 9 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Размер файлов модели составляет около 12 ГиБ. Ключевое преимущество — сочетание мультимодальности, длинного контекста и сниженных требований к памяти благодаря формату AWQ, что делает модель подходящей для локального и серверного инференса. Ограничения включают зависимость от актуальных версий vLLM и Transformers, необходимость CUDA 12.8 и возможные проблемы совместимости или настройки среды; количественные результаты бенчмарков в предоставленных данных отсутствуют. Модель распространяется по лицензии Apache-2.0.

ZuzeTt/Qwen3.5-9B-imatrix-GGUF — мультимодальная каузальная языковая модель с vision-энкодером из семейства Qwen, разработанного командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Указана лицензия Apache-2.0. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для квантования использовался llama.cpp; при подготовке указано вычисление более чем 400 фрагментов с n_ctx=1024, однако конкретный уровень квантования в README не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, высокая заявленная эффективность архитектуры, большой контекст и широкая языковая поддержка. Ограничения заключаются в отсутствии подробных сведений о фактических характеристиках именно данной квантованной сборки, включая точный формат и уровень квантования, требования к памяти и результаты независимого тестирования. README также описывает совместимость с Transformers, vLLM, SGLang и KTransformers.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, подготовленная IG1. Модель предназначена для задач генерации текста и мультимодального взаимодействия в формате image-text-to-text, включая диалоги, рассуждения, программирование, работу с мультиязычными запросами и, при соответствующей поддержке сервера, вызов инструментов. Базовая модель разработана командой Qwen; в карточке также указаны наборы данных UltraChat, GSM8K, CodeAlpaca и Aya, использованные для калибровки квантизации. Модель использует гибридную архитектуру Mamba с компонентами attention и поставляется в формате NVFP4. При квантизации длина последовательности была увеличена до 8192 токенов, а калибровочная выборка — до 1024 примеров из разговорных, математических, программных и мультиязычных данных. Для запуска рекомендуется vLLM на GPU NVIDIA; в примере конфигурации для RTX 5090 заявлена максимальная длина контекста около 110 880 токенов, однако фактический размер зависит от настроек и доступной видеопамяти. К сильным сторонам относятся сниженное потребление памяти благодаря NVFP4, поддержка режимов с рассуждением и без него, а также профили для общих, программных и творческих сценариев. Ограничением является несовместимость или нестабильная работа FP8 KV cache: по данным автора, его использование может приводить к быстрой деградации качества или повреждению результатов квантизации. Карточка рекомендует развертывание через vLLM и содержит настройки для оптимизации работы на RTX 5090. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-heretic-ara-Q4_K_M-MTP-GGUF — квантизированная GGUF-версия модели trohrbaugh/Qwen3.8-27B-heretic-ara, подготовленная cygnal. Модель основана на Qwen3.8-27B и распространяется с сохранёнными тензорами MTP (Multi-Token Prediction) для ускоренного декодирования, а также с отдельным vision-проектором mmproj для обработки изображений. В карточке заявлены поддержка английского и китайского языков и мультимодальный сценарий image-text-to-text. Модель предназначена для диалогов, генерации и анализа текста, программирования, технических задач, извлечения структурированных данных и понимания изображений. Основной файл Q4_K_M имеет размер около 16 ГБ и использует квантизацию с 4,83 битами на вес. Для запуска рекомендован llama.cpp; заявлена поддержка контекста до 32768 токенов в типовой конфигурации. MTP может заметно повысить скорость генерации, особенно на совместимом оборудовании AMD Strix Halo, однако для запросов с изображениями в ROCmFPX его необходимо отключать из-за ограничений реализации. Сильными сторонами являются сочетание текстовых и визуальных возможностей, наличие MTP, поддержка OpenAI-совместимого API и несколько вариантов запуска для стандартного llama.cpp и ROCmFPX. Ограничения включают высокие требования к памяти, зависимость производительности от оборудования и backend, а также необходимость отдельного mmproj-файла для изображений. Исходная модель описана как uncensored-версия с изменённым поведением отказов, поэтому её ответы требуют дополнительной проверки и настройки мер безопасности. Лицензия — Apache-2.0.

RadixArk/Qwen3.8-27B-NVFP4 — квантизированная производная модели Qwen3.8-27B, разработанной Qwen. Квантизация выполнена RadixArk с использованием NVIDIA Model Optimizer по смешанной схеме NVFP4 W4A4; RadixArk не обучала и не дообучала исходную модель. Модель предназначена для развертывания в системах AI-агентов, чат-ботах, RAG-системах и других приложениях искусственного интеллекта. Это плотная мультимодальная Transformer-модель с 27 млрд параметров. Она принимает текст, изображения и видео, а генерирует текст; заявленная нативная длина контекста — до 262 144 токенов. Для MLP-слоёв и lm_head используется динамическая NVFP4 W4A4-квантизация с размером группы 16, веса внимания представлены в FP8, а тензоры MTP и vision сохраняют исходную точность BF16. Модель ориентирована на запуск через SGLang в Linux на GPU NVIDIA Blackwell; данный checkpoint был создан и проверен на GB300. К преимуществам относятся готовая низкобитная конфигурация, поддержка мультимодального ввода, длинного контекста и сценариев работы с инструментами, а также заявленные результаты 97,27% на GSM8K и 73,81% на подмножестве Terminal-Bench 2.1. Эти оценки получены в текстовом режиме на конфигурации из четырёх GPU NVIDIA B300/GB300 и не гарантируют аналогичные результаты в других условиях. Модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому перед использованием необходимы проверка и защитные меры. Распространяется по Apache License 2.0; сведения о возможностях, обучении и ограничениях унаследованы от исходной модели Qwen3.8-27B.

RedHatAI/Qwen3-8B-FP8-dynamic — это квантизированная FP8-версия языковой модели Qwen3-8B, разработанная Red Hat совместно с Neural Magic на базе модели Alibaba Cloud Qwen/Qwen3-8B. Модель предназначена для генерации текста, рассуждений, многоязычного следования инструкциям, перевода, вызова функций и создания предметно-ориентированных решений с помощью дообучения. Она поддерживает tool calling и рассчитана на работу с текстовыми входами и выходами. Модель использует архитектуру Qwen3ForCausalLM и поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский и ряд других языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема. По заявлению разработчиков, это примерно на 50% снижает требования к видеопамяти и размер на диске, а также примерно вдвое увеличивает пропускную способность матричных вычислений. Длина контекста в README не указана. Модель оптимизирована для эффективного развёртывания с использованием vLLM, включая OpenAI-совместимый сервер, и валидирована в Red Hat OpenShift AI 2.24, Red Hat AI Inference Server 3.2.1 и vLLM 0.10.0. Ограничения FP8-квантизации и отсутствие сведений о конкретных показателях качества следует учитывать при выборе модели. Распространяется по лицензии Apache 2.0; использование не должно нарушать применимое законодательство и требования экспортного контроля.

Rombos-LLM-V2.5-Qwen-72b — плотная авторегрессионная языковая модель на архитектуре Qwen2, разработанная Rombodawg. По карточке, это непрерывно дообученная и объединённая методом TIES версия Qwen2.5-72B; метаданные связывают её с Qwen/Qwen2.5-72B-Instruct. Модель содержит 71,5 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текстов, а также может выдавать структурированные ответы и поддерживать интерфейс вызова инструментов. Автор сообщает о более высокой производительности по сравнению с исходной instruct- и базовой моделями; в карточке приведены результаты отдельных тестов, но готовые сводные данные и подробное описание методики оценки ограничены. В метаданных указана лицензия «other», поэтому условия использования следует сверить с полной лицензией репозитория. Для запуска требуется значительный объём вычислительной памяти из-за размера модели; README не приводит конкретных требований к оборудованию. Модель опубликована в формате safetensors.

DeepSeek-V3-Base — базовая языковая модель семейства DeepSeek-V3, разработанная командой DeepSeek AI. Это Mixture-of-Experts (MoE) модель с 671 млрд общих параметров, из которых 37 млрд активируются для каждого токена. Модель предварительно обучена на 14,8 трлн разнообразных токенов и предназначена для использования в качестве основы для генерации и понимания текста, а также последующей адаптации под прикладные задачи. В архитектуре применяются Multi-head Latent Attention (MLA) и DeepSeekMoE. Для балансировки нагрузки используется стратегия без вспомогательной функции потерь, а обучение дополнено целью Multi-Token Prediction, которая может применяться и для ускорения вывода посредством speculative decoding. Обучение проводилось с использованием смешанной точности FP8; заявлены высокая эффективность обучения и стабильность процесса. Длина контекста в предоставленных данных не указана, как и точный перечень поддерживаемых языков и сведения о мультимодальности. Сильными сторонами модели являются крупный общий объём параметров, высокая вычислительная эффективность за счёт разреженной активации экспертов и заявленная конкурентоспособность среди открытых базовых моделей. Ограничения включают значительные требования к инфраструктуре для запуска и отсутствие в предоставленном описании подробных характеристик инференса, языкового покрытия и результатов по отдельным прикладным сценариям. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.

EXAONE-4.0-32B-GGUF — квантизированная версия языковой модели EXAONE 4.0 от LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, агентного использования инструментов и задач, требующих рассуждений. Она поддерживает два режима: Non-reasoning для повседневного взаимодействия и Reasoning для более сложных задач. Заявлена поддержка английского, корейского и испанского языков. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует GQA с 40 attention heads и 8 KV heads. Контекстное окно составляет 131 072 токена, размер словаря — 102 400. Архитектура включает гибридное внимание: local attention и global attention в соотношении 3:1, а также QK-Reorder-Norm. Репозиторий распространяет веса в формате GGUF с вариантами квантизации Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS; также доступны веса BF16. Модель официально поддерживается llama.cpp и может запускаться локально или через OpenAI-совместимый сервер. Сильными сторонами являются сочетание обычного и рассуждающего режимов, большой контекст, мультиязычность, поддержка агентных сценариев и несколько вариантов квантизации для выбора между качеством и требованиями к ресурсам. Ограничениями являются значительный размер 32B, высокие требования к памяти и вычислениям, а также необходимость учитывать особенности интеграции с llama.cpp и применения соответствующего chat template. Лицензия обозначена как exaone; точные условия следует уточнять в файле LICENSE.

GDN-primed-HQwen3-8B-Instruct — созданная Amazon инструкционная гибридная языковая модель на базе Qwen3-8B. В ней 18 слоёв Attention и 18 слоёв Gated DeltaNet (GDN), то есть половина слоёв внимания заменена на слои модели пространства состояний. Модель содержит около 7,6 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов; веса доступны в формате safetensors, библиотека — Transformers. Модель предназначена для диалогов и выполнения инструкций, включая генерацию текста, ответы на вопросы, задачи с длинным контекстом, код и рассуждения. По данным разработчика, гибридная архитектура может ускорять генерацию на длинных последовательностях и снижать расход памяти на KV-кэш при близком к базовой трансформерной модели качестве. Это инструкционная модель, не рассчитанная на выдачу chain-of-thought токенов; вызов инструментов не поддерживается. Лицензия — Apache 2.0.

AlexAtomic/gemma4-e4b-it-GGUF — это квантизированная в формате GGUF версия Gemma 4 E4B-it, разработанная Google и самостоятельно квантизированная AlexAtomic для проекта Atomic Chat. Модель предназначена для локального и полностью офлайн-использования в чат-ботах, приложениях с агентными сценариями и задачах, требующих обработки текста, изображений и аудио с генерацией текстовых ответов. Поддерживаются нативный function calling и настраиваемый режим рассуждений, включаемый токеном <|think|>. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом эмбеддингов, использует Per-Layer Embeddings и состоит из 42 слоёв. Архитектура Dense сочетает локальное скользящее внимание с окном 512 и глобальное внимание с p-RoPE; размер контекста — 128K токенов, словарь — 262K. Поддерживаются более 35 языков, при этом предобучение проводилось на более чем 140 языках. Для мультимодальной работы в репозитории предусмотрен vision-проектор mmproj. Ключевое преимущество — сочетание мультимодальности, большого контекста, офлайн-запуска и экономичного размера, а importance matrix помогает сохранить качество при низкобитовой квантизации. Ограничения связаны с потерями качества у самых компактных вариантов, а для корректной работы требуется применять шаблон чата Gemma 4 через параметр --jinja; для изображений необходим соответствующий mmproj. Доступны варианты квантизации от Q2_K до Q8_0, рекомендуемый баланс размера и качества — Q4_K_M. Модель распространяется по лицензии Apache-2.0.

NVIDIA gpt-oss-120b-Eagle3-v3 — вариант модели OpenAI gpt-oss-120b с дообученными Eagle3-модулями для ускорения спекулятивного декодирования. В карточке указана архитектура Transformer с Mixture-of-Experts и 120 млрд параметров; метаданные репозитория сообщают о 739,4 млн параметров в размещённых весах. Модель принимает текстовые последовательности и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для работы на GPU NVIDIA. Модель рассчитана на чат-ботов и AI-агентов, ответы по документам в RAG-системах, выполнение инструкций, генерацию кода и рассуждения. Eagle3 предсказывает несколько последующих токенов, а базовая модель проверяет предложенные последовательности; доступны режимы инференса TensorRT-LLM и vLLM. В README заявлено улучшение точности относительно других вариантов gpt-oss-120b-Eagle3. В README указана готовность к коммерческому и некоммерческому применению, однако метаданные обозначают лицензию как other, поэтому условия следует сверять с лицензией репозитория. Карточка также сообщает, что меры по снижению нежелательной предвзятости не указаны; для конкретных сценариев рекомендуется проверять качество и безопасность на собственных данных.

Llama TI 8B Instruct — дообученная и объединённая модель на основе Meta Llama 3.1 8B Instruct, разработанная и опубликованная ehristoforu. Она использует плотную архитектуру LlamaForCausalLM и предназначена для диалогов и генерации текста; заявленный размер — 8,03 млрд параметров, а длина контекста — до 131 072 токенов. Автор сообщает об улучшениях в математике, физике, биологии, логическом рассуждении и творческом письме. Модель также подходит для программирования и анализа длинных текстов, а интерфейс поддерживает чат и вызов инструментов. В карточке перечислены возможности на английском и работа с кодом; автор отдельно заявляет о письме на многих языках. Модель распространяется в формате Safetensors под лицензией Apache-2.0. Заявленные улучшения приведены в карточке без количественных результатов оценки, поэтому их качество на конкретных задачах следует проверять отдельно.

casperhansen/mistral-small-24b-instruct-2501-awq — это 4-битная AWQ-квантизованная версия Mistral-Small-24B-Instruct-2501. Исходную модель разработала Mistral AI, а квантизованные веса опубликованы пользователем casperhansen. Это instruction-tuned большая языковая модель для генерации текста, диалоговых агентов, вызова функций, локального инференса и последующей адаптации под специализированные задачи. Модель содержит около 24 млрд параметров и использует архитектуру MistralForCausalLM: 40 скрытых слоёв, 32 attention heads и 8 key-value heads. Максимальный контекст — 32 768 токенов. Модель работает с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Квантизация AWQ в формате INT4 уменьшает требования к памяти и делает локальное развёртывание практичнее, но может снижать точность по сравнению с исходными полноразмерными весами. Сильные стороны — относительно компактный для своего класса размер, поддержка многоязычной генерации, инструкций и function calling, а также возможность локального использования. Ограничения включают текстовую модальность, зависимость качества от выбранного 4-битного квантования и отсутствие подробной отдельной model card для этого производного репозитория. Для исходной Mistral-Small-24B-Instruct-2501 указана лицензия Apache 2.0; точные условия использования производного репозитория следует проверять по его метаданным.

Карточка модели TreezzZ/opd-teacher-alfworld-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

nvidia/Qwen3-32B-NVFP4 — текстовая авторегрессионная языковая модель на базе Qwen3-32B, разработанной Alibaba. NVIDIA подготовила её квантованную версию с использованием TensorRT Model Optimizer v0.35.0; при этом модель не является собственной разработкой NVIDIA. Она предназначена для коммерческого и некоммерческого применения, включая AI Agent-системы, чат-боты, RAG-системы и другие приложения на основе генеративного ИИ. Модель использует архитектуру Transformers и содержит 32,8 млрд параметров. Она принимает и генерирует текстовые последовательности, поддерживает контекст длиной до 131 тысячи токенов. В рамках посттренировочной квантования веса и активации линейных операторов в трансформерных блоках преобразованы в формат FP4, что ориентировано на эффективный инференс. Указанная конфигурация предназначена для запуска с TensorRT-LLM на GPU NVIDIA, включая архитектуру Blackwell, преимущественно в среде Linux. К сильным сторонам относятся большой контекст, высокая ёмкость базовой модели и оптимизация FP4 для аппаратно ускоренного инференса. По приведённым результатам, относительно эталонной версии BF16 качество на MMLU Pro и AIME 2024 немного ниже, на SciCode сопоставимо или немного выше, а на MATH-500 совпадает; однако результаты не охватывают все сценарии применения. README не содержит сведений о поддерживаемых естественных языках, полном наборе ограничений, данных обучения и характеристиках производительности вне тестовой конфигурации. Лицензия — Apache License 2.0.

txn545/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия языковой модели Qwen3.5-122B-A10B от Alibaba, подготовленная с использованием NVIDIA Model Optimizer. Это авторегрессионная модель на архитектуре Transformers с разреженной экспертной архитектурой: всего 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Модель принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Языки README не уточняет. Модель предназначена для развертывания в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Квантизация весов и активаций линейных операторов в MoE-блоках выполнена в формате NVFP4 и ориентирована на инференс через SGLang на GPU NVIDIA Blackwell под Linux. Указанная версия квантизации создана с помощью nvidia-modelopt v0.43.0.dev52+g35e60991c; для запуска требуется актуальная версия SGLang с поддержкой соответствующих изменений. Сильной стороной модели являются крупный общий объём параметров, мультимодальный ввод, длинный контекст и оптимизация для аппаратного ускорения NVIDIA. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также возможные неточности, токсичные ответы и усиление предубеждений, присутствовавших в исходных данных обучения. Сведения о полном обучающем и тестовом наборах, а также подробные языковые характеристики не раскрыты. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование с учётом условий базовой модели Qwen3.5-122B-A10B.