II.4Отладка, тестирование и качество ПО

Spark-X2.5-4B-INT8 — компактная универсальная языковая модель, разработанная командой XHToken. Это постобученная INT8-версия базовой модели XHToken/Spark-X2.5-4B-Base, распространяемая в формате Hugging Face Transformers. Модель предназначена для диалогов, написания и перевода текстов, рассуждений, программирования, работы с инструментами, следования инструкциям и агентских сценариев. Модель содержит около 4 млрд параметров и использует гибридную архитектуру внимания: один слой полного внимания и три слоя sliding-window attention. Она поддерживает контекст до 1 млн токенов и более 200 языков. Обучение проводилось примерно на 20 трлн токенов из веб-страниц, книг, академических публикаций, кода и энциклопедических материалов; дополнительные этапы включали supervised fine-tuning, reinforcement learning и MOPD. Заявлена совместимость с vLLM, SGLang, llama.cpp, MLX, Ollama, LM Studio и LLaMA-Factory, а также с широким спектром аппаратных платформ. К сильным сторонам относятся эффективность работы с длинным контекстом, уменьшенные вычислительные затраты и объём KV-кэша, а также возможности в программировании, рассуждениях и агентских задачах среди моделей сопоставимого размера. README не содержит подробных результатов бенчмарков, точных сведений о токенизаторе и ограничениях INT8-квантизации, поэтому эти характеристики нельзя оценить дополнительно. Модель распространяется по лицензии Apache-2.0.

Abu-Dju/Falcon-H1-34B-Instruct-GGUF — версия инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это авторегрессионная decoder-only модель на 34 млрд параметров с гибридной архитектурой, объединяющей Transformer attention и State Space Model Mamba. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и научных задач, программирования и многоязычных сценариев. Falcon-H1 поддерживает контекст до 256 000 токенов и 18 языков: арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Гибридная архитектура ориентирована на эффективную обработку длинного контекста и снижение вычислительных затрат. В опубликованных оценках модель показывает сильные результаты в общих, математических, научных, кодовых и инструкционных задачах, хотя её показатели зависят от конкретного теста и не превосходят все более крупные или сопоставимые модели. Для запуска указана совместимость с Hugging Face Transformers, vLLM и актуальными версиями llama.cpp; формат GGUF ориентирован на экосистему llama.cpp. Из-за размера в 34 млрд параметров для инференса могут требоваться значительные вычислительные ресурсы, однако точные требования для данной сборки в README не приведены. Модель распространяется по Falcon-LLM License; применимые условия следует уточнять в тексте лицензии.

Gemma 3 — серия мультимодальных моделей, разработанная и выпущенная Google на основе исследований и технологий, использованных при создании Gemini. Модели предназначены для генерации текста по текстовым и изображениям входным данным и подходят для ответов на вопросы, суммаризации, рассуждений и других прикладных сценариев. Они ориентированы на эффективное развертывание на ноутбуках, настольных компьютерах и в пользовательской облачной инфраструктуре. В линейку входят варианты объёмом 1B, 4B, 12B и 27B параметров, включая предварительно обученные и instruction-tuned версии. Заявлены поддержка контекста до 128K токенов, более 140 языков и обработка текстовых и визуальных входов с генерацией текста. Для каждой ветки доступна версия с квантованием по умолчанию. Конкретная модальность или набор возможностей может зависеть от выбранного варианта. Сильные стороны серии — широкий выбор размеров, мультимодальность, большой контекст, многоязычность и открытые веса, что упрощает адаптацию и локальное развёртывание. Более крупные варианты потенциально требуют больше вычислительных ресурсов, а квантованные версии могут иметь компромисс между качеством и эффективностью. Модель распространяется по лицензии Gemma License; условия использования определяются её текстом.

google/gemma-4-31B-it-qat-q4_0-unquantized — мультимодальная инструкционно-настроенная модель семейства Gemma 4, разработанная Google DeepMind. Это dense-модель с архитектурой Gemma4ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Вариант QAT Q4_0 содержит веса половинной точности, извлечённые из процесса обучения с учётом квантования; он предназначен для дальнейшей компиляции и исследовательской работы с меньшими требованиями к памяти по сравнению с обычной версией bfloat16. Модель подходит для диалогов, генерации и анализа текста, программирования, рассуждений, понимания изображений, распознавания текста на изображениях и разбора документов. Семейство Gemma 4 поддерживает контекст до 256 тысяч токенов и многоязычную работу; описание карточки заявляет поддержку более 140 языков при предварительном обучении. Для этого варианта доступен формат safetensors и библиотека Transformers. Лицензия — Apache 2.0. Возможности обработки аудио и видео перечислены для отдельных моделей семейства, но не подтверждены для данного чекпойнта. Качество и скорость зависят от аппаратного обеспечения и последующей компиляции; QAT-веса этого варианта не являются готовым GGUF-пакетом для непосредственного развёртывания.

GLM-4-9B-Chat-1M — диалоговая языковая модель семейства GLM-4, разработанная Zhipu AI. Этот репозиторий содержит версию весов для Transformers; модель имеет плотную архитектуру GLM с примерно 8,9 млрд параметров и поддерживает контекст до 1 048 576 токенов. Для работы требуется Transformers версии 4.46.0 или новее. Модель предназначена для многошагового диалога и генерации текста, включая рассуждения по длинным документам. Карточка семейства GLM-4-9B-Chat описывает вызов инструментов, веб-поиск и выполнение кода; метаданные также отмечают интерфейс вызова инструментов. GLM-4 поддерживает 26 языков, а в метаданных этой модели указаны английский и китайский. В README сообщается о результатах на задачах семантики, математики, рассуждений, программирования и знаний, превосходящих Llama-3-8B в приведённых оценках; данных о независимой проверке этих сравнений нет. Указанная в метаданных лицензия — other, поэтому конкретные условия использования следует сверить с лицензией репозитория. Модель является дообученной версией THUDM/glm-4-9b-chat-1m.

Карточка модели RedHatAI/granite-3.2-2b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.2-2b-instruct, поэтому описание составлено по ней. Granite-3.2-2B-Instruct — инструкционная языковая модель семейства Granite, разработанная командой Granite компании IBM. Это плотная авторегрессионная модель на 2,5 млрд параметров, дообученная на базе ibm-granite/granite-3.1-2b-instruct для задач рассуждения и выполнения инструкций; режим рассуждения можно включать по необходимости. Модель работает с текстом, поддерживает диалог и интерфейс вызова инструментов, имеет контекст до 131 072 токенов и распространяется в формате safetensors по лицензии Apache 2.0. Модель предназначена для общих инструкционных задач и интеграции в ассистентов: ответов на вопросы, суммаризации длинных документов и встреч, извлечения и классификации текста, RAG, задач с кодом и вызова функций. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Среди сильных сторон — длинный контекст, управляемое рассуждение и многоязычный диалог. К ограничениям относятся унаследованные от Granite-3.1-2B-Instruct ограничения и этические соображения; README не приводит их подробнее.

unsloth/granite-4.0-350m — компактная инструктивная языковая модель семейства Granite 4.0, опубликованная Unsloth в формате safetensors. Она основана на IBM Granite-4.0-350M и дообучена с применением инструкционных данных; исходную модель разработала команда Granite в IBM. Архитектура — плотный декодерный трансформер GraniteMoeHybridForCausalLM с GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель содержит 352,3 млн параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и следования инструкциям, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом, вызов инструментов и заполнение пропусков в коде. Её небольшой размер подходит для развёртывания на устройствах и дообучения под специализированные задачи. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; обучение преимущественно опиралось на англоязычные инструкции, поэтому качество на других языках может быть ниже. Модель может выдавать неточные, предвзятые или небезопасные ответы, поэтому для конкретных сценариев нужны проверка и настройка безопасности. Лицензия — Apache 2.0.

InternLM2-Chat-7B — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это плотная авторегрессионная модель на 7,4 млрд параметров для генерации текста и общения по инструкциям; в карточке заявлена поддержка контекста до 200 тысяч токенов, тогда как метаданные репозитория указывают нативную длину 32 768 токенов. Модель предназначена для диалоговых помощников, ответов на вопросы, следования инструкциям, рассуждений, написания текстов и кода, а также анализа длинных документов. README также описывает использование инструментов и многошаговые вызовы, однако в метаданных не отмечен отдельный интерфейс tool calling. Доступ к модели предусмотрен через Transformers, LMDeploy и vLLM. Модель может выдавать предвзятые, дискриминационные или иные нежелательные ответы, поэтому результаты требуют проверки. Код репозитория распространяется по Apache-2.0; для весов README указывает открытость для академических исследований и возможность запросить бесплатное коммерческое разрешение.

Nemotron-3-Nano-30B-A3B-FP8 — языковая модель NVIDIA для диалогов, рассуждений и типовых задач по инструкциям. Репозиторий unsloth содержит производную FP8-версию базовой модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; веса представлены в формате safetensors. Модель предназначена для разработчиков чат-ботов, RAG-систем и агентных приложений, а также для решения задач общего назначения и программирования. Архитектура сочетает Mamba-2, Transformer и Mixture-of-Experts: 30 млрд параметров всего, из них 3,5 млрд активны на токен. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Контекст в конфигурации по умолчанию — 256 тыс. токенов; README заявляет возможность работы с контекстом до 1 млн токенов при соответствующих ресурсах. Доступен режим с рассуждениями и без их вывода; поддерживается интерфейс вызова инструментов. Модель рассчитана на коммерческое применение. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке репозитория. Для работы с длинным контекстом нужны значительные ресурсы GPU; отключение режима рассуждений может немного снизить точность на сложных задачах.

NVIDIA Nemotron-3-Ultra-550B-A55B-BF16 — крупная языковая модель NVIDIA для диалогов, рассуждений и агентных приложений. Она предназначена для разработчиков систем с ИИ-агентами, чат-ботов и RAG-приложений, а также для анализа больших документов и кодовых баз, сложного следования инструкциям и задач по математике и науке. Модель содержит 550 млрд параметров, из которых 55 млрд активируются при обработке токена. Архитектура LatentMoE объединяет слои Mamba-2, Mixture-of-Experts и внимания; Multi-Token Prediction поддерживает ускоренную генерацию. Метаданные указывают контекстное окно 262 144 токена, а README заявляет до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, хинди, корейский, португальский и китайский языки; в метаданных также отмечен иврит. Модель предназначена для коммерческого и некоммерческого использования. В метаданных лицензия обозначена как other, поэтому перед внедрением следует свериться с условиями лицензии в карточке модели. Масштаб модели требует значительных вычислительных ресурсов; заявленная длина контекста README отличается от значения в метаданных.

ThomasBaruzier/Qwen2.5-14B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Репозиторий подготовлен с использованием llama.cpp и imatrix-квантизации, поэтому предназначен для локального запуска совместимых вариантов модели с различным соотношением качества, размера и требований к памяти. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в attention QKV. Она содержит 14,7 млрд параметров, 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Поддерживаются контекст до 131 072 токенов и генерация до 8192 токенов. Модель предназначена для диалогов, следования инструкциям, генерации длинных текстов, работы со структурированными данными и JSON, а также задач программирования и математики. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Главное преимущество репозитория — широкий выбор квантизаций от IQ1_S до Q8_0 и F16: меньшие варианты экономят память, а более крупные обеспечивают качество, близкое к полной точности. Ограничения зависят от выбранного варианта: агрессивная квантизация снижает размер, но может ухудшать точность и плавность генерации; для работы требуется совместимое ПО, например llama.cpp. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/Qwen2.5-32B-Instruct-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантизации созданы с использованием llama.cpp и метода imatrix на основе оригинальной модели Qwen/Qwen2.5-32B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, написание длинных текстов, работу со структурированными данными и генерацию структурированных ответов, в том числе JSON. Также заявлены улучшенные возможности в программировании и математике. Поддерживаются более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это текстовая модель без заявленной поддержки изображений или других немодальных входов. Архитектура — causal language model на базе transformers с RoPE, SwiGLU, RMSNorm и bias в Attention QKV; 32,5 млрд параметров, 64 слоя, 40 Q- и 8 KV-голов внимания с GQA. Полный контекст составляет 131 072 токена, максимальная длина генерации — 8192 токена. Доступно множество вариантов квантизации размером примерно от 6,9 до 33,2 ГБ; более компактные варианты снижают требования к памяти, но могут уступать полноразмерной F16-версии по качеству. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/Qwen2.5-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-7B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix; исходная модель разработана командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, структурированными данными и JSON. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами для Q и 4 для KV. Поддерживаются контексты до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Основное преимущество репозитория — выбор вариантов квантизации с разным компромиссом между размером файла, качеством и требованиями к ресурсам: от IQ1_S размером около 1,8 ГБ до F16 размером около 14,5 ГБ. Более лёгкие варианты удобны для локального запуска, но могут сильнее терять качество; по приведённой таблице, F16 сохраняет базовый уровень качества, а Q6_K, Q8_0 и варианты Q5 обеспечивают близкие показатели при меньшем размере. Для использования необходима совместимая среда, например llama.cpp. Модель и производные квантизации распространяются по лицензии Apache-2.0.

Qwen3-32B-AWQ — квантизированная 4-битная AWQ-версия причинной языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимом рассуждения для сложных задач и нерезультирующим режимом для более эффективного общего диалога в рамках одной модели. Модель содержит 32,8 млрд параметров, из них 31,2 млрд без учёта embedding, и имеет 64 слоя. Используется Grouped Query Attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на многоязычное следование инструкциям и перевод. AWQ-квантизация снижает требования к памяти, однако может влиять на качество по сравнению с полноразмерной версией; README также не содержит подробных результатов бенчмарков и требований к аппаратному обеспечению. Для режима рассуждения модель формирует промежуточное содержимое в блоке <think>...</think>; в README рекомендованы определённые параметры генерации и не рекомендуется жадное декодирование. Указанная лицензия — Apache 2.0.

Qwen3.5-27B-FP8 — мультимодальная причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.5-27B с весами и конфигурацией для Hugging Face Transformers; также заявлена совместимость с vLLM, SGLang и KTransformers. Модель предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует языковую часть на 27 млрд параметров и vision encoder. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; предусмотрено многократное обучение предсказанию следующих токенов. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. FP8-квантизация выполнена с блочным размером 128, при этом, согласно README, показатели производительности близки к исходной модели. Сильными сторонами являются мультимодальность, большой контекст, широкая языковая поддержка и потенциально более эффективный инференс благодаря гибридной архитектуре и FP8-представлению. Ограничения конкретной версии, включая фактическое качество на отдельных задачах, требования к аппаратному обеспечению и особенности работы с изображениями, в README подробно не указаны. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-35B-A3B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и другие задачи генерации и анализа контента. Архитектура представляет собой causal language model с vision encoder и гибридной схемой Gated Delta Networks и разреженной Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых при обработке активируются около 3 млрд. Используются 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Формат совместим с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание мультимодальности, большого контекста, высокой вычислительной эффективности разреженной архитектуры и широкой языковой поддержки. AWQ-квантизация снижает требования к памяти и может упростить локальное развертывание, однако потенциально сопровождается компромиссом между качеством и точностью по сравнению с полной версией весов. README не приводит подробностей о требованиях к оборудованию, измерениях производительности именно для этой AWQ-версии и явных ограничениях применения. Лицензия — Apache-2.0.

Qwen3.5-397B-A17B-GPTQ-Int4 — это квантизированная 4-битная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и предназначена для обработки текста и изображений, генерации ответов, рассуждений, программирования, визуального понимания и агентских сценариев. Модель сочетает языковую модель с vision encoder, гибридную архитектуру Gated Delta Networks и Gated Attention со sparse Mixture-of-Experts. Она содержит 397 млрд параметров, из которых 17 млрд активируются при обработке токена, 60 слоёв и 512 экспертов, при этом используются 10 маршрутизируемых и один общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация GPTQ Int4 снижает требования к памяти и может повысить эффективность инференса, но потенциально ограничивает точность по сравнению с полноразмерными весами. Весовые файлы совместимы с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о требованиях к оборудованию, фактической производительности или ограничениях качества, поэтому эти характеристики следует оценивать отдельно для конкретной инфраструктуры и задач.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT8 — производная версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; модель предназначена для совместного использования с Transformers, vLLM, SGLang и KTransformers. По идентификатору это вариант с представлением AWQ-BF16-INT8, однако подробности процедуры квантования в предоставленных данных не описаны. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она рассчитана на рассуждения, программирование, агентские сценарии, визуальное понимание, обработку документов и другие мультимодальные задачи. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Размер языковой части — 9 млрд параметров, используется 32 слоя, размер скрытого представления — 4096, а нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Сильными сторонами являются мультимодальность, большой контекст, высокая заявленная эффективность инференса и широкая языковая поддержка. Ограничения конкретной квантованной сборки, требования к оборудованию, точные характеристики vision encoder и результаты именно этой версии в предоставленном README не указаны. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.6-27B-NVFP4 — квантизированная версия авторегрессионной модели Qwen3.6-27B, разработанной Alibaba и оптимизированной NVIDIA с помощью Model Optimizer. Модель использует архитектуру Transformers с гибридным механизмом внимания Gated DeltaNet и Gated Attention и содержит около 27 млрд параметров. Версия NVFP4 1.0 квантизирована с помощью nvidia-modelopt v0.45.0. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе искусственного интеллекта. Согласно описанию, она принимает текст, изображения и видео, включая RGB-изображения и видео в форматах MP4/WebM, а максимальная длина контекста достигает 262 тысяч токенов. На выходе формирует текст. Возможности оценивались на задачах текстового и мультимодального рассуждения, программирования, использования инструментов, следования инструкциям и работы с длинным контекстом. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных и оптимизация для ускоренного инференса на GPU NVIDIA. Поддерживаются vLLM, Linux и аппаратные платформы NVIDIA Hopper и Blackwell; тестирование проводилось на NVIDIA GB300. Данные о языках, исходных обучающих наборах и их объёмах не раскрыты. Для безопасного и эффективного применения необходимы дополнительные проверки на данных конкретного сценария, а заявленная совместимость ориентирована на GPU-системы NVIDIA. Модель доступна для коммерческого и некоммерческого использования на условиях лицензии Apache 2.0.

palmfuture/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия Qwen3.8-27B, опубликованная palmfuture и основанная на модели Qwen/Qwen3.8-27B. Модель предназначена для диалогов, следования инструкциям, генерации кода, математических рассуждений и работы с изображениями. Заявлены английский, китайский и тайский языки, а также сценарии codeswitching. Модель использует гибридную архитектуру с обычным attention и линейным attention на основе Gated DeltaNet/Mamba; визуальный encoder сохранён в формате bf16, как и embeddings, lm_head, нормализации и MTP-компоненты. Основной набор линейных слоёв квантизован в int4 с uniform group_size=32. Указана поддержка контекста до 262144 токенов в конфигурации SGLang; пример для vLLM ограничен 8192 токенами. В комплект входят веса Multi-Token Prediction для speculative decoding, совместимые с SGLang и vLLM. К сильным сторонам относятся существенное снижение требований к памяти, совместимость с популярными inference-системами, поддержка vision-задач и ускорение генерации за счёт speculative decoding. К ограничениям относятся необходимость корректной настройки runtime: для SGLang рекомендуется mamba-ssm-dtype=float32, поскольку float16 может вызывать дрейф состояния и ошибки в тайских диакритических знаках на длинных диалогах. Модель распространяется по лицензии Apache-2.0.

Granite-3.3-2B-Instruct — языковая модель IBM Granite Team с 2,5 млрд параметров, дообученная на базе ibm-granite/granite-3.3-2b-base для следования инструкциям и решения задач, требующих рассуждений. Это плотная авторегрессионная модель для генерации текста с контекстом до 131 072 токенов; поддерживает чат и интерфейс вызова инструментов. Модель предназначена для ассистентов и бизнес-приложений. Она подходит для ответов на вопросы, суммаризации длинных документов и встреч, классификации и извлечения текста, RAG, задач по математике и программированию, а также многоязычного диалога. README указывает поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. По данным разработчика, модель улучшена в рассуждениях, выполнении инструкций, математике и программировании; для структурирования ответа доступны специальные маркеры рассуждений и итогового ответа. Это генеративная языковая модель, поэтому результаты могут содержать ошибки; ограничения базовой Granite-3.3-2B-Base также применимы. Лицензия — Apache 2.0.

Granite-4.0-350M — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-350m-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Она использует архитектуру decoder-only dense Transformer; в метаданных указано 352,3 млн параметров и контекст до 32 768 токенов. Модель предназначена для диалогов, локального запуска на устройствах и дообучения под специализированные задачи с умеренными вычислительными ресурсами. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов. Она поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Качество на языках, кроме английского, может быть ниже; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому перед применением в конкретной задаче её следует оценить и настроить.

Granite-4.0-H-350M — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на основе ibm-granite/granite-4.0-h-350m-base с применением контролируемого дообучения, обучения с подкреплением и слияния моделей. Это плотная decoder-only архитектура GraniteMoeHybrid с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 278,4 млн параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов, локального и периферийного развёртывания, исследовательских сценариев и дообучения под специализированные задачи. Она умеет суммировать и извлекать текст, классифицировать, отвечать на вопросы, поддерживать RAG, выполнять задачи с кодом и вызовом функций, включая дополнение кода FIM. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Компактный размер упрощает запуск на устройствах и адаптацию под узкие задачи. При этом качество на языках помимо английского может быть ниже; ответы также могут содержать ошибки, предвзятость или небезопасный контент. Лицензия — Apache 2.0.

RedHatAI/Llama-3.3-70B-Instruct-FP8-dynamic — инструкционная текстовая модель семейства Llama 3.3 с 70 млрд параметров, разработанная Red Hat совместно с Neural Magic на базе Meta Llama-3.3-70B-Instruct. Модель принимает текст и генерирует текст, ориентирована на коммерческое и исследовательское использование, включая диалоговые ассистенты, генерацию естественного языка, создание синтетических данных и дистилляцию моделей. Ключевая особенность модели — динамическая FP8-квантизация весов и активаций линейных операторов в трансформерных блоках. Веса квантизуются статически по каналам, а активации — динамически по токенам. Это примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений. Для эффективного развертывания рекомендуется использовать vLLM; модель валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ограничения связаны с применением FP8-квантизации, возможными изменениями качества по сравнению с исходной моделью и запретом использования за пределами перечисленных языков, а также в нарушение законодательства, Acceptable Use Policy и условий лицензии. Расширенный контекст в README не указан; в примере развертывания задан максимальный размер последовательности 32768 токенов. Распространяется по лицензии Llama 3.3 Community License.

Карточка модели Gaurav1872/Qwen2.5-14B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-14B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.

Qwen/Qwen2.5-14B-Instruct — инструкционно дообученная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель с архитектурой Qwen2ForCausalLM, 14,7 млрд параметров, RoPE, SwiGLU, RMSNorm и групповой обработкой запросов внимания. Репозиторий содержит веса в формате Safetensors и предназначен для генерации текста в диалоговом формате. Модель подходит для чат-ботов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. В README заявлена поддержка более 29 языков, в том числе русского и английского. Метаданные указывают контекст в 32 768 токенов; README сообщает о возможности расширения контекста до 131 072 токенов с YaRN и генерации до 8 192 токенов. Модель также заявлена как улучшенная для программирования и математики, но результаты зависят от запроса и не гарантируют точности. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; её статический коэффициент масштабирования в vLLM может снижать качество на коротких входах. Лицензия Apache-2.0 допускает использование на её условиях.

NVIDIA подготовила FP8-квантизированную версию языковой модели Qwen3-235B-A22B, разработанной Alibaba. Это авторегрессионная разреженная трансформерная модель архитектуры Qwen3 MoE для генерации текста; в репозитории указано 18,2 млрд параметров, а базовая модель описана как крупная MoE-модель для диалогов, рассуждений, программирования, перевода и работы с инструментами. Модель принимает текст и выдаёт текст, поддерживает чат и интерфейс вызова инструментов. В метаданных указан контекст 40 960 токенов; README заявляет до 131 тыс. токенов. Модель предназначена для развёртывания в агентных системах, чат-ботах, RAG-системах и других приложениях на базе ИИ. Квантизация весов и активаций линейных операторов в блоках трансформера до FP8 снижает требования к диску и памяти GPU примерно в 1,6 раза относительно 16-битного представления. Для запуска README указывает TensorRT-LLM, Linux и графические процессоры NVIDIA Blackwell. README разрешает коммерческое и некоммерческое использование; лицензия в метаданных — Apache-2.0.

unsloth/Qwen3.5-122B-A10B-NVFP4 — это NVFP4-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, подготовленная Unsloth на базе модели Qwen. Она относится к классу каузальных языковых моделей с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts. Всего заявлено 122 млрд параметров, из которых при обработке активируется около 10 млрд; архитектура включает 48 слоёв и 256 экспертов, из которых маршрутизируются 8, дополнительно используется один общий эксперт. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии NVFP4 — снижение требований к памяти и стоимости инференса при сохранении возможностей исходной модели, однако качество и скорость могут зависеть от особенностей квантизации и совместимого программно-аппаратного окружения. В README рекомендуется запуск через vLLM с NVFP4-ядром; использование Marlin не рекомендуется из-за более низкой производительности. Модель распространяется по лицензии Apache 2.0. README не содержит подробных результатов бенчмарков для этой конкретной квантизованной версии, поэтому её фактические показатели качества следует проверять отдельно.

AxionML/Qwen3.5-35B-A3B-NVFP4 — квантованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанная AxionML для задач открытого размещения и развёртывания. Модель предназначена для обработки текста и изображений, включая рассуждения, программирование, работу с агентами и визуальное понимание. Она реализована как авторегрессионная языковая модель с vision encoder и поддерживает архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Модель содержит 35 млрд параметров, из которых активируется около 3 млрд, имеет 40 слоёв и нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Линейные слои используют квантование NVFP4, выполненное с помощью NVIDIA TensorRT Model Optimizer; это уменьшает размер модели на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. Формат ориентирован на ускоренный inference на оборудовании с поддержкой Blackwell Tensor Cores. К сильным сторонам относятся высокая параметрическая эффективность за счёт MoE, большой контекст, мультимодальность и сниженные требования к памяти благодаря 4-битному квантованию. Ограничения связаны с зависимостью производительности и качества от совместимого оборудования и программного стека, а также с потенциальными потерями точности, свойственными квантованию; конкретные требования к аппаратному обеспечению и подробные результаты оценки в представленном фрагменте не указаны. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

cosmicproc/Qwen3.5-4B-NVFP4 — это квантизированный вариант мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Модель представляет собой причинную языковую модель с vision-энкодером и предназначена для генерации и понимания текста, работы с изображениями, рассуждений, программирования, агентских сценариев и других задач, требующих совместной обработки текста и визуальной информации. Заявлена поддержка 201 языка и диалекта. Модель содержит около 4 млрд параметров, 32 слоя и скрытое измерение 2560. В архитектуре объединены Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется раннее слияние мультимодальных токенов. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Вариант NVFP4 использует квантизацию весов и активаций основных линейных слоёв трансформера в формате W4A4 с помощью NVIDIA Model Optimizer, что снижает требования к памяти и может повысить производительность. Для полноценного W4A4-инференса требуется GPU NVIDIA Blackwell, включая RTX 50-й серии, RTX PRO 6000 Blackwell и B-series. На GPU поколений Ada, Hopper и Ampere модель может загружаться, но специализированные FP4-ядра активаций не будут использоваться, поэтому преимущество W4A4 по скорости не проявится. Модель совместима с Transformers, vLLM, SGLang и другими фреймворками. Лицензия — Apache 2.0.