II.7DevOps, облако и эксплуатация IT-систем

unsloth/gemma-4-31B-it-NVFP4 — квантизированная версия мультимодальной instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной Unsloth в формате NVFP4. Модель предназначена для обработки текста и изображений с генерацией текста, а также для reasoning, программирования, агентских сценариев и вызова функций. Модель использует плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием; размер окна — 1024 токена. Контекстное окно составляет до 256K токенов, словарь — 262K элементов. Поддерживается более 140 языков. Для визуального ввода используется vision encoder примерно на 550 млн параметров; аудио для версии 31B не заявлено. Квантизация NVFP4 снижает требования к памяти и ориентирована на эффективный запуск на совместимом GPU, в частности через vLLM. Сильные стороны модели — большое контекстное окно, мультимодальное понимание текста и изображений, улучшенные возможности reasoning и coding, native function calling и поддержка system prompt. Ограничения связаны с отсутствием аудиовхода у версии 31B, требованиями к совместимому программному и аппаратному стеку NVFP4, а также с тем, что README не приводит подробные результаты бенчмарков и оценки качества именно этой квантизированной сборки. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-31B-it-qat-w4a16 — инструктивно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Это вариант с Quantization-Aware Training (QAT), представленный в формате compressed-tensors w4a16 для оптимизированного инференса через vLLM. Модель принимает текст и изображения и генерирует текст; поддерживает более 140 языков и контекст до 256K токенов. Аудиовход для версии 31B не заявлен. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа, агентских сценариев и вызова функций. Она использует плотную (Dense) архитектуру с 30,7 млрд параметров, 60 слоями, размером скользящего окна внимания 1024 токена и словарём из 262 тысяч токенов. Гибридный механизм внимания сочетает локальное скользящее и глобальное внимание, что помогает снижать затраты памяти при работе с длинным контекстом. Поддерживаются настраиваемые режимы рассуждений и системные промпты. Ключевое преимущество версии QAT — существенно сниженные требования к памяти при сохранении качества, близкого к bfloat16, а формат w4a16 ориентирован на эффективное развёртывание. Ограничение модели — отсутствие заявленной поддержки аудио, а также необходимость совместимой инфраструктуры для работы с форматом compressed-tensors и vLLM. Модель распространяется по лицензии Apache 2.0.

Карточка модели hchitte/gpt-oss-120b-fused на Hugging Face совпадает с карточкой unsloth/gpt-oss-120b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-120b-BF16 — вариант модели gpt-oss-120b от Unsloth, основанный на openai/gpt-oss-120b. Это генеративная языковая модель с архитектурой MoE; карточка описывает исходную gpt-oss-120b как модель на 117 млрд параметров, из которых активно 5,1 млрд, а метаданные этого репозитория указывают 2,1 млрд параметров. Модель предназначена для диалога, сложных рассуждений, агентных сценариев и задач разработчиков. Она поддерживает настройку уровня рассуждений и работу с вызовом функций, веб-поиском, выполнением Python-кода и структурированными ответами. Контекстное окно — 131 072 токена. Для корректной работы требуется формат диалога Harmony; в README также отмечено, что цепочку рассуждений не следует показывать конечным пользователям. Репозиторий содержит веса Safetensors и рассчитан на Transformers. Лицензия — Apache 2.0, допускающая коммерческое использование.

InternLM2-Chat-20B-SFT — разговорная языковая модель команды InternLM, дообученная методом supervised fine-tuning на базе InternLM2-Base-20B. Она содержит 19,3 млрд параметров и предназначена для диалогов, выполнения инструкций, рассуждений, решения математических задач, программирования, творческого письма и работы с инструментами; в сценариях с подключённым интерпретатором кода поддерживает анализ данных. Модель принимает текст и генерирует текст. В метаданных указан контекст до 32 768 токенов; в README заявлена поддержка контекста до 200 тысяч токенов при использовании LMDeploy. Модель ориентирована на практическое применение и также выпущена для изучения влияния RLHF: версия InternLM2-Chat-20B проходит дополнительное Online RLHF-обучение поверх этой SFT-версии. Для развёртывания описана поддержка Transformers, LMDeploy и vLLM. README предупреждает, что ответы могут содержать предвзятость, дискриминационные или иные вредоносные материалы. В метаданных лицензия обозначена как other; конкретные условия следует сверять с лицензией репозитория.

Llama-3.3-Nemotron-Super-49B-v1.5-NVFP4 — большая языковая модель NVIDIA, производная от Meta Llama-3.3-70B-Instruct. Это плотная модель семейства Nemotron-NAS с 87 млрд параметров и контекстом до 131 072 токенов; версия NVFP4 предназначена для эффективного использования вычислительных ресурсов. Модель поддерживает диалог, рассуждения и интерфейс вызова инструментов. Модель рассчитана на чат-ботов, AI-агентов, системы RAG и выполнение инструкций. При дообучении улучшены рассуждения и работа с математикой, кодом, наукой и инструментами; применялись supervised fine-tuning, обучение с подкреплением и объединение нескольких чекпойнтов. Основной язык — английский; также поддерживаются немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Языки программирования указаны среди сценариев использования. Модель заявлена как готовая к коммерческому использованию. В метаданных лицензия обозначена как other, поэтому конкретные условия распространения следует сверить с лицензией в репозитории. Для запуска README приводит пример с vLLM и несколькими GPU; практическая скорость и доступная длина контекста зависят от конфигурации оборудования и сервера.

uncensoredai/Mistral-Small-24B-Instruct-2501 — дообученная по инструкциям версия Mistral Small 3, разработанная командой Mistral AI на базе Mistral-Small-24B-Base-2501. Это плотная языковая модель с 23,4 млрд параметров для диалогов, генерации текста, рассуждений и программирования; в каталоге для неё указана задача text-generation. Модель рассчитана на многоязычных разговорных помощников, вызов функций и формирование JSON. Она поддерживает контекст до 32 768 токенов и языки, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Репозиторий содержит веса Safetensors; для запуска README рекомендует vLLM. Для инференса на GPU в bf16 или fp16 требуется около 55 ГБ видеопамяти, а локальное размещение на менее мощном оборудовании возможно после квантизации. Модель подходит для локальных ассистентов, агентных сценариев и дообучения под предметные задачи. README предупреждает, что шаблон вызова инструментов находится в разработке. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование и модификацию.

stelterlab/Mistral-Small-24B-Instruct-2501-AWQ — инструкционная языковая модель на базе Mistral-Small-24B-Instruct-2501, разработанной командой Mistral AI. Данная версия дополнительно квантизирована stelterlab в формате INT4 GEMM с использованием AutoAWQ. Модель содержит 24 млрд параметров и рассчитана на локальный запуск, включая работу на одной видеокарте RTX 4090 или MacBook с 32 ГБ оперативной памяти после квантизации. Модель предназначена для диалоговых приложений с быстрым откликом, агентских сценариев, вызова функций, генерации JSON, задач общего назначения и последующей предметной донастройки. Она поддерживает многоязычную работу, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Заявлены развитые возможности рассуждения, следования системным инструкциям и агентского взаимодействия. Контекстное окно составляет 32 тысячи токенов, используется токенизатор Tekken со словарём размером 131 тысяча элементов. К сильным сторонам относятся сочетание относительно компактного размера, локального развертывания, низкой задержки и поддержки function calling и структурированного вывода. Ограничения связаны с INT4-квантизацией, которая может снижать точность по сравнению с исходными весами, а также с тем, что результаты бенчмарков не гарантируют аналогичное качество в конкретных прикладных задачах. Модель распространяется под лицензией Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

Карточка модели RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 на Hugging Face совпадает с карточкой AbhijeetJain4075/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она предназначена для сложных многошаговых задач, анализа больших документов и кодовых баз, а также для работы с математическими и научными запросами. Модель подходит разработчикам чат-ботов, RAG-систем и AI-агентов. Модель построена на гибридной архитектуре LatentMoE: в ней сочетаются слои Mamba-2, Mixture-of-Experts и Attention, а Multi-Token Prediction ускоряет генерацию. Всего в модели 550 млрд параметров, из которых 55 млрд активны; контекст достигает 1 млн токенов. Чекпойнт использует NVFP4 и рассчитан на высокую пропускную способность на современном оборудовании NVIDIA. Поддерживаются английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, бразильский португальский и китайский языки. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; в метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Для запуска требуются значительные вычислительные ресурсы и подходящая инфраструктура NVIDIA; в README рекомендована многосерверная конфигурация для развертывания на нескольких узлах.

Mungert/NVIDIA-Nemotron-Nano-12B-v2-GGUF — это GGUF-версия языковой модели NVIDIA-Nemotron-Nano-12B-v2, разработанной NVIDIA Corporation и преобразованной с использованием llama.cpp. Модель дообучена на базе NVIDIA-Nemotron-Nano-12B-v2-Base и предназначена для генерации текста, диалогов, следования инструкциям и решения задач с рассуждением, включая программирование, математические задачи, чат-ботов, RAG-системы и AI-агентов. Модель имеет гибридную архитектуру Mamba2-Transformer (Nemotron-Hybrid), включающую преимущественно слои Mamba-2 и MLP, а также четыре attention-слоя. Она поддерживает текстовый ввод и вывод, контекст до 128K токенов и управление бюджетом рассуждений во время инференса. В карточке указана поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе о вводе дополнительно перечислены корейский, португальский, русский и китайский языки. Модель имеет размер 12B параметров. Сильными сторонами являются сочетание возможностей рассуждения и обычного диалога, большой контекст, возможность отключать или ограничивать рассуждения, а также оптимизация GGUF-представления с повышением точности отдельных важных слоёв при квантовании. Ограничения включают возможное снижение точности при отключении рассуждений и увеличение размера файлов из-за повышения точности отдельных слоёв; конкретные характеристики производительности зависят от выбранного варианта квантования. Использование разрешено для коммерческих целей в соответствии с NVIDIA Open Model License Agreement.

dominguesm/NVIDIA-Nemotron-Nano-9B-v2-GGUF — GGUF-квантизированная версия языковой модели NVIDIA-Nemotron-Nano-9B-v2, разработанной NVIDIA Corporation и обученной с нуля. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждением и без него, программирования, создания чат-ботов, AI-агентов, RAG-систем и других приложений на базе LLM. Данные предварительного обучения актуальны по сентябрь 2024 года, выпуск базовой модели состоялся 18 августа 2025 года. Модель имеет гибридную архитектуру Nemotron-Hybrid, объединяющую преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Размер модели — около 9 млрд параметров. Поддерживается текстовый ввод и текстовый вывод, контекстное окно — до 128K токенов. Заявлена поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе характеристик ввода также указаны китайский, корейский, португальский и русский. Модель поддерживает управление бюджетом рассуждений во время инференса: включение рассуждений обычно повышает качество на сложных задачах, но увеличивает расход токенов, а отключение позволяет получать ответ без промежуточной трассы рассуждений с возможным снижением точности. К сильным сторонам относятся сочетание эффективности гибридной архитектуры с возможностями рассуждения, широкий контекст и пригодность для локального запуска в формате GGUF через совместимые инструменты. Ограничения включают зависимость качества и затрат от выбранного бюджета рассуждений, а также возможные ограничения квантизации по сравнению с полной версией модели. Использование регулируется NVIDIA Open Model License Agreement; в README также указано, что модель готова для коммерческого использования.

NVIDIA-Nemotron-Nano-9B-v2-NVFP4 — квантованная модель NVIDIA Corporation для диалогов, следования инструкциям и задач с рассуждением. Это вариант NVIDIA-Nemotron-Nano-9B-v2 с NVFP4-квантизацией и восстановлением точности методом дистилляции с учетом квантования. Архитектура Nemotron-Hybrid объединяет слои Mamba-2, MLP и четыре слоя Attention; заявленный контекст — до 128K токенов. Модель принимает текст и генерирует текст. Режим рассуждений можно управлять системным или пользовательским маркером: генерация рассуждений обычно помогает на сложных запросах, а ответ без промежуточных рассуждений может быть менее точным. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский; README также заявляет поддержку китайского, корейского, португальского и русского, но не описывает её отдельно. Модель предназначена для чат-ботов, AI-агентов, RAG-систем, программирования и общих задач следования инструкциям. Для инференса рекомендуются NVIDIA GPU и поддерживаются Transformers, vLLM и TRT-LLM; в vLLM неверный тип кэша Mamba может снизить точность. В README указано, что модель готова к коммерческому использованию, однако точные условия лицензии в предоставленных данных не раскрыты.

ThomasBaruzier/Qwen2.5-14B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Репозиторий подготовлен с использованием llama.cpp и imatrix-квантизации, поэтому предназначен для локального запуска совместимых вариантов модели с различным соотношением качества, размера и требований к памяти. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в attention QKV. Она содержит 14,7 млрд параметров, 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Поддерживаются контекст до 131 072 токенов и генерация до 8192 токенов. Модель предназначена для диалогов, следования инструкциям, генерации длинных текстов, работы со структурированными данными и JSON, а также задач программирования и математики. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Главное преимущество репозитория — широкий выбор квантизаций от IQ1_S до Q8_0 и F16: меньшие варианты экономят память, а более крупные обеспечивают качество, близкое к полной точности. Ограничения зависят от выбранного варианта: агрессивная квантизация снижает размер, но может ухудшать точность и плавность генерации; для работы требуется совместимое ПО, например llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-3B-Instruct-GPTQ-Int4 — инструкционно дообученная каузальная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, работы со структурированными данными и вывода в формате JSON, а также для задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов; применяется GQA с 16 головами Q и 2 головами KV. Контекст составляет до 32 768 токенов, максимальная длина генерации — 8192 токена. Модель квантизована методом GPTQ до 4 бит, что может снизить требования к памяти по сравнению с исходной версией, однако конкретные показатели производительности и потери качества зависят от оборудования и сценария. К сильным сторонам относятся улучшенное следование инструкциям, генерация длинных текстов, понимание таблиц и других структурированных данных, создание структурированного вывода, а также поддержка широкого набора языков. Ограничения включают меньший размер по сравнению с крупными моделями семейства и возможное влияние 4-битной квантизации на качество. Для работы рекомендуется использовать актуальную версию библиотеки Transformers. Модель распространяется по лицензии qwen-research; точные условия определяются текстом лицензии в репозитории.

Qwen2-7B-Instruct — инструктивно дообученная языковая модель серии Qwen2, разработанная командой Qwen. Это плотная decoder-only модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Она подходит для ответов на вопросы, суммаризации, написания текстов, программирования, математики и рассуждений. Модель принимает текст и выдаёт текст. Карточка описывает поддержку нескольких естественных языков и кода; в метаданных указан английский язык. Заявленная длина контекста в метаданных — 32 768 токенов; README описывает расширение до 131 072 токенов с помощью YARN. Для запуска рекомендована версия Transformers 4.37.0 или новее, а README также приводит вариант развёртывания через vLLM. Модель демонстрирует сильные результаты в приведённых бенчмарках по пониманию и генерации языка, мультиязычным задачам, программированию, математике и рассуждениям. Расширенный контекст через YARN требует настройки и может снижать качество на коротких текстах при статическом масштабировании. Лицензия — Apache-2.0.

unsloth/Qwen3-14B-unsloth-bnb-4bit — 4-битная версия модели Qwen3-14B, подготовленная Unsloth на базе Qwen/Qwen3-14B, разработанной командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия и агентских сценариев с использованием внешних инструментов. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к embedding, и включает 40 слоёв. Используется Grouped-Query Attention с 40 головами для Q и 8 для KV. Поддерживаются режимы рассуждения и обычного ответа, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Ключевое преимущество этой версии — 4-битное представление, снижающее требования к памяти и удобное для локального запуска и дообучения. Ограничения включают возможное снижение точности по сравнению с полноформатной моделью из-за квантования, а также высокие вычислительные требования, связанные с размером 14B. README не содержит подробных результатов бенчмарков и требований к конкретному оборудованию. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки transformers; в README указано, что версии ниже 4.51.0 могут вызывать ошибку, связанную с поддержкой Qwen3.

lmstudio-community/Qwen3-30B-A3B-GGUF — квантованная в формате GGUF версия модели Qwen3-30B-A3B, разработанной командой Qwen. Квантование выполнено bartowski на базе llama.cpp, релиз b5200. Модель распространяется по лицензии Apache-2.0. Это Mixture-of-Experts-модель с 30 млрд общих параметров, из которых при обработке активируются около 3,3 млрд; всего используется 128 экспертов, из них 8 активны одновременно. Поддерживается контекст до 131 072 токенов с применением YaRN, при этом значение по умолчанию составляет 32 000 токенов. Модель работает в режимах с рассуждением и без него; режим рассуждения можно отключить добавлением /no_think в конец запроса. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математики, задач на здравый смысл и агентных применений. Она поддерживает более 100 языков и диалектов. К сильным сторонам относятся расширенные способности к рассуждению, широкий языковой охват и сравнительно эффективная активация параметров благодаря архитектуре MoE. Ограничения включают возможные ошибки, неточности и нежелательное содержание, характерные для генеративных моделей, а также потенциальное снижение качества из-за квантования; конкретные параметры квантования в README не указаны.

Карточка модели jed351/qwen3-30B-A3B-SFT-DPO на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B, поэтому описание составлено по ней. Qwen3-30B-A3B — языковая модель семейства Qwen3, разработанная командой Qwen. Это причинная модель с архитектурой mixture-of-experts: в README указаны 30,5 млрд параметров всего и 3,3 млрд активируемых параметров, 48 слоёв и 128 экспертов, из которых для обработки задействуются 8. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и работы с внешними инструментами. В ней можно переключаться между режимами рассуждения и обычного ответа. Заявлена поддержка более 100 языков и диалектов. Метаданные указывают библиотеку Transformers, формат Safetensors и контекст 40 960 токенов; README описывает нативный контекст 32 768 токенов и расширение до 131 072 с YaRN. Модель дообучена на Qwen/Qwen3-30B-A3B-Base и распространяется по лицензии Apache-2.0. Указанные в README возможности рассуждения и работы с инструментами не заменяют внешнюю проверку ответов и корректную настройку интеграций.

Карточка модели CookieXG/Qwen3-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-4B, поэтому описание составлено по ней. Qwen3-4B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалогов, следования инструкциям, рассуждений, генерации кода, творческого письма, многоязычных задач и работы с инструментами. В модели около 3,7 млрд параметров по метаданным; она использует архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов по метаданным. README описывает переключение между режимами рассуждения и обычного диалога, а также поддержку более 100 языков и диалектов. Модель обучена на базе Qwen/Qwen3-4B-Base и распространяется в формате safetensors для библиотеки Transformers. Лицензия — Apache 2.0. Карточка предупреждает о возможных бесконечных повторах при генерации и рекомендует настраивать параметры сэмплирования.

JunHowie/Qwen3-4B-Instruct-2507-GPTQ-Int4 — это 4-битная GPTQ-квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, созданная на базе модели Qwen/Qwen3-4B-Instruct-2507. Репозиторий содержит квантование с размером группы 128 и настройкой desc_act=False, которая, согласно описанию, повышает эффективность генерации токенов по сравнению с более ранними квантованными версиями. Модель предназначена для генерации текста и выполнения инструкций, включая понимание текста, логическое рассуждение, математику, науку, программирование, использование инструментов и открытые творческие задачи. Она поддерживает несколько языков и рассчитана на работу в режиме без рассуждений: модель не генерирует блоки <think></think>. Базовая архитектура — causal language model с 4,0 млрд параметров, 3,6 млрд параметров без учёта эмбеддингов, 36 слоями и Grouped Query Attention: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена. Квантование уменьшает требования к памяти и может быть полезно для локального или высокопроизводительного развертывания, в частности через vLLM; для работы указана зависимость vllm>=0.9.2. Ограничения связаны с потерями качества, возможными при 4-битном квантовании, а также с тем, что это текстовая, а не мультимодальная модель. Лицензия — Apache 2.0.

p-e-w/Qwen3-4B-Instruct-2507-heretic-v4 — разговорная языковая модель на архитектуре Qwen3, созданная на основе Qwen3-4B-Instruct-2507. Модель с примерно 3,7 млрд параметров предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики, программирования, ответов на вопросы и работы с инструментами. Вариант heretic получен методом abliteration: в README указано, что в тесте отказов он отказал в 9 случаях из 100, тогда как исходная модель отказала во всех 100. Модель работает только в non-thinking mode и поддерживает контекст до 262 144 токенов. README заявляет улучшения исходной Qwen3-4B-Instruct-2507 в многоязычных задачах, понимании длинного контекста и использовании инструментов; эти характеристики относятся к описанной в карточке базовой модели. Модель принимает текст и генерирует текст. Лицензия — Apache-2.0.

cyankiwi/Qwen3.5-4B-AWQ-4bit — 4-битная AWQ-квантизованная версия модели Qwen3.5-4B, созданной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для локального и серверного инференса в задачах генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это мультимодальная авторегрессионная языковая модель с vision encoder и унифицированным vision-language обучением. Она содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Указана поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. К основным преимуществам относятся сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры и сниженные требования к памяти благодаря 4-битной AWQ-квантизации. К ограничениям относятся возможные потери качества и точности по сравнению с полной версией Qwen3.5-4B из-за квантизации, а также отсутствие в предоставленных данных подробностей о фактических требованиях к оборудованию и результатах именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

karlsencoin/Qwen3.5-9B-GGUF — вариант модели Qwen3.5-9B, разработанной командой Qwen; репозиторий подготовлен с использованием технологий Unsloth и распространяется в формате GGUF для локального запуска. Модель предназначена для генерации и понимания текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Это каузальная языковая модель с vision-энкодером и мультимодальным ранним объединением токенов. Она содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру на основе Gated Delta Networks, Gated Attention и разреженной Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Модель поддерживает 201 язык и диалект; заявлены текстовая и визуальная модальности. К сильным сторонам относятся мультимодальное понимание, высокая эффективность архитектуры, поддержка длинного контекста и пригодность для локального инференса. Ограничения конкретной GGUF-сборки, включая точный уровень квантизации, требования к памяти и совместимость с отдельными рантаймами, в README не указаны. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3.6-27B-NVFP4 — квантизированная версия авторегрессионной модели Qwen3.6-27B, разработанной Alibaba и оптимизированной NVIDIA с помощью Model Optimizer. Модель использует архитектуру Transformers с гибридным механизмом внимания Gated DeltaNet и Gated Attention и содержит около 27 млрд параметров. Версия NVFP4 1.0 квантизирована с помощью nvidia-modelopt v0.45.0. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе искусственного интеллекта. Согласно описанию, она принимает текст, изображения и видео, включая RGB-изображения и видео в форматах MP4/WebM, а максимальная длина контекста достигает 262 тысяч токенов. На выходе формирует текст. Возможности оценивались на задачах текстового и мультимодального рассуждения, программирования, использования инструментов, следования инструкциям и работы с длинным контекстом. К сильным сторонам относятся большой контекст, поддержка мультимодальных входных данных и оптимизация для ускоренного инференса на GPU NVIDIA. Поддерживаются vLLM, Linux и аппаратные платформы NVIDIA Hopper и Blackwell; тестирование проводилось на NVIDIA GB300. Данные о языках, исходных обучающих наборах и их объёмах не раскрыты. Для безопасного и эффективного применения необходимы дополнительные проверки на данных конкретного сценария, а заявленная совместимость ориентирована на GPU-системы NVIDIA. Модель доступна для коммерческого и некоммерческого использования на условиях лицензии Apache 2.0.

Карточка модели sdb114514/Qwen3.8-27B на Hugging Face совпадает с карточкой Qwen/Qwen3.8-27B, поэтому описание составлено по ней. Qwen3.8-27B — плотная мультимодальная модель семейства Qwen от команды Qwen. Это постобученная причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров и построенная на архитектурной основе Qwen3.5. Репозиторий включает веса и конфигурацию в формате Hugging Face Transformers; модель также совместима с vLLM, SGLang и другими средами инференса. Лицензия — Apache-2.0. Модель предназначена для диалогов, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Она принимает текст, изображения и видео и умеет разбирать документы, диаграммы и длительные видеоматериалы. Режим рассуждения включён по умолчанию, его можно отключить для отдельного запроса, а глубину настраивать параметром reasoning_effort. Контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN-блоки; предусмотрено обучение с Multi-Token Prediction. В карточке заявлены улучшения планирования и выполнения задач с учётом обратной связи среды, однако приведённые описания бенчмарков сами по себе не гарантируют качество в конкретном применении. Модель ориентирована на применение и распространяется по лицензии Apache-2.0.

Карточка модели OpenIntelligenceNet/Qwen-3.8-27B-Heretic на Hugging Face совпадает с карточкой Qwen/Qwen3.8-27B, поэтому описание составлено по ней. Qwen3.8-27B — плотная мультимодальная модель семейства Qwen от команды Qwen. Это постобученная причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров и построенная на архитектурной основе Qwen3.5. Репозиторий включает веса и конфигурацию в формате Hugging Face Transformers; модель также совместима с vLLM, SGLang и другими средами инференса. Лицензия — Apache-2.0. Модель предназначена для диалогов, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Она принимает текст, изображения и видео и умеет разбирать документы, диаграммы и длительные видеоматериалы. Режим рассуждения включён по умолчанию, его можно отключить для отдельного запроса, а глубину настраивать параметром reasoning_effort. Контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN-блоки; предусмотрено обучение с Multi-Token Prediction. В карточке заявлены улучшения планирования и выполнения задач с учётом обратной связи среды, однако приведённые описания бенчмарков сами по себе не гарантируют качество в конкретном применении. Модель ориентирована на применение и распространяется по лицензии Apache-2.0.

Карточка модели liarnorld/Qwen3-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели Z-keiu/Qwen3-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

async0x42/Qwen3-8B-exl3_4.0bpw — это квантованная версия Qwen3-8B, разработанная на базе модели Qwen/Qwen3-8B. В README разработчик квантованной сборки отдельно не указан; исходная модель относится к серии Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов, следования инструкциям, рассуждений, математики, программирования, перевода и агентских сценариев с интеграцией внешних инструментов. Модель имеет около 8,2 млрд параметров, из которых 6,95 млрд не являются embedding-параметрами, 36 слоёв и архитектуру Grouped-Query Attention с 32 головами для Q и 8 для KV. Она поддерживает переключение между режимами рассуждения и обычной генерации, более 100 языков и диалектов, а также текстовую модальность. Нативная длина контекста составляет 32 768 токенов, с использованием YaRN может достигать 131 072 токенов. Суффикс exl3_4.0bpw указывает на формат квантования примерно до 4 бит на вес, однако подробности реализации квантования в README не приведены. Сильные стороны модели — сочетание рассуждений и быстрой универсальной генерации, поддержка многоязычных задач, диалогов, кода и инструментального взаимодействия. Ограничения и фактические показатели производительности для данной квантованной сборки не указаны; качество может отличаться от исходной модели из-за квантования. Модель распространяется по лицензии Apache-2.0.