II.7DevOps, облако и эксплуатация IT-систем

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она создана на основе Nemotron-3-Super-120B-A12B методом многоэтапного сжатия и восстановления: использованы pruning компонентов MoE и Mamba, дистилляция, обучение с подкреплением, квантизация NVFP4 и Multi-Token Prediction. Архитектура сочетает Mamba2, Transformer, LatentMoE и механизм MTP; модель содержит 75,3 млрд параметров, из которых активно 9,3 млрд. Модель предназначена для чат-ботов, RAG-систем, совместной работы агентов, сложного следования инструкциям и рассуждений по длинному контексту, а также задач программирования. Заявлена поддержка английского, французского, немецкого, итальянского, японского, испанского и китайского языков. В карточке указано окно контекста до 1 млн токенов для сценариев оценки конкурентности, а NVFP4-вариант ориентирован на GPU поколения Blackwell; NVIDIA сообщает о повышении пропускной способности относительно родительской модели. Модель заявлена как готовая к коммерческому использованию. Лицензия Hugging Face обозначена как other, поэтому конкретные условия использования следует сверять с лицензией в репозитории. Квантизация и сжатие могут влиять на качество в отдельных задачах; опубликованные сравнительные результаты относятся к указанным в карточке бенчмаркам и конфигурациям.

unsloth/Qwen2.5-14B-Instruct — инструкционно настроенная плотная причинная языковая модель, опубликованная Unsloth на основе Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов, генерации текста и выполнения инструкций; среди подходящих сценариев — ответы на вопросы, помощь с кодом и математикой, работа с таблицами и создание структурированных ответов, включая JSON. Модель содержит 14 млрд параметров и использует архитектуру Qwen2 с RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст до 32 768 токенов; в README описана возможность расширить его до 131 072 токенов с YaRN, а генерацию — до 8 192 токенов. Модель поддерживает многоязычные сценарии, в том числе китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Доступны веса в формате safetensors, библиотека Transformers, а также интерфейсы чата и вызова инструментов. README отмечает, что для работы с длинным контекстом требуется настройка YaRN, которая может повлиять на качество коротких запросов. Лицензия — Apache 2.0.

unsloth/Qwen2.5-14B-Instruct-unsloth-bnb-4bit — это 4-битная квантованная версия инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Базовую модель разработала команда Qwen, а квантованный вариант подготовлен Unsloth. Модель предназначена для диалогов, выполнения инструкций, генерации текста, работы со структурированными данными и JSON, а также для задач программирования и математики. Модель относится к классу causal language models и содержит около 14 миллиардов параметров. Для семейства Qwen2.5 заявлена поддержка контекста до 128 тысяч токенов и генерации до 8 тысяч токенов. Поддерживаются китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский, арабский и другие языки — всего более 29 языков. Мультимодальные возможности для этой модели не заявлены. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному формату, при этом Unsloth заявляет улучшение точности по сравнению со стандартным 4-битным квантованием за счёт выборочной квантовки. Ограничения включают потенциальные потери точности, характерные для квантованных моделей, а также обычные для больших языковых моделей риски фактических ошибок и нестабильности результатов; конкретные показатели качества в README не приведены. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-32B-Instruct — это инструктивная плотная языковая модель на 32 млрд параметров семейства Qwen2.5, распространяемая Unsloth в формате safetensors для библиотеки Transformers. Она предназначена для диалога и генерации текста, включая следование инструкциям, программирование, математику и создание структурированных ответов, например JSON. Модель принимает текст и выдаёт текст; её архитектура — Qwen2ForCausalLM с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Метаданные указывают контекст до 32 768 токенов, а README описывает возможность расширения до 131 072 токенов с помощью YaRN; такая настройка может снизить производительность на коротких запросах. README заявляет поддержку более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и арабский. Модель основана на Qwen/Qwen2.5-32B-Instruct и помечена метаданными как дообучение. Лицензия — Apache-2.0.

Карточка модели Devastaticglitch/Qwen2.5-72B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-72B-Instruct, поэтому описание составлено по ней. Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

unsloth/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, опубликованная Unsloth. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с длинными документами, структурированными данными и форматированными ответами, включая JSON. Она также ориентирована на задачи программирования и математики. Это каузальная языковая модель с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Модель содержит 72,7 млрд параметров, из них 70,0 млрд без учёта embedding-слоёв, 80 слоёв и использует Grouped-Query Attention с 64 головами Q и 8 головами KV. Поддерживается контекст до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные способности к программированию и математике, следованию инструкциям, генерации длинных текстов, обработке структурированных данных и устойчивости к разнообразным системным промптам. 4-битное представление снижает требования к памяти по сравнению с полноразмерной моделью, но README не содержит точных требований к оборудованию, результатов оценки или подробностей о качестве квантования. Модель текстовая и не предназначена для обработки изображений или других мультимодальных входов. Лицензия указана как other, без дополнительных условий в представленном README.

Qwen3-1.7B-FP8 — языковая модель для генерации текста, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-1.7B, предназначенная для диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода, творческого письма и агентских сценариев с интеграцией внешних инструментов. Модель представляет собой причинную языковую модель с 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою. Она содержит 28 слоёв и использует Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов. Модель умеет переключаться между режимом thinking для сложных рассуждений, математики и программирования и non-thinking для более быстрых универсальных ответов. К сильным сторонам относятся компактный размер, многоязычность, поддержка рассуждений, диалоговых и агентских задач, а также возможность запуска в популярных inference-фреймворках. FP8-квантизация с размером блока 128 повышает эффективность использования памяти и производительность, но для распределённого inference в Transformers указаны ограничения, включая необходимость CUDA_LAUNCH_BLOCKING=1 в некоторых конфигурациях с несколькими устройствами. Для работы рекомендуется Transformers версии 4.51.0 или новее; при частых повторениях требуется корректная настройка параметров sampling. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-235B-A22B-GGUF — GGUF-версия модели Qwen3-235B-A22B, подготовленная Unsloth на основе разработки Qwen. Это каузальная языковая MoE-модель для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и агентских сценариев с интеграцией внешних инструментов. Модель содержит 235 млрд параметров, из которых 22 млрд активируются при обработке запроса. Она включает 94 слоя, архитектуру GQA с 64 головами внимания для Q и 4 для KV, 128 экспертов, из которых активируются 8. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов. Модель позволяет переключаться между режимами рассуждения и обычной генерации, сочетая качество решения сложных задач с более эффективными ответами в общем диалоге. К сильным сторонам относятся развитые способности к рассуждению, программированию, многоязычному взаимодействию, следованию инструкциям и работе в агентских системах. GGUF-формат удобен для локального запуска через llama.cpp, Ollama, LM Studio и совместимые инструменты, однако модель остаётся крайне крупной и требует значительных вычислительных ресурсов; конкретные требования зависят от выбранной квантизации, сведения о которой в карточке не приведены. Модель предназначена для текстовых задач, данных о поддержке изображений или других модальностей нет. Указана лицензия Apache-2.0.

Qwen3-30B-A3B-Instruct-2507 — инструкционная языковая модель семейства Qwen3, представленная в репозитории Unsloth как версия с исправлениями chat template. Это причинная MoE-модель: в исходной карточке указаны 30,5 млрд параметров всего и 3,3 млрд активных, 48 слоёв и 128 экспертов, из которых для обработки запроса активируются 8. Метаданные каталога указывают 2,6 млрд параметров; оценки размера в источниках расходятся. Модель предназначена для диалогов и выполнения инструкций, генерации текста, рассуждений, математики, научных и программных задач, а также вызова инструментов. Она поддерживает несколько языков и контекст до 262 144 токенов. Работает только в режиме без «thinking». В репозитории указаны веса Safetensors и библиотека Transformers; README рекомендует использовать актуальную версию Transformers. Лицензия — Apache-2.0. Модель может допускать смешение языков и повторы; для задач с высокой точностью ответы следует проверять.

stelterlab/Qwen3-30B-A3B-Instruct-2507-AWQ — квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen AI. Это авторегрессионная языковая модель на базе архитектуры Mixture-of-Experts с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке одного токена. Модель содержит 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 KV-головами, а также 128 экспертов, из которых активны 8. Контекст поддерживается до 262 144 токенов. Модель предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, научных и технических задач, программирования, использования инструментов, творческого письма и работы с длинными документами. Она поддерживает множество языков и ориентирована на улучшенное покрытие редких знаний и более качественное выполнение субъективных и открытых заданий. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. В данном репозитории веса преобразованы в формат AWQ с INT4 GEMM с использованием llm-compressor; квантизацию выполнила stelterlab. Это экспериментальная сборка, протестированная с vLLM 0.9.2, поэтому совместимость и качество инференса могут зависеть от используемого программного стека. Квантизация снижает требования к памяти по сравнению с полноточными весами, но может приводить к некоторой потере качества. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-AWQ-4bit — 4-битная AWQ-квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, опубликованная пользователем cyankiwi и основанная на модели Qwen/Qwen3. Исходная модель разработана командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов и выполнения инструкций. Модель предназначена для следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и открытых текстовых запросов. Она поддерживает многоязычные сценарии и контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из которых 3,3 млрд активируются на запрос; 48 слоёв, 128 экспертов, 8 активируемых экспертов, Grouped Query Attention с 32 головами Q и 4 головами KV. Модель работает только в режиме non-thinking и не формирует блоки <think></think>. Сильные стороны включают улучшенное следование инструкциям, качество рассуждений, программирование, творческое письмо, работу с длинным контекстом и многоязычными данными. Ограничения связаны с использованием только non-thinking режима, возможными ошибками генерации и потерей качества из-за 4-битной квантизации; конкретные требования к аппаратному обеспечению в предоставленных данных не указаны. Лицензия — Apache-2.0.

unsloth/Qwen3-32B-128K-GGUF — это GGUF-версия большой языковой модели Qwen3-32B, разработанной командой Qwen и опубликованной в формате GGUF командой Unsloth. Модель представляет собой причинную языковую модель с 32,8 млрд параметров, из которых 31,2 млрд не относятся к эмбеддингам. Архитектура включает 64 слоя и групповое обобщённое внимание (GQA) с 64 головами для Q и 8 для KV. Модель предназначена для диалогов, следования инструкциям, генерации и анализа кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, многошаговых диалогов, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Заявлена поддержка более 100 языков и диалектов. Базовая длина контекста составляет 32 768 токенов, а с использованием YaRN она увеличена до 131 072 токенов. Модель сочетает широкий набор языковых и рассуждательных возможностей с поддержкой длинного контекста и локального запуска в GGUF-экосистеме. Ограничения включают значительный размер, потенциально высокие требования к памяти и вычислительным ресурсам, а также зависимость качества и скорости от конкретной GGUF-квантизации и настроек запуска. В README не приведены точные параметры квантизации, требования к оборудованию или результаты бенчмарков. Модель распространяется по лицензии Apache-2.0.

Eslzzyl/Qwen3-4B-Instruct-2507-AWQ — квантованная версия instruct-модели Qwen3-4B-Instruct-2507, разработанной командой Qwen и опубликованной пользователем Eslzzyl. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и агентских сценариев. Это каузальная языковая модель примерно с 4 млрд параметров, из которых 3,6 млрд не относятся к embedding-слою. Она содержит 36 слоёв и использует Grouped-Query Attention с 32 головами Q и 8 головами KV. Поддерживает контекст до 262 144 токенов, работает только в non-thinking-режиме и не формирует блоки <think></think>. Модель ориентирована на многоязычные задачи и показывает улучшения в следовании инструкциям, открытой генерации, знаниях, рассуждениях, кодировании и tool calling. Версия AWQ квантизована с помощью AutoAWQ, что может снизить требования к памяти и облегчить развёртывание. Она совместима с NVIDIA Turing GPU с SM 75 и может использоваться через lmdeploy; для исходной модели также указана поддержка современных Transformers, vLLM и SGLang. Ограничениями являются отсутствие режима пошагового рассуждения и потенциально высокие требования к памяти при максимальном контексте, которые можно уменьшить сокращением длины контекста. Лицензия — Apache 2.0.

unsloth/Qwen3.5-27B-GGUF — квантованный формат модели Qwen3.5-27B, разработанной командой Qwen; сборка и GGUF-варианты подготовлены Unsloth. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для диалогов, анализа изображений, рассуждений, программирования, агентских сценариев, работы с длинным контекстом и вызова инструментов. Модель может использоваться локально и совместима с распространёнными средствами инференса для GGUF; README также рекомендует настройки для включения или отключения режима рассуждений. Модель содержит 27 млрд параметров, 64 слоя и использует гибридную архитектуру Gated Delta Networks, Gated Attention и разреженной Mixture-of-Experts; размер скрытого представления — 4096. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта, а также мультимодальный ввод. Unsloth указывает на применение Dynamic 2.0 GGUF и imatrix-данных для повышения качества в задачах диалога, программирования, длинного контекста и tool calling. Сильными сторонами являются сочетание языкового и визуального понимания, большой контекст, поддержка широкого набора языков и варианты для эффективного локального запуска. Ограничения включают необходимость подходящего GGUF-совместимого программного обеспечения и аппаратных ресурсов; конкретные требования зависят от выбранного уровня квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-GGUF — квантизированная версия причинной языковой модели Qwen3-8B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для локального запуска в формате GGUF через llama.cpp, Ollama и совместимые инструменты генерации текста. Модель подходит для диалогов, следования инструкциям, генерации и анализа кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и многоязычных задач. Она поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов, а также сценарии взаимодействия с внешними инструментами и агентами. Заявлена поддержка более 100 языков и диалектов. Qwen3-8B содержит 8,2 млрд параметров, 36 слоёв и использует Grouped Query Attention с 32 головами Q и 8 головами KV. Нативная длина контекста составляет 32 768 токенов; с масштабированием YaRN заявлена работа до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Квантизация облегчает локальный запуск, но может снижать качество по сравнению с полной версией; использование YaRN на коротких текстах также способно ухудшать производительность. Модель распространяется по лицензии Apache-2.0. README не содержит точных требований к аппаратному обеспечению и подробных результатов бенчмарков, поэтому фактическая скорость и требуемый объём памяти зависят от выбранного варианта квантизации и используемого оборудования.

JunHowie/Qwen3-8B-GPTQ-Int8 — это квантизированная версия языковой модели Qwen3-8B, основанной на семействе Qwen, разработанном командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, многоязычного общения, перевода и сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. В основе лежит каузальная языковая модель с 8,2 млрд параметров, 36 слоями и архитектурой Grouped-Query Attention: 32 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, с использованием YaRN заявлена поддержка до 131 072 токенов. Эта версия сжата до 8-битного представления с размером группы 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизированными вариантами. Основные ограничения связаны с потерями, возможными при квантизации, а также с необходимостью совместимого программного окружения: в README рекомендован vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-MLX-4bit — языковая модель семейства Qwen, разработанная командой Qwen. Это причинная языковая модель для генерации текста, диалога, следования инструкциям, написания кода, математических и логических рассуждений, творческих задач, ролевого взаимодействия и агентских сценариев с подключением внешних инструментов. Вариант подготовлен для работы с MLX и использует 4-битное представление параметров. Модель содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding, имеет 36 слоёв и архитектуру Grouped Query Attention с 32 головами Q и 8 головами KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель допускает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более эффективного общего диалога. Сильными сторонами являются сочетание рассуждений и эффективного режима работы, развитое следование инструкциям, многоязычность, поддержка программирования и интеграции с инструментами. Ограничения включают необходимость корректно выбирать параметры генерации для режима рассуждений; в README также не приведены конкретные результаты бенчмарков, требования к оборудованию и показатели производительности. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V2.5-1210 — обновлённая версия языковой модели DeepSeek-V2.5, разработанная DeepSeek. Это плотная авторегрессионная модель семейства DeepSeek-V2 для генерации текста и диалогов; она поддерживает интерфейс вызова инструментов. Версия 1210 улучшает результаты на тестах по математике и программированию, а также качество письма и рассуждений по внутренним тестам разработчика. В README также отмечены сценарии загрузки файлов и суммаризации веб-страниц. Модель подходит для диалоговых приложений, решения математических задач, помощи с кодом, подготовки текстов, рассуждений и суммаризации. Она поддерживает контекст до 163 840 токенов; объём параметров в метаданных указан как 18,1 млрд. Для запуска BF16 в README требуется конфигурация из восьми GPU по 80 ГБ. Модель опубликована в формате safetensors для Transformers. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в карточке модели.

reinforce20001/gemma4-26b-a4b-it-qat-w4a16-ct — квантованная instruction-tuned модель семейства Gemma 4, разработанного Google DeepMind. Она основана на Google Gemma 4 26B A4B и предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений с текстом. Модель использует архитектуру Mixture-of-Experts: всего 25,2 млрд параметров, из которых при обработке активируется около 3,8 млрд. Она содержит 30 слоёв, поддерживает контекст до 256K токенов, словарь из 262 тысяч токенов и работает с текстовыми и визуальными входными данными, выдавая текст. Семейство Gemma 4 поддерживает более 140 языков, нативный system prompt, function calling и настраиваемые режимы рассуждений. Гибридное внимание с локальными sliding window и глобальными слоями рассчитано на эффективную работу с длинным контекстом. К сильным сторонам относятся сочетание возможностей крупной модели с вычислительной эффективностью MoE, поддержка длинного контекста, мультимодальность, кодирование, рассуждения и агентские задачи. Суффикс QAT W4A16 указывает на квантованный вариант с 4-битными весами и 16-битными активациями, однако README не содержит подробностей о фактических требованиях к памяти, совместимости или потере качества относительно исходной модели. Модель распространяется по лицензии Apache 2.0.

aifeifei798/gemma-4-E2B-Queen-it-qat-q4_0-unquantized — производная инструктивная модель семейства Gemma 4 на базе google/gemma-4-E2B-it-qat-q4_0-unquantized. В карточке описана архитектура Gemma 4 с плотной моделью и гибридным вниманием: локальные окна чередуются с глобальным вниманием. Модель предназначена для диалогов, рассуждений, программирования и мультимодального анализа; контекст Gemma 4 E2B составляет до 128 тысяч токенов. Модель принимает текст и изображения, а семейство Gemma 4 также описано как способное анализировать видео и аудио; однако карточка не подтверждает аудиовозможности именно этой производной сборки. Поддерживаются более 35 языков, а предварительное обучение проводилось более чем на 140 языках. Лицензия — Apache-2.0. Возможны фактические ошибки, трудности с тонкими языковыми нюансами и сложными открытыми задачами; ответы могут отражать смещения и пробелы обучающих данных.

dragonboat/gemma-4-E4B-it-GGUF — это квантизированная в формате GGUF instruction-tuned версия модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной в представлении Unsloth. Модель предназначена для локального запуска и дообучения, генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель имеет около 4,5 млрд эффективных параметров, 42 слоя и контекстное окно до 128K токенов. Она поддерживает обработку текста, изображений и аудио с генерацией текста, а также более 140 языков. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; размер локального окна составляет 512 токенов. Небольшой размер и оптимизация Gemma 4 E4B ориентированы на запуск на ноутбуках, мобильных устройствах и другом локальном оборудовании. К сильным сторонам относятся мультимодальность, длинный контекст, настраиваемый режим рассуждений, улучшенные возможности программирования, нативная поддержка системных инструкций и function calling. Ограничения включают зависимость производительности и качества от используемого GGUF-квантизатора и доступных вычислительных ресурсов; точные параметры квантизации в предоставленных данных не указаны. Модель распространяется по лицензии Apache 2.0.

Llama-3.1-Nemotron-Ultra-253B-v1 — большая языковая модель NVIDIA для рассуждений, диалогов и выполнения инструкций. Это плотный авторегрессионный Transformer-декодер, созданный на основе Meta Llama-3.1-405B-Instruct с применением Neural Architecture Search: структура блоков изменена для сокращения памяти и ускорения инференса. В README указано 253 млрд параметров; метаданные каталога оценивают общий размер в 697,9 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и работает через Transformers. Модель предназначена для чат-ботов, агентных систем, RAG, вызова инструментов и общих задач по инструкциям, включая математику, программирование и рассуждения. Она рассчитана прежде всего на английский язык; README также заявляет поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель оптимизирована по соотношению качества и эффективности и, по README, может использоваться коммерчески. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке модели.

Mistral-Small-3.2-24B-Instruct-2506-bnb-4bit — 4-битная квантованная версия инструкционной мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. Модель предназначена для диалоговых ассистентов, выполнения инструкций, генерации текста и кода, решения STEM-задач, вызова функций и анализа изображений, документов, графиков и диаграмм. Модель содержит 24 млрд параметров и поддерживает текстово-графический сценарий image-text-to-text. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. По сравнению с Mistral-Small-3.1 улучшены следование точным инструкциям, устойчивость к повторяющимся и бесконечным генерациям, а также шаблон function calling. В тестах модель показывает сильные результаты в генерации кода, следовании инструкциям, обработке документов и диаграмм, однако в отдельных vision-бенчмарках уступает предыдущей версии. Размер контекста в README не указан. Модель рекомендуется запускать через vLLM или Transformers; для корректной работы с инструментами требуются совместимые настройки Mistral и vLLM. Квантование bnb-4bit снижает требования к памяти по сравнению с полноформатными вариантами, но точные требования для этой сборки не приведены. Для повышения качества рекомендуется низкая температура генерации и системный промпт. Лицензия — Apache-2.0.

Neuron-4B-Instruct — мультиязычная языковая модель с настройкой на выполнение инструкций, разработанная Neura Tech AI на основе Qwen/Qwen3-4B-Instruct-2507. Это плотная авторегрессионная модель семейства Qwen3 с архитектурой Transformer Decoder и примерно 3,7 млрд параметров. Модель предназначена для диалогов и работы в роли ИИ-ассистента: она помогает с программированием, рассуждениями, математическими задачами, творческим письмом, переводом и вызовом инструментов. Поддерживает контекст до 262 144 токенов и множество языков, включая английский, русский, китайский, хинди, японский, корейский, европейские и южноазиатские языки. Модель принимает текст и генерирует текст. Карточка приводит сравнительные результаты на тестах знаний, но они не гарантируют качество в конкретных задачах; ответы могут содержать ошибки. Распространяется по лицензии Apache-2.0.

axana-labs/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen/Alibaba Cloud и опубликованной в формате, совместимом с Transformers. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации и анализа текста, работы со структурированными данными, создания JSON, программирования и математических задач. Модель относится к causal language models и использует архитектуру с RoPE, SwiGLU, RMSNorm, смещениями в QKV и Grouped Query Attention: 64 головы для Q и 8 для KV. Исходная модель содержит около 72,7 млрд параметров, из них 70 млрд без учёта embedding, имеет 80 слоёв, поддерживает контекст до 131 072 токенов и генерацию до 8 192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество этой версии — 4-битное представление параметров, которое должно снижать требования к памяти и упрощать локальный запуск по сравнению с полноразмерной моделью. Сильными сторонами исходной Qwen2.5 заявлены улучшенные знания, программирование, математика, следование инструкциям, обработка длинных текстов и устойчивость к различным системным промптам. README не содержит подробных сведений о точном формате квантования, аппаратных требованиях, результатах тестирования именно этой сборки или ограничениях качества, поэтому их нельзя определить по имеющимся данным. Лицензия указана как other; конкретные условия использования в README не приведены.

unsloth/Qwen2.5-7B-Instruct-unsloth-bnb-4bit — это 4-битная динамически квантованная версия инструкционно настроенной языковой модели Qwen2.5-7B-Instruct, подготовленная Unsloth на базе модели Qwen/Qwen2.5-7B-Instruct. Модель предназначена для диалогов, следования инструкциям, генерации текста, работы с кодом и математическими задачами, а также формирования структурированных ответов, включая JSON. Модель является каузальной текстовой LLM примерно с 7 млрд параметров и работает с текстовыми данными. Заявлена поддержка контекста до 128 тысяч токенов и генерации до 8 тысяч токенов. Qwen2.5 поддерживает более 29 языков, среди которых китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество этой версии — сниженное потребление памяти благодаря 4-битной квантизации; Unsloth заявляет, что динамический подход сохраняет точность лучше стандартной 4-битной квантизации. Ограничениями являются зависимость качества от последствий квантизации и отсутствие поддержки мультимодальных входов: в предоставленных данных модель описана как текстовая. Модель распространяется по лицензии Apache-2.0. README также содержит несогласованный фрагмент о базовой версии Qwen2.5-0.5B, поэтому сведения о конкретной архитектуре и точном числе слоёв для данной 7B-версии не указаны.

Qwen3 — семейство языковых моделей, разработанное и выпущенное командой Qwen. Модели предназначены для генерации текста, диалогов, следования инструкциям, сложного рассуждения, использования инструментов и агентских сценариев. Они могут применяться в исследовательских ассистентах, системах генерации кода, корпоративных чат-ботах и многошаговых многоходовых диалогах. В семейство входят варианты размером 0,6B, 1,7B, 4B, 8B, 14B, 32B и 30B-A3B; для них доступны различные квантованные версии в формате GGUF. Qwen3 поддерживает переключение между режимами с рассуждением и без рассуждения, длинный контекст и многоязычную работу. Конкретные параметры архитектуры, длина контекста и перечень языков в README не указаны. Модель относится к категории text-generation и распространяется по лицензии Apache 2.0. Конвертацию выполнила Menlo Research.

Qwen3-14B-AWQ — квантизированная 4-битная версия языковой модели Qwen3-14B, разработанной командой Qwen. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческих сценариев и интеграции с внешними инструментами в агентных системах. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не являются embedding-параметрами, и включает 40 слоёв. Она использует Grouped Query Attention с 40 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель поддерживает переключение между режимом рассуждений и обычным режимом генерации. Сильные стороны модели — развитые возможности рассуждений, генерации кода, многоязычного общения, многошагового диалога и использования инструментов. Формат AWQ 4-bit снижает требования к памяти по сравнению с полноразмерной версией, но README не содержит количественной оценки возможной потери качества, требований к аппаратному обеспечению или результатов бенчмарков. Для работы рекомендуется использовать актуальную версию Transformers; также поддерживается развёртывание через SGLang и vLLM. Модель распространяется по лицензии Apache 2.0.

Qwen3-14B-MLX-4bit — это 4-битная MLX-версия причинной языковой модели Qwen3-14B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, перевода, написания кода, математического и логического рассуждения, творческих задач и сценариев с агентами и внешними инструментами. Она поддерживает переключение между режимом рассуждения и обычным режимом без рассуждения в рамках одной модели. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к embedding, и имеет 40 слоёв. Используется Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Заявлена поддержка более 100 языков и диалектов. Формат MLX и 4-битное квантование ориентированы на эффективный запуск в экосистеме MLX, однако README не содержит конкретных требований к памяти и производительности. Сильными сторонами являются развитые способности к рассуждению, математике, программированию, многоязычному взаимодействию, многошаговым диалогам и использованию инструментов. Режим без рассуждения может повысить эффективность, а режим рассуждения предназначен для более сложных задач. Ограничения включают зависимость от совместимых версий mlx_lm и transformers, а также необходимость подбора параметров генерации: для режима рассуждения не рекомендуется жадное декодирование из-за возможных повторов. Модель распространяется по лицензии Apache-2.0.

Qwen/Qwen3-14B-MLX-bf16 — плотная языковая модель семейства Qwen3 от Alibaba, представленная в формате MLX с точностью bf16. Это производная от Qwen/Qwen3-14B-Base модель на 14 млрд параметров для генерации текста, диалогов, следования инструкциям, рассуждений, программирования, перевода и работы с внешними инструментами. В README описаны 40 слоёв и контекст 32 768 токенов; для более длинных входов заявлена возможность расширения до 131 072 токенов с YaRN. Метаданные указывают контекст 40 960 токенов. Модель поддерживает режимы с рассуждением и без него, многоходовый диалог и интерфейс вызова инструментов. Семейство Qwen3 поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель предназначена для локального запуска на совместимом оборудовании и использования в приложениях на базе MLX; карточка также упоминает Transformers. Лицензия — Apache-2.0. Качество и доступный контекст зависят от задачи, настроек генерации и используемого inference-фреймворка.