II.7DevOps, облако и эксплуатация IT-систем

unsloth/Qwen3-Next-80B-A3B-Instruct-bnb-4bit — 4-битная версия инструкционной causal language model Qwen3-Next-80B-A3B-Instruct, опубликованная Unsloth на основе модели Qwen. Она предназначена для генерации текста по инструкциям, решения задач на знания и рассуждения, программирования, написания текстов, многоязычных сценариев и агентских задач с вызовом функций. Модель работает только в instruct-режиме и не формирует блоки <think></think>. Архитектура сочетает Hybrid Attention на основе Gated DeltaNet и Gated Attention с разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на токен; число слоёв — 48, экспертов — 512, активных экспертов — 10. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Указаны обучение на 15 трлн токенов, Multi-Token Prediction и оптимизации стабильности. 4-битное представление снижает требования к памяти по сравнению с полной версией, однако README не приводит точные требования к оборудованию и сведения о поддерживаемых языках. Сильные стороны модели — высокая параметрическая эффективность, потенциально высокая скорость инференса, работа с очень длинным контекстом и результаты, сопоставимые с более крупной Qwen3-235B-A22B-Instruct-2507 на отдельных тестах. Ограничение состоит в том, что модель предназначена только для инструкционного, нерассуждающего режима; характеристики конкретной 4-битной квантованной сборки могут отличаться от результатов исходной модели. Лицензия — Apache-2.0.

Spark-X2.5-4B — компактная языковая модель общего назначения, разработанная командой Spark. Это дообученная версия Spark-X2.5-4B-Base с плотной архитектурой Spark 2.5 на 3,8 млрд параметров; веса опубликованы в формате Safetensors и предназначены для запуска через Transformers. Гибридное внимание сочетает один слой полного внимания с тремя слоями внимания со скользящим окном, а нативный контекст достигает 1 048 576 токенов. Модель рассчитана на диалог, написание и перевод текстов, рассуждения, программирование, вызов инструментов и агентные сценарии. Она поддерживает более 200 языков, а карточка описывает интеграцию с популярными агентными средами и системами инференса. Заявленные сильные стороны — широкий спектр задач и работа с длинным контекстом при оптимизации вычислений и KV-кэша. Качество на конкретной задаче может отличаться; длинный контекст требует достаточной памяти устройства. Лицензия — Apache-2.0.

Abu-Dju/Falcon-H1-34B-Instruct-GGUF — версия инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это авторегрессионная decoder-only модель на 34 млрд параметров с гибридной архитектурой, объединяющей Transformer attention и State Space Model Mamba. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и научных задач, программирования и многоязычных сценариев. Falcon-H1 поддерживает контекст до 256 000 токенов и 18 языков: арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Гибридная архитектура ориентирована на эффективную обработку длинного контекста и снижение вычислительных затрат. В опубликованных оценках модель показывает сильные результаты в общих, математических, научных, кодовых и инструкционных задачах, хотя её показатели зависят от конкретного теста и не превосходят все более крупные или сопоставимые модели. Для запуска указана совместимость с Hugging Face Transformers, vLLM и актуальными версиями llama.cpp; формат GGUF ориентирован на экосистему llama.cpp. Из-за размера в 34 млрд параметров для инференса могут требоваться значительные вычислительные ресурсы, однако точные требования для данной сборки в README не приведены. Модель распространяется по Falcon-LLM License; применимые условия следует уточнять в тексте лицензии.

Falcon-H1-34B-Instruct-GGUF — квантизированное в формате GGUF представление инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это каузальная decoder-only модель с гибридной архитектурой, объединяющей Transformer attention и State Space Models на основе Mamba, что ориентировано на эффективную обработку длинного контекста и снижение вычислительных затрат. Вариант предназначен для запуска через совместимые инструменты, включая custom fork llama.cpp; семейство также поддерживается Transformers и vLLM. Модель рассчитана на генерацию текста, следование инструкциям, рассуждения, математические и научные задачи, программирование и многоязычное взаимодействие. Семейство Falcon-H1 поддерживает до 256K токенов контекста и 18 языков, включая русский, английский, арабский, китайский, японский, корейский, немецкий, французский, испанский, итальянский, португальский, польский, нидерландский, чешский, румынский, шведский, хинди и урду. Размер исходной модели — 34 млрд параметров; конкретные параметры квантизации данного GGUF-файла в README не указаны. К сильным сторонам относятся гибридная архитектура, эффективность по отношению к размеру, работа с длинным контекстом и высокие результаты в ряде общих, научных, математических и инструкционных тестов. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, возможные потери качества из-за квантизации и отсутствие в README подробностей о точном формате и уровне квантизации конкретного файла. Модель распространяется по лицензии Falcon-LLM License; условия доступны по ссылке, указанной разработчиком.

mattbucci/gemma-4-12B-AWQ — 4-битная AWQ-Marlin-квантизированная версия модели google/gemma-4-12B-it, подготовленная mattbucci. Это унифицированная безэнкодерная модель Gemma 4 с архитектурой Gemma4UnifiedForConditionalGeneration. Она поддерживает работу с текстом, рассуждениями, инструментами, изображениями и аудио; заявленный нативный контекст составляет около 262 тысяч токенов. Модель использует attention с global-MQA и сочетание скользящего и полного внимания в пропорции 5:1. Квантизация выполнена в формате int4 W4A16 с размером группы 128. Линейные слои текстового декодера переведены в AWQ int4, тогда как эмбеддеры изображений и аудио, нормализации и связанная с эмбеддингами матрица lm_head сохранены в BF16 для поддержки мультимодальных возможностей. Согласно README, модель демонстрирует результаты 80% на MMLU, 95% на HumanEval, 100% на тесте Needle@long-ctx и 100% на тесте использования инструментов до контекста 256K; также заявлена работоспособность с изображениями и качественное рассуждение. Веса занимают около 5,4 ГБ на ранг при использовании int4. Модель предназначена для ресурсоэффективного инференса задач генерации и понимания текста, программирования, длинноконтекстного анализа, вызова инструментов, а также обработки изображений и аудио. Для запуска через SGLang требуются back-port-патчи 042–048 из указанного репозитория; на GPU Ampere рекомендуется использовать attention-backend triton и отключить CUDA Graph. Ограничения включают зависимость от специальной версии архитектуры и дополнительных патчей серверного ПО. Модель распространяется на условиях Gemma Terms of Use и является производной от google/gemma-4-12B-it.

unsloth/gpt-oss-120b-BF16 — вариант модели gpt-oss-120b от Unsloth, основанный на openai/gpt-oss-120b. Это генеративная языковая модель с архитектурой MoE; карточка описывает исходную gpt-oss-120b как модель на 117 млрд параметров, из которых активно 5,1 млрд, а метаданные этого репозитория указывают 2,1 млрд параметров. Модель предназначена для диалога, сложных рассуждений, агентных сценариев и задач разработчиков. Она поддерживает настройку уровня рассуждений и работу с вызовом функций, веб-поиском, выполнением Python-кода и структурированными ответами. Контекстное окно — 131 072 токена. Для корректной работы требуется формат диалога Harmony; в README также отмечено, что цепочку рассуждений не следует показывать конечным пользователям. Репозиторий содержит веса Safetensors и рассчитан на Transformers. Лицензия — Apache 2.0, допускающая коммерческое использование.

Карточка модели RedHatAI/Llama-3_1-Nemotron-Ultra-253B-v1 на Hugging Face совпадает с карточкой nvidia/Llama-3_1-Nemotron-Ultra-253B-v1, поэтому описание составлено по ней. Llama-3.1-Nemotron-Ultra-253B-v1 — большая языковая модель NVIDIA для рассуждений, диалогов и выполнения инструкций. Это плотный авторегрессионный Transformer-декодер, созданный на основе Meta Llama-3.1-405B-Instruct с применением Neural Architecture Search: структура блоков изменена для сокращения памяти и ускорения инференса. В README указано 253 млрд параметров; метаданные каталога оценивают общий размер в 697,9 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и работает через Transformers. Модель предназначена для чат-ботов, агентных систем, RAG, вызова инструментов и общих задач по инструкциям, включая математику, программирование и рассуждения. Она рассчитана прежде всего на английский язык; README также заявляет поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского. Модель оптимизирована по соотношению качества и эффективности и, по README, может использоваться коммерчески. Метаданные указывают лицензию «other», поэтому перед использованием следует проверить условия лицензии в карточке модели.

gabriellarson/Mistral-Small-3.2-24B-Instruct-2506-GGUF — это GGUF-версия инструкционной мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI. Репозиторий содержит квантизированное представление модели для запуска в совместимых средах, а исходная модель рассчитана на работу с текстом и изображениями. Модель предназначена для диалоговых ассистентов, следования инструкциям, генерации текста и кода, function calling, а также анализа изображений, документов, таблиц и диаграмм. В README отмечены улучшения по сравнению с Mistral-Small-3.1: более точное следование инструкциям, меньше повторяющихся и бесконечных генераций и более надёжный шаблон вызова функций. По приведённым тестам она показывает сильные результаты в задачах программирования, STEM, обработки документов и анализа визуального контента, хотя в отдельных vision-бенчмарках уступает предыдущей версии. Модель имеет 24 миллиарда параметров и поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, указанных в карточке. Рекомендуется использовать относительно низкую температуру и задавать системный промпт. Для исходной модели рекомендуется vLLM; запуск в формате BF16 или FP16 требует около 55 ГБ видеопамяти, тогда как требования конкретной GGUF-квантизации зависят от её параметров. Размер контекста в предоставленных данных не указан. Лицензия — Apache-2.0. Ограничения включают высокие требования к вычислительным ресурсам для полноразмерного запуска, возможные различия в качестве между языками и необходимость учитывать, что приведённые результаты основаны на конкретных внутренних и общедоступных тестах.

Карточка модели Chiraag25/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

unsloth/Qwen2.5-14B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-14B, опубликованная Unsloth на базе Qwen/Qwen2.5-14B-Instruct. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Архитектура — causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и группированным запросом внимания (GQA). Модель содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к embedding, и имеет 48 слоёв, 40 голов внимания для Q и 8 для KV. Поддерживаются контексты длиной до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; точные показатели качества и совместимость с конкретными аппаратными конфигурациями в README не указаны. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки Transformers; README не содержит подробностей о точном формате квантования, ограничениях производительности или дополнительных условиях использования.

duyntnet/Qwen2.5-32B-Instruct-imatrix-GGUF — набор квантованных GGUF-версий инструкционно дообученной языковой модели Qwen2.5-32B-Instruct. Репозиторий содержит производные квантования исходной модели Qwen, разработанной командой Qwen; конкретный автор квантований в README не указан. Модель предназначена для генерации текста, диалоговых ассистентов, следования инструкциям, работы с кодом и математикой, обработки структурированных данных и формирования структурированных ответов, включая JSON. Это causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-attention. Модель содержит 32,5 млрд параметров, из них 31 млрд — без учёта embedding, имеет 64 слоя и Grouped-Query Attention с 40 головами Q и 8 головами KV. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов, однако текущая конфигурация репозитория настроена на 32 768 токенов; для более длинных входов требуется YaRN. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные способности в программировании и математике, следование инструкциям, генерация длинного текста, понимание таблиц и устойчивость к разнообразным системным промптам. К ограничениям относятся высокая вычислительная требовательность базовой модели и возможные компромиссы квантования по качеству, скорости и точности, зависящие от конкретного варианта GGUF. Использование поддерживается через llama.cpp, KoboldCPP, text-generation-webui и Ollama. В README указана лицензия other, без дополнительных условий лицензирования.

Qwen2.5-3B-Instruct-AWQ — инструкционно дообученная причинная языковая модель из семейства Qwen2.5, разработанная командой Qwen; в примере README также указано, что Qwen создан Alibaba Cloud. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Модель содержит около 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура основана на Transformers и использует RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов. Применяется GQA с 16 головами для Q и 2 для KV. Контекст составляет до 32 768 токенов, длина генерации — до 8 192 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и другие. Ключевое преимущество версии AWQ — 4-битное квантование, позволяющее снизить требования к памяти и сделать развёртывание компактнее по сравнению с полноточной версией, при этом возможна потеря качества относительно исходной модели. Для работы рекомендуется использовать актуальную версию библиотеки Transformers и совместимые инструменты AWQ. В README указана лицензия qwen-research; точные условия следует проверять в файле лицензии репозитория.

Qwen2-57B-A14B-Instruct-GGUF — инструкционная языковая модель серии Qwen2, разработанная командой Qwen. Это текстовая модель для генерации и понимания текста, диалоговых приложений, решения задач на естественных языках, программирования, математики и рассуждений. Модель ориентирована на сценарии, где требуется чат-ассистент или локально развёртываемый сервис с совместимым с OpenAI API интерфейсом. Модель построена на декодерной архитектуре Transformer и использует Mixture-of-Experts с 57 млрд параметров, из которых 14 млрд активны (57B-A14B). Среди архитектурных особенностей указаны активация SwiGLU, bias в QKV и Grouped Query Attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования; в карточке явно указан английский язык. Модель прошла дообучение с учителем и Direct Preference Optimization. Доступны GGUF-квантизации от q2_k до q8_0, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами заявлены конкурентоспособность в задачах понимания и генерации текста, многоязычность, программирование, математика и рассуждения, а также возможность запуска через llama.cpp. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели, зависимость характеристик от выбранного уровня квантизации и отсутствие в README данных о максимальной длине контекста, точном наборе поддерживаемых языков и производительности. Модель распространяется по лицензии Apache 2.0.

ThomasBaruzier/Qwen2.5-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-7B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix; исходная модель разработана командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, структурированными данными и JSON. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами для Q и 4 для KV. Поддерживаются контексты до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Основное преимущество репозитория — выбор вариантов квантизации с разным компромиссом между размером файла, качеством и требованиями к ресурсам: от IQ1_S размером около 1,8 ГБ до F16 размером около 14,5 ГБ. Более лёгкие варианты удобны для локального запуска, но могут сильнее терять качество; по приведённой таблице, F16 сохраняет базовый уровень качества, а Q6_K, Q8_0 и варианты Q5 обеспечивают близкие показатели при меньшем размере. Для использования необходима совместимая среда, например llama.cpp. Модель и производные квантизации распространяются по лицензии Apache-2.0.

Qwen3-235B-A22B — большая языковая модель семейства Qwen3 от команды Qwen, разработанная Alibaba. Это причинная языковая модель архитектуры Mixture of Experts: всего 235 млрд параметров, из которых при генерации активируются 22 млрд; используются 128 экспертов, из них активны 8. Модель доступна в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для диалогов и генерации текста, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и сценариев с вызовом внешних инструментов. В одном чекпойнте можно переключать режимы рассуждения и обычного ответа. README заявляет поддержку более 100 языков и диалектов. Контекст в README указан как 32 768 токенов нативно и до 131 072 с YaRN; метаданные каталога указывают нативную длину 40 960 токенов. Модель принимает текст и выдаёт текст. Репозиторий лицензирован по Apache-2.0. Для практического использования следует учитывать большой общий размер модели и требования к инфраструктуре; README не приводит конкретных аппаратных требований или оценок качества для отдельных задач.

Qwen3-32B-AWQ — квантизированная 4-битная AWQ-версия причинной языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимом рассуждения для сложных задач и нерезультирующим режимом для более эффективного общего диалога в рамках одной модели. Модель содержит 32,8 млрд параметров, из них 31,2 млрд без учёта embedding, и имеет 64 слоя. Используется Grouped Query Attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на многоязычное следование инструкциям и перевод. AWQ-квантизация снижает требования к памяти, однако может влиять на качество по сравнению с полноразмерной версией; README также не содержит подробных результатов бенчмарков и требований к аппаратному обеспечению. Для режима рассуждения модель формирует промежуточное содержимое в блоке <think>...</think>; в README рекомендованы определённые параметры генерации и не рекомендуется жадное декодирование. Указанная лицензия — Apache 2.0.

lmstudio-community/Qwen3-32B-GGUF — квантизированная версия языковой модели Qwen3-32B, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, релиз b5200. LM Studio распространяет эту модель в рамках общественной программы, но не является её разработчиком. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математических задач и рассуждений общего назначения. Поддерживаются режимы с рассуждением и без него; режим /no_think позволяет отключить рассуждения добавлением соответствующего параметра в конец запроса. Заявлена поддержка более 100 языков и диалектов, а также агентских сценариев. Модель имеет 32 млрд параметров и поддерживает контекст до 131 072 токенов с использованием YaRN; значение по умолчанию составляет 32 000 токенов. К ключевым преимуществам относятся расширенные возможности рассуждения, программирования, математики, диалогового взаимодействия и следования инструкциям. Ограничения включают возможные неточные, вредные или неподходящие ответы, а также отсутствие в README сведений о точном уровне квантизации, требованиях к оборудованию и характеристиках производительности. Модель распространяется по лицензии Apache 2.0.

Карточка модели Hollow44844/Qwen3-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-4B, поэтому описание составлено по ней. Qwen3-4B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалогов, следования инструкциям, рассуждений, генерации кода, творческого письма, многоязычных задач и работы с инструментами. В модели около 3,7 млрд параметров по метаданным; она использует архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов по метаданным. README описывает переключение между режимами рассуждения и обычного диалога, а также поддержку более 100 языков и диалектов. Модель обучена на базе Qwen/Qwen3-4B-Base и распространяется в формате safetensors для библиотеки Transformers. Лицензия — Apache 2.0. Карточка предупреждает о возможных бесконечных повторах при генерации и рекомендует настраивать параметры сэмплирования.

Это Flax-представление Qwen3-4B-Instruct-2507, опубликованное Benjamin Minixhofer на Hugging Face. Модель разработана командой Qwen как причинная языковая модель для диалогов и генерации текста по инструкциям; репозиторий содержит веса в формате Flax. Базовая версия имеет около 4 млрд параметров, 36 слоёв и контекст до 262 144 токенов. Модель предназначена для следования инструкциям, понимания текста, ответов на вопросы, логических и математических задач, программирования и вызова инструментов. Она работает в режиме без цепочки рассуждений в специальных блоках, поддерживает многоязычные сценарии и длинный контекст. Карточка базовой модели указывает лицензию Apache-2.0; метаданные репозитория Flax лицензию отдельно не приводят.

unsloth/Qwen3-4B-Instruct-2507-unsloth-bnb-4bit — 4-битная версия модели Qwen3-4B-Instruct-2507, подготовленная Unsloth на основе модели Qwen/Qwen3-4B-Instruct-2507, разработанной командой Qwen. Это авторегрессионная causal language model для генерации текста и диалоговых сценариев. Модель предназначена для следования инструкциям, ответов на вопросы, логического рассуждения, понимания текста, математики, науки, программирования, использования инструментов и генерации творческих текстов. Она поддерживает несколько языков и рассчитана на работу с длинным контекстом до 262 144 токенов. Модель работает только в non-thinking режиме и не генерирует блоки <think></think>. Архитектура включает 4,0 млрд параметров, из которых 3,6 млрд не являются embedding-параметрами, 36 слоёв и Grouped-Query Attention с 32 головами Q и 8 головами KV. Квантование до 4 бит снижает требования к памяти и может упростить локальное развёртывание, однако потенциально сопровождается потерей точности по сравнению с полноразмерной версией. В README заявлены улучшения в знаниях, рассуждении, кодировании, агентских задачах, многоязычности и соответствии пользовательским предпочтениям, но конкретная производительность зависит от сценария и среды запуска. Лицензия — Apache-2.0.

Карточка модели tangyunbo/Qwen3-4B-RL-multiscope-fromscratch-iter297 на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Instruct-2507, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

unsloth/Qwen3.5-35B-A3B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, подготовленная Unsloth. Модель предназначена для локального запуска и применения в диалоговых системах, генерации и анализе текста, программировании, агентских сценариях, работе с изображениями и вызове инструментов. Для работы доступны варианты квантования, а также настройки включения и отключения режима рассуждений. Модель представляет собой авторегрессионную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Всего заявлено 35 млрд параметров, из которых активируется 3 млрд; размер скрытого представления составляет 2048, используется 40 слоёв и словарь размером 248 320 токенов. Модель поддерживает 201 язык и диалект, а её мультимодальность позволяет обрабатывать текст и изображения. GGUF-файлы обновлены с использованием улучшенных данных и алгоритма квантования, что ориентировано на более высокую точность при локальном инференсе. К сильным сторонам относятся сочетание мультимодального понимания, рассуждений, программирования и агентских задач с относительно низким числом активных параметров, а также возможность локального запуска через совместимые инструменты. Ограничения связаны с использованием квантованных вариантов: конкретные характеристики качества, требования к памяти, контекстное окно и поддерживаемые форматы зависят от выбранного файла и среды инференса; для данной GGUF-сборки они в README не уточнены. Модель распространяется по лицензии Apache-2.0.

Smoffyy/Qwen3.5-9B-Instruct-Pure-GGUF — квантизированная версия официальной модели Qwen3.5-9B, созданная автором Smoffyy на основе исходных весов Qwen с использованием официальных инструментов llama.cpp. Модель распространяется в формате GGUF и позиционируется как «чистая» квантизация без изменений или дополнительных модификаций весов. Модель предназначена для задач генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Это единая vision-language модель с гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Указана поддержка 201 языка и диалекта. Для работы с изображениями требуется дополнительный файл mmproj-f16.gguf. Доступен управляемый режим рассуждений через параметр enable_thinking в API или конфигурацию шаблона чата. Основное преимущество модели — сохранение исходных официальных весов при уменьшении требований к памяти благодаря квантизации. Доступны варианты с разным соотношением качества и размера, включая q4_k_m, q5_k_m и q8_0; при контексте 64k вариант q4_k_m использует около 10 ГБ памяти. Ограничения зависят от выбранного уровня квантизации и оборудования: более компактные варианты могут уступать исходной модели по качеству, а для визуальных возможностей необходим отдельный проектор. Модель и производные распространяются по лицензии Apache 2.0.

palmfuture/Qwen3.6-35B-A3B-GPTQ-Int4 — GPTQ-квантизированная версия модели Qwen3.6-35B-A3B, разработанная сообществом palmfuture на базе модели Qwen. Это мультимодальная модель для работы с текстом и изображениями, поддерживающая задачи генерации текста, следования инструкциям, программирования, математических рассуждений, агентских сценариев и обработки визуально-текстовых запросов. Заявлены языки English, Thai, Chinese и multilingual. Модель использует MoE-архитектуру Qwen3_5MoeForConditionalGeneration с 35 млрд параметров в общей сложности и примерно 3 млрд активных параметров на токен. В ней 256 экспертов, из которых для каждого токена выбираются 8, и 40 скрытых слоёв. Контекстное окно составляет 262 144 токена. Квантизация выполнена в формате GPTQ v2, 4-bit, с group_size=128 и симметричным представлением; размер модели вместе с MTP-весами — около 24,4 ГБ. Веса MTP (Multi-Token Prediction) сохранены в BF16 и поддерживают speculative decoding в vLLM и SGLang. К сильным сторонам относятся существенно уменьшенный размер по сравнению с полноформатной моделью, сохранение заявленного качества на уровне около 97,9% от BF16-версии по perplexity на wikitext-2-raw-v1, поддержка мультимодальности, длинного контекста и ускоренного декодирования. Ограничения связаны с требованиями к ресурсам: для рекомендованных конфигураций требуется несколько GPU, а совместимость и параметры запуска зависят от версий vLLM, SGLang и Transformers. Квантизация может приводить к некоторой потере качества, а для архитектуры требуется trust_remote_code. Модель распространяется по лицензии Apache-2.0.

Карточка модели Ahriman07/Qwen3-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели Xyre/Qwen3-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Карточка модели jed351/qwen3-8B-SFT-DPO на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

Xing4.0-29B-A4B — большая языковая модель серии Xing, ранее называвшейся TeleChat, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это плотная причинная языковая модель с архитектурой Xing4_0; по README она содержит 29 млрд параметров, из которых активны 4 млрд на токен, а метаданные указывают 6,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и контекст длиной 262 144 токена, который, согласно README, можно расширить до 512 тыс. Модель предназначена для рассуждений, программирования, многошагового планирования и агентных сценариев с вызовом инструментов. Её можно применять для вопросов и ответов по знаниям, понимания таблиц, классификации намерений и аудита контрактов, а также дообучать на данных конкретной предметной области. Для запуска заявлена совместимость с Transformers, vLLM, SGLang и KTransformers; указан формат весов safetensors. Модель разработана и обучалась на Ascend NPU с MindSpore, однако эти сведения сами по себе не ограничивают выбор инфраструктуры для инференса. Карточка не сообщает поддерживаемые естественные языки. Лицензия Apache-2.0. Метаданные и README расходятся в размере модели: 6,5 млрд параметров в метаданных против 29 млрд общих и 4 млрд активных на токен в README.

Gemma 4 26B A4B IT от Google DeepMind — мультимодальная диалоговая модель семейства Gemma 4, представленная в репозитории Unsloth. Это производная версия google/gemma-4-26B-A4B-it; веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель принимает текст и изображения и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, понимания графиков и интерфейсов, генерации и исправления кода, суммаризации и агентных сценариев с инструментами. В семействе Gemma 4 заявлено контекстное окно до 256K токенов для вариантов 26B A4B и 31B; модель использует гибридное локальное и глобальное внимание. README указывает поддержку более 35 языков и предварительное обучение более чем на 140 языках, но не перечисляет языки по отдельности. Ограничения включают возможные фактические ошибки, смещения обучающих данных и трудности с неоднозначными формулировками или сложными открытыми задачами. Аудиовозможности из README относятся только к вариантам E2B и E4B и здесь не заявлены.

unsloth/gemma-4-31b-it-MLX-8bit — 8-битная MLX-версия instruction-tuned модели Gemma 4 31B, подготовленная Unsloth на базе Google Gemma 4 31B-it. Разработчик исходной модели — Google DeepMind. Это мультимодальная модель, принимающая текст и изображения и генерирующая текст; она предназначена для локального запуска на совместимом оборудовании Apple MLX, а также для диалоговых приложений, генерации текста, программирования, рассуждений, анализа изображений и агентских сценариев с поддержкой вызова функций. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным вниманием, сочетающим локальное скользящее окно размером 1024 токена с глобальным вниманием. Контекстное окно составляет до 256 тысяч токенов, размер словаря — 262 тысячи токенов, поддерживается более 140 языков. Gemma 4 также предлагает настраиваемые режимы рассуждения, нативную поддержку системных сообщений и обработку изображений с различным соотношением сторон и разрешением. К сильным сторонам относятся большой контекст, мультимодальность, возможности рассуждения и программирования, а также оптимизации Gemma 4 для эффективной работы. Ограничения конкретной MLX-версии, требования к памяти, результаты бенчмарков и влияние 8-битного квантования на качество в README не указаны; аудио для модели 31B не заявлено. Модель распространяется по лицензии Apache 2.0.