II.7DevOps, облако и эксплуатация IT-систем

bunnycore/Qwen2.5-1.5B-Matrix — объединённая языковая модель, созданная автором репозитория с помощью mergekit и метода Model Stock. В качестве базовой использована Qwen/Qwen2.5-1.5B-Instruct; в объединение также вошли варианты Qwen2.5 для математики и программирования и Josiefied-Qwen2.5-1.5B-Instruct-abliterated-v1. Модель имеет архитектуру Qwen2ForCausalLM и 1,5 млрд параметров. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции, задачи по программированию и математике. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Модель доступна в формате safetensors для библиотеки Transformers. Сочетание нескольких специализированных моделей расширяет набор задач, для которых её можно применять, но README не приводит сравнительных оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

MingZwhy/Qwen3-1.7B-W2.79-QAOPD — производная модель Qwen3-1.7B, разработанная автором репозитория MingZwhy. Это плотная авторегрессионная языковая модель с 1,7 млрд параметров для генерации текста и диалогов. Веса квантованы до эффективных 2,79 бита: блоки используют смешанные INT1.58 и INT4, эмбеддинги и выходная голова — INT4, активации — INT8. После квантования модель восстановлена с помощью quantization-aware distillation и on-policy distillation; квантование встроено в веса. Модель подходит для диалоговых приложений, ответов на вопросы, математических задач и генерации кода. В README приведены результаты на GSM8K, MATH-500, AMC23, MBPP, HumanEval и QA9; на этих тестах показатели ниже, чем у исходной версии Qwen3-1.7B в BF16. Контекстное окно составляет 40 960 токенов. Базовая модель — многоязычная Qwen3; точный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. Модель распространяется по лицензии Apache-2.0.

pearl-ai/Qwen3-30B-A3B-Instruct-2507-pearl — сертифицированный вариант Qwen3-30B-A3B-Instruct-2507, разработанный Pearl Research Labs на базе модели Qwen от Alibaba. Это каузальная instruction-tuned языковая модель для генерации текста и диалоговых сценариев, прежде всего предназначенная для работы в связке с Pearl vLLM mining plugin и стеком Pearl miner. В карточке указана поддержка английского языка. Модель использует архитектуру Qwen3MoeForCausalLM и подход Mixture-of-Experts: всего 30 млрд параметров, из которых около 3 млрд активируются для каждого токена; на токен маршрутизируются 8 экспертов. Архитектура включает 48 скрытых слоёв. Применяется смешанная квантизация W7A7 и FP8, выполненная средствами Pearl, что ориентировано на эффективное развёртывание. В примере запуска через vLLM используется максимальная длина контекста 8192 токена, однако это значение относится к конфигурации запуска. Основное преимущество модели — совместимость с инфраструктурой Pearl для майнинга при сохранении близких к исходной модели результатов: на полном тесте MMLU-Pro Pearl-версия получила 77,33% против 77,88% у оригинала. Для работы рекомендуются CUDA и NVIDIA GPU класса sm90, например H100 или H200, а также компоненты Pearl, включая запущенный узел pearld с RPC-доступом. Модель можно использовать через Pearl vLLM plugin, vLLM или Transformers, но совместимость зависит от программного стека и поддерживаемой GPU-архитектуры. Возможны некорректные, небезопасные или предвзятые ответы, поэтому необходимы контроль развёртывания и проверка результатов. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled — языковая модель для генерации текста и задач, требующих многошагового рассуждения. Она разработана на базе плотной архитектуры Qwen3.5-2B и дообучена с помощью Supervised Fine-Tuning (SFT) и LoRA на дистиллированных траекториях рассуждений, преимущественно полученных из взаимодействий с Claude 4.6 Opus. Дополнительные данные от Qwen3.5-27B и набора Qwen3.5-reasoning-700x расширяют покрытие научных, математических и инструкционных задач. Модель предназначена для офлайн-аналитики, программирования, математики, решения сложных логических задач и сценариев, где полезно структурированное пошаговое рассуждение. Обучение ориентировано на формат с блоком <think> перед итоговым ответом и на более последовательное планирование решения. Поддерживается контекст до 16 384 токенов. В README указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. К сильным сторонам относятся компактный размер 2B параметров, структурированное рассуждение и сниженная избыточность переходов при решении простых запросов. Модель сохраняет риск галлюцинаций и не гарантирует достоверность внешних фактов. Это тестовая версия, предназначенная для обучения, демонстрации, академических исследований и технических экспериментов, а не для критически важных применений. Лицензия — Apache-2.0.

Qwen3.5-9B-DS-v4-Flash-v3.0 — экспериментальная плотная модель на 9 млрд параметров от prithivMLmods, дообученная на базе prithivMLmods/Q3.5-9B-DS-v4-Flash-v2.0, построенной на Qwen/Qwen3.5-9B. Модель использует архитектуру Qwen3.5ForConditionalGeneration и предназначена для диалогов с текстом и изображениями; основное обучение было направлено на рассуждения, математику, научный анализ, программирование и следование инструкциям. Автор описывает многоэтапное обучение примерно на 3,5 тыс. отфильтрованных примеров с трассами рассуждений DeepSeek V4 Flash и на дополнительных наборах данных. Модель подходит для экспериментов с многошаговыми и длинными рассуждениями, решения задач и локального запуска через Transformers. В карточке указан формат safetensors и лицензия Apache-2.0. Это экспериментальный выпуск: в сложных задачах возможны ошибочные промежуточные шаги и выводы, а поведение может отличаться от базовой модели. Качество зависит от охвата и особенностей обучающих данных.

Это GGUF-версия модели Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32, подготовленная mradermacher. Репозиторий содержит статические квантизации, включая варианты GGUF и мультимодальные дополнения mmproj; указан вариант F32. Базовая модель связана с nightmedia/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32 и классифицирована как дообучение. Модель предназначена для генерации текста в диалоговом и инструкционном формате. По тегам карточки она ориентирована на рассуждения, математику, программирование и творческое письмо, включая создание и продолжение историй; метаданные также указывают мультиязычную поддержку английского, китайского, японского и испанского языков. Лицензия — Apache-2.0. Репозиторий распространяет веса в формате GGUF, предназначенном для запуска совместимым ПО; доступные уровни квантизации различаются по размеру и могут влиять на качество. Карточка не приводит результатов сравнительных оценок или конкретных ограничений качества.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive — мультимодальная модель, разработанная HauhauCS на базе Qwen/Qwen3.6-27B от команды Qwen. Версия предназначена для пользователей, которым нужен прямой ответ без предварительных оговорок на провокационные или жёсткие запросы. По заявлению автора, изменения не затрагивают датасеты и исходные возможности модели, а направлены на устранение отказов; в указанном тесте модель получила 0 отказов из 465 запросов. Модель содержит 27 млрд плотных параметров и использует гибридную архитектуру: 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention, всего 64 слоя. Поддерживаются текст, изображения и видео; для работы с визуальными данными поставляется отдельный mmproj-файл. Нативный контекст составляет 262 тысячи токенов и может быть расширен примерно до 1 млн с помощью YaRN. Заявлены языки English, Chinese и multilingual. Доступны GGUF-квантизации Q2–Q8, включая специализированные варианты K_P, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Сильная сторона Aggressive — отсутствие вступительных отказов и оговорок, что удобно для сценариев, где требуется максимально прямой стиль ответа. При этом автор рекомендует большинству пользователей вариант Balanced, поскольку он стабильнее для агентного программирования, использования инструментов, рассуждений и творческого письма. Агрессивная настройка может быть менее подходящей для задач, где важны осторожная подача и встроенные ограничения безопасности. Модель распространяется по лицензии Apache-2.0.

LibertAIDAI/Qwen3.8-27B-NVFP4-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная LibertAI для запуска в llama.cpp. Модель предназначена для генерации текста, а при подключении отдельного vision-модуля — для обработки изображений и видео. Вариант MTP использует Multi-Token Prediction для speculative decoding: отдельная черновая голова предлагает несколько следующих токенов, а основная модель проверяет их одним проходом, что может повысить скорость генерации. Основная часть весов использует NVFP4 с размером группы 16 для линейных слоёв MLP; attention, vision tower, embeddings, lm_head и MTP-блок сохранены в BF16. Доступны варианты с тензорами Q4_K_M, Q8_0 или BF16, а также отдельные файлы MTP-головы и vision-модуля. Заявлена поддержка английского языка, контекст до 262144 токенов указан в тестовой конфигурации. На RTX 5090 авторы измерили прирост скорости около 22,7% при использовании MTP и конфигурации n-max=3, p-min=0.1. Сильными сторонами являются уменьшенный размер NVFP4-весов, совместимость с llama.cpp, поддержка speculative decoding и мультимодального ввода при подключении mmproj-файла. Для работы требуется Blackwell GPU с архитектурой sm_120 и llama.cpp, собранный с CUDA 12.8 или новее; MTP-голова не работает самостоятельно. Реальный прирост скорости зависит от предсказуемости текста, а мультиязычные, кодовые и визуальные сценарии отдельно полноценно не оценивались. Модель распространяется по лицензии Apache 2.0, унаследованной от Qwen/Qwen3.8-27B.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, распространяемая командой Smilyai-Labs-GRACE-team на базе модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README заявлено использование методов COLD FUSION и Fable Fusion 711, а также инструментов Unsloth. Репозиторий содержит обычные GGUF-квантизации и варианты MTP GGUF, ориентированные на запуск на потребительском оборудовании. Модель предназначена для широкого круга задач: рассуждений и решения проблем, программирования, творческого письма, создания историй, ролевых сценариев и других универсальных применений. Заявлены режимы thinking и reasoning, а основной акцент сделан на сокращении объёма рассуждений и ускорении генерации при сохранении детализации и качества ответов. Указаны английский и китайский языки. Метаданные также помечают модель как image-text-to-text, однако подробности о поддерживаемых визуальных входах и соответствующей архитектуре в README не приведены. К заявленным сильным сторонам относятся улучшенные результаты на внутренних и упомянутых в README тестах ARC-C и ARC-E, сокращение расхода токенов на рассуждения, высокая скорость, поддержка кодинга и творческих сценариев, а также наличие 4-битных и 8-битных GGUF-вариантов. Эти показатели представлены авторами модели и не сопровождаются независимой методикой проверки. Ограничения включают отсутствие данных о длине контекста, точных параметрах архитектуры, системных требованиях и качестве на широком наборе внешних тестов; заявления о «uncensored» также указывают на возможное отсутствие стандартных защитных ограничений. Лицензия — Apache-2.0.

Foresee/Qwen3.8-9B-heretic-uncensored-4bit-MTPLX — локальная 4-битная сборка модели rohit267/Qwen3.8-9B-heretic-uncensored для генерации текста. Она предназначена для запуска на компьютерах Apple Silicon с использованием MLX и ускорения вывода посредством спекулятивного декодирования MTPLX. Модель предоставляет совместимость с API OpenAI /v1/chat/completions и Anthropic /v1/messages, поэтому может использоваться в локальных чат-приложениях, инструментах программирования и других сценариях текстовой генерации. В состав входят 4-битная MLX-модель с группами квантования 64 и размером около 5 ГБ, отдельная MTP-голова, а также LoRA-адаптер ранга 64, объединяемый при загрузке. Указано, что модель относится к 9B-линейке Qwen, использует гибридную архитектуру с GatedDeltaNet и поддерживает английский язык. Контекст модели и полный перечень языков в README не указаны. На тесте с MacBook на M5 и 24 ГБ памяти скорость декодирования выросла с 21,25 до 40,05 токена в секунду; проверка спекулятивных токенов выполняется без потери точности относительно квантованной целевой модели. Основные ограничения — требование macOS 14 или новее, Apple Silicon, MLX и рантайма MTPLX; ускоренный MTP-путь специфичен для MTPLX. Квантование изменяет веса модели, хотя сама процедура спекулятивной проверки является точной. Модель всегда начинает ответ с блока <think>, что следует учитывать при расчёте бюджета токенов. Лицензия Apache-2.0, унаследованная от базовой модели Qwen3.5-9B.

Карточка модели willamazon1/Qwen3-8B-SDFT-Math-LoRA-iter45 на Hugging Face совпадает с карточкой Qwen/Qwen3-8B-Base, поэтому описание составлено по ней. Qwen3-8B-Base — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это базовая модель на этапе предобучения, рассчитанная на дальнейшую адаптацию и генерацию текста. В карточке указаны 36 слоёв, 32 головы внимания для Q и 8 для KV; метаданные каталога оценивают размер в 7,6 млрд параметров, а README приводит 8,2 млрд параметров всего и 6,95 млрд без эмбеддингов. Контекст — 32 768 токенов. Модель предназначена для продолжения текста и служит основой для создания специализированных моделей и диалоговых систем. Семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; README отмечает отдельное внимание к программированию, STEM, рассуждениям, книгам и многоязычным данным. Модель использует архитектуру Qwen3 для причинного моделирования языка и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка советует использовать актуальную версию Transformers: версии ниже 4.51.0 не распознают архитектуру qwen3. Поскольку это базовая, а не инструктивно настроенная версия, для диалогового применения и следования инструкциям может понадобиться дополнительная настройка.

sasa2000/Qwen3-Swallow-8B-RL-v0.2-heretic — дообученная версия Qwen3-Swallow 8B RL v0.2 с ослабленным поведением отказа, подготовленная на основе abliteration. Базовая модель разработана проектом Swallow LLM; репозиторий содержит плотную причинно-языковую архитектуру Qwen3 с 7,6 млрд параметров и контекстом до 40 960 токенов. Модель принимает текст и генерирует текст в диалоговом режиме. Она предназначена для общения на японском и английском языках, перевода между ними, решения математических задач, программирования и рассуждений. В сравнении из карточки указано 31 отказ из 100 запросов против 97 у исходной модели; это описание теста отказов, а не оценка общей точности. Рекомендуемый автором предел контекста — 32 768 токенов или меньше. Работа с вызовом инструментов не была специально обучена и не валидирована, а отдельное переключение режима рассуждений не поддерживается. Модель распространяется по лицензии Apache-2.0. Авторы базовой модели отмечают, что семейство находится на раннем этапе разработки и не настроено для надёжного следования человеческим намерениям или требованиям безопасности; снижение частоты отказов также означает, что ответы требуют соответствующей проверки.

Salamandra-2B — базовая авторегрессионная языковая модель семейства Salamandra, разработанная командой проекта Salamandra и обученная с нуля. Это плотная decoder-only модель на архитектуре Llama с примерно 2,25 млрд параметров по карточке модели и контекстом до 8192 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache 2.0, допускающая коммерческое использование. Модель предназначена для генерации текста на европейских языках и коде, а также для дальнейшего дообучения под конкретные задачи. Она предварительно обучена на 12,875 трлн токенов тщательно отобранных данных из 35 европейских языков и кода. Её можно применять для продолжения текста, черновой генерации и многоязычных сценариев; это базовая версия, а не вариант, настроенный как диалоговый помощник. В опубликованных оценках отмечены общественные и когнитивные смещения: модель может предпочитать ранние варианты ответа в списках и зависеть от формулировки подсказки. Данные обучения преимущественно отражают стандартные языковые варианты, поэтому качество для диалектов и малоресурсных языков может быть ниже. Перед применением в продуктивных системах необходимы проверка качества и адаптация к целевому сценарию.

supergemma4-e4b-abliterated-GGUF — это квантованное распространение модели Jiunsong/supergemma4-e4b-abliterated, подготовленное mradermacher в формате GGUF. Модель относится к семейству Gemma, ориентирована на генерацию текста и instruction-tuned-сценарии, а также заявляет поддержку tool calling и структурированного вывода. В метаданных указан английский язык. Модель предназначена для локального запуска и интеграции с совместимыми средами инференса, включая инструменты для работы с GGUF и vLLM. Доступны варианты квантования Q2_K, Q3_K, IQ4_XS, Q4_K, Q5_K, Q6_K, Q8_0 и f16 размером примерно от 4,5 до 15,2 ГБ. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант высокого качества, а Q8_0 — как наиболее качественный среди быстрых вариантов. Ключевое преимущество — широкий выбор квантований, позволяющий адаптировать требования к памяти, скорости и качеству. Более агрессивные варианты могут снижать качество генерации; для Q3_K_M это указано отдельно. Размер контекста, точная архитектура, количество параметров, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как gemma.

Qwen2.5-72B-Instruct-GPTQ-Int8 — инструкционно дообученная крупная языковая модель семейства Qwen2.5, разработанная командой Qwen, связанной с Alibaba Cloud. Это каузальная текстовая модель для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 72,7 млрд параметров, из которых 70 млрд не относятся к эмбеддингам, и построена на архитектуре Transformer с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и GQA. Она имеет 80 слоёв, 64 головы внимания для Q и 8 для KV. Модель поддерживает более 29 языков, включая английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. К сильным сторонам относятся улучшенные способности к программированию и математике, следование инструкциям, генерация длинных текстов, понимание таблиц и устойчивость к разнообразным системным промптам. GPTQ-квантизация до 8 бит снижает требования к памяти по сравнению с исходной версией, но модель остаётся ресурсоёмкой из-за большого размера. При использовании статического YaRN производительность на коротких запросах может снижаться. Для работы рекомендуется актуальная версия Transformers; лицензия указана как Qwen с отдельным файлом условий.

Qwen3-235B-A22B-Instruct-2507-FP8 — инструкционная causal language model семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-235B-A22B-Instruct-2507 для генерации текста и диалогового взаимодействия. Она предназначена для следования инструкциям, понимания текста, логического рассуждения, математики, научных задач, программирования, использования инструментов и открытых субъективных задач, включая генерацию качественного текста. Модель использует архитектуру Mixture-of-Experts: 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; 234 млрд параметров относятся к неэмбеддинговым. Архитектура включает 94 слоя, 128 экспертов и 8 активируемых экспертов, а также Grouped Query Attention с 64 Q- и 4 KV-головами. Нативная длина контекста составляет 262 144 токена. Модель поддерживает несколько языков и улучшенное покрытие редких знаний, однако конкретный полный список языков в README не указан. Поддерживается только non-thinking mode: модель не формирует блоки <think></think>. Сильные стороны модели — улучшенные instruction following, рассуждение, кодинг, tool usage, многоязычность, субъективные и открытые задачи, а также обработка длинного контекста. Ограничения включают высокие требования к вычислительным ресурсам, обусловленные общим размером модели, и отсутствие режима thinking. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-AWQ — инструкционно дообученная языковая модель из семейства Qwen, разработанная командой Qwen. Это причинная языковая модель для генерации текста, диалоговых ассистентов, следования инструкциям, написания и анализа кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 32,5 млрд параметров, из них 31 млрд — без учёта эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и GQA с 40 головами для Q и 8 для KV. Репозиторий содержит 4-битную AWQ-квантизированную версию, что может снизить требования к памяти по сравнению с полноточной моделью. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Полная длина контекста указана до 131 072 токенов, а генерация — до 8192 токенов; при этом текущая конфигурация рассчитана на 32 768 токенов, а для более длинных входов требуется включение YaRN. Сильными сторонами модели являются улучшенные возможности в программировании и математике, следование инструкциям, обработка длинных текстов, понимание таблиц и генерация структурированных данных. При использовании статического YaRN производительность на коротких текстах может снижаться, поэтому его рекомендуется включать только при работе с длинным контекстом. Для загрузки и развёртывания требуются совместимые версии Transformers и поддержка AWQ; в документации рекомендуется vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-FP8 — причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-30B-A3B-Instruct-2507, предназначенная для генерации текста в режиме без скрытого рассуждения и без блоков <think></think>. Модель ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, естественные науки, программирование, использование инструментов, открытые и субъективные текстовые задачи, а также работу с длинным контекстом и несколькими языками. Она поддерживает контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются на запрос; модель содержит 48 слоёв, 128 экспертов и активирует 8 экспертов, использует GQA с 32 головами Q и 4 головами KV. К сильным сторонам относятся улучшенные instruction following, качество генерации, математические и кодовые способности, расширенное покрытие редких знаний на разных языках и повышенное качество работы с длинным контекстом. Ограничение модели — поддержка только нерassуждающего режима, поэтому она не предназначена для генерации явных цепочек рассуждений в формате <think></think>. Для использования рекомендуются актуальные версии transformers, а для развёртывания — SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-GPTQ-Int4 — 4-битно квантованная GPTQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Это авторегрессионная causal language model для диалогов, генерации и преобразования текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 32,5 млрд параметров, из которых 31 млрд относятся к неэмбеддинговым, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в attention QKV и GQA с 40 головами для Q и 8 для KV. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная длина контекста — до 131 072 токенов, а максимальная длина генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, а для более длинных входов требуется YaRN. К преимуществам относятся улучшенные способности к программированию и математике, соблюдение инструкций, генерация длинных текстов, обработка таблиц и других структурированных данных, а также меньшие требования к памяти благодаря 4-битной квантованию. К ограничениям относятся возможное снижение качества по сравнению с исходной моделью в формате bfloat16 и потенциальное ухудшение производительности на коротких текстах при включении статического масштабирования YaRN. Модель распространяется по лицензии Apache-2.0 и предназначена для использования с библиотекой Transformers и совместимыми средствами инференса.

Qwen2.5-72B-Instruct-GGUF — большая инструкционная языковая модель из серии Qwen2.5, разработанная командой Qwen. Репозиторий содержит 72-миллиардную версию модели Qwen2.5-72B-Instruct в формате GGUF, предназначенном для локального запуска, в том числе с использованием llama.cpp. Модель относится к авторегрессионным causal language models и предназначена для диалоговых систем, генерации и продолжения текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Поддерживается более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель рассчитана на текстовую модальность. Архитектура включает transformers, RoPE, SwiGLU, RMSNorm и bias в Attention QKV; модель содержит 72,7 млрд параметров, из них 70 млрд без учёта embedding, 80 слоёв и механизм GQA с 64 головами для Q и 8 для KV. Для GGUF указана длина контекста 32 768 токенов и генерация до 8192 токенов. Поддерживаются варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Преимуществами являются улучшенные возможности в программировании и математике, следование инструкциям, генерация длинных текстов и устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — отсутствие штатной поддержки контекста до 131 072 токенов; для такого расширения README рекомендует использовать неквантизованные модели и отмечает поддержку YARN только в vLLM. Модель распространяется по лицензии Qwen, обозначенной как other; точные условия приведены в файле лицензии репозитория.

Qwen3-14B-FP8 — FP8-квантизированная версия большой языковой модели Qwen3-14B, разработанной командой Qwen. Это каузальная языковая модель для генерации текста, диалогов и выполнения инструкций, поддерживающая переключение между режимом рассуждений для сложной логики, математики и программирования и обычным режимом для эффективного общения. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не относятся к эмбеддингам, и имеет 40 слоёв. Она использует Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN поддерживается до 131 072 токенов. Модель ориентирована на более чем 100 языков и диалектов и подходит для многоязычных диалогов, перевода, написания текстов, генерации кода, решения математических задач и агентских сценариев с использованием внешних инструментов. К сильным сторонам относятся сочетание рассуждений и быстрого общего диалога в одной модели, развитое следование инструкциям, многоязычность и поддержка интеграции с инструментами. FP8-квантизация с блочным размером 128 предназначена для повышения эффективности хранения и инференса, однако для распределённого запуска в Transformers указаны известные проблемы; при использовании нескольких устройств может потребоваться переменная CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-14B-GGUF — GGUF-версия языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это причинно-следственная языковая модель с 14,8 млрд параметров, из которых 13,2 млрд не относятся к эмбеддингам; она включает 40 слоёв и использует Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Модель предназначена для диалогов, следования инструкциям, генерации кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов. Qwen3-14B позволяет переключаться между режимами рассуждения и без рассуждения, выбирая баланс между качеством решения сложных задач и скоростью ответа. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp и Ollama; README также указывает возможность использования через Open WebUI. Конкретные требования к оборудованию и производительность зависят от варианта квантования и среды запуска и в представленных данных не приведены. Модель распространяется по лицензии Apache-2.0.

QuixiAI/Qwen3-30B-A3B-AWQ — квантизированная в формате AWQ версия Qwen3-30B-A3B, разработанная командой Qwen и опубликованная Eric Hartford. Модель основана на causal language model с архитектурой mixture-of-experts (MoE) и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математики, программирования, перевода и агентских сценариев с интеграцией внешних инструментов. Модель поддерживает переключение между режимами рассуждения и обычной генерации, обучена на этапах pretraining и post-training и поддерживает более 100 языков и диалектов. Всего она содержит около 30,5 млрд параметров, из которых при обработке активируется около 3,3 млрд; в составе 48 слоёв, 128 экспертов, одновременно активируются 8, используется Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. К сильным сторонам относятся сочетание высокой ёмкости MoE с меньшим числом активных параметров, развитые возможности рассуждения, программирования, многоязычного общения и работы в агентских задачах, а также наличие эффективного режима без рассуждений. AWQ-квантизация может снизить требования к памяти и упростить локальное развёртывание, однако конкретные требования к оборудованию и влияние квантизации на качество в карточке не указаны. Для работы рекомендуется использовать актуальные версии Transformers, SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-30B-A3B-Instruct-2507-GPTQ-Int4 — это квантизированная версия Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель относится к причинным языковым моделям и предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и многоязычных сценариев. Она работает только в non-thinking режиме и не формирует блоки <think></think>. В основе используется MoE-архитектура: всего 30,5 млрд параметров, из которых активируется 3,3 млрд; 48 слоёв, 128 экспертов, 8 активируемых экспертов, а также GQA с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. Данная версия сжата до 4 бит с group size 128 и настройкой desc_act=False, что, согласно README, повышает эффективность по числу токенов в секунду по сравнению с предыдущими квантизированными версиями. Для запуска рекомендуется vLLM версии 0.9.2 или новее. Модель подходит для чат-систем, генерации и обработки текста, анализа длинных документов, программирования, математических и исследовательских задач, а также агентских сценариев с использованием инструментов. К сильным сторонам относятся длинный контекст, улучшенные instruction following, reasoning, coding, alignment и многоязычные возможности базовой модели. Ограничения включают работу только в non-thinking режиме и возможные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Apache-2.0.

google/gemma-4-31B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с формированием текстового ответа. Модель поддерживает текстовые и графические входы, но аудио для версии 31B не заявлено. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием. Контекстное окно составляет до 256K токенов, размер словаря — 262K. Семейство Gemma 4 заявляет мультиязычную поддержку более 140 языков, нативную поддержку system role, configurable thinking modes и function calling. Эта версия представлена в формате GGUF с Q4_0 и прошла Quantization-Aware Training, что ориентировано на снижение требований к памяти при сохранении качества, близкого к bfloat16. К сильным сторонам относятся большое контекстное окно, мультимодальное понимание текста и изображений, возможности рассуждения, кодирования и локального развёртывания в экосистемах, совместимых с GGUF. Ограничениями являются отсутствие заявленной поддержки аудио у 31B, а также потенциальные компромиссы качества и точности, характерные для квантованного формата. Модель распространяется по лицензии Apache 2.0.

Llama-3.3-Nemotron-Super-49B-v1.5 — большая языковая модель, разработанная NVIDIA как производная Meta Llama-3.3-70B-Instruct. Это reasoning-модель для диалогов, следования инструкциям, решения задач по математике, программированию и науке, а также для агентных сценариев, включая RAG и вызов инструментов. Она предназначена для разработчиков AI-агентов, чат-ботов, RAG-систем и других приложений на базе ИИ. Модель представляет собой плотный decoder-only Transformer с архитектурой, оптимизированной методом Neural Architecture Search. В отдельных блоках внимание может пропускаться или заменяться одним линейным слоем, а коэффициент расширения FFN варьируется, что уменьшает требования к памяти и повышает эффективность при сохранении качества. Модель обрабатывает только текст, поддерживает контекст до 131 072 токенов и генерирует текст. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского, тайского и языков программирования. Сильные стороны модели — сочетание рассуждений, чат-взаимодействия, инструментального использования и высокой эффективности, включая возможность работы на одной GPU H200 при больших нагрузках. Ограничения включают текстовую модальность, ориентированность прежде всего на английский язык, дату отсечения предобучающих данных 2023 годом и оптимизацию под NVIDIA GPU-ускоренные системы. Модель доступна для коммерческого использования на условиях NVIDIA Open Model License с дополнительными условиями Llama 3.3 Community License Agreement.

Mistral-Large-Instruct-2407 — плотная инструктивная большая языковая модель Mistral AI с 122,2 млрд параметров, опубликованная 24 июля 2024 года. Она предназначена для генерации текста, диалогов, математических рассуждений, программирования и работы в агентных сценариях с вызовом функций и формированием JSON. Архитектура — MistralForCausalLM; модель распространяется в формате safetensors. В карточке заявлена поддержка многих языков, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Для этой версии метаданные указывают контекстное окно 32 768 токенов. По карточке, для запуска требуется несколько GPU с суммарной видеопамятью свыше 300 ГБ. Карточка приводит высокие результаты на тестах инструктивного следования, кода и математики. Модель не имеет встроенных механизмов модерации, поэтому её ответы могут требовать внешних ограничителей. Лицензия Mistral Research License разрешает исследовательское и некоммерческое использование, а также модификацию.

unsloth/Qwen3-235B-A22B-128K-GGUF — GGUF-квантизированная версия большой языковой модели Qwen3-235B-A22B, опубликованная Unsloth и основанная на модели Qwen от команды Qwen. Это авторегрессионная причинная языковая модель с архитектурой mixture-of-experts (MoE), предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, решения математических и программных задач, творческого письма, многошагового взаимодействия и работы с внешними инструментами. Модель содержит 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; в ней 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется grouped-query attention с 64 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов, что соответствует заявленному варианту на 128K. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Она позволяет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрой генерации. К сильным сторонам относятся сочетание высокой способности к рассуждениям, программированию, агентным сценариям, многоязычной работе и диалогам, а также возможность использования в локальных приложениях и серверных средах, совместимых с GGUF. Ограничения включают очень большой общий размер модели и, как следствие, высокие требования к памяти и вычислительным ресурсам; конкретные характеристики зависят от выбранного уровня квантизации, который в README не указан. Модель распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Instruct — инструкционная причинная языковая модель семейства Qwen3-Next, разработанная командой Qwen. Она предназначена для генерации и понимания текста, решения задач на знания и рассуждение, программирования, написания текстов, многоязычного взаимодействия, вызова инструментов и агентских сценариев. Модель работает только в instruct-режиме без блоков рассуждений <think></think> в ответах. Модель использует гибридную архитектуру из Gated DeltaNet и Gated Attention, а также разреженную Mixture-of-Experts. Всего предусмотрено 80 млрд параметров, из которых 3 млрд активируются на токен; модель содержит 48 слоёв и 512 экспертов, из которых активируются 10. Контекст составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки явно не перечислены, но заявлена многоязычная поддержка и приведены результаты мультиязычных тестов. К сильным сторонам относятся высокая эффективность параметров, сниженные вычислительные затраты и пропускная способность при длинном контексте, а также результаты на задачах программирования, рассуждения, следования инструкциям и агентского взаимодействия. Ограничения включают отсутствие thinking-режима и зависимость практической производительности от аппаратного обеспечения и реализации инференса. Модель распространяется по лицензии Apache-2.0.

vs199507/gemma-4-31B-it-GGUF — GGUF-версия мультимодальной instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной сообществом Unsloth. Модель предназначена для генерации и понимания текста, программирования, рассуждений, работы с изображениями и агентских сценариев с вызовом функций. Это плотная модель примерно с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное скользящее окно размером 1024 токена с глобальным вниманием. Она принимает текст и изображения и генерирует текст, поддерживает контекст до 256 тысяч токенов и мультиязычную работу более чем со 140 языками. Для модели заявлены настраиваемые режимы рассуждений, улучшенные возможности программирования, native function calling и поддержка системных промптов. К сильным сторонам относятся большой контекст, мультимодальное понимание, развитые возможности рассуждений и широкий спектр прикладных сценариев — от диалогов и анализа документов до coding и автономных агентов. Конкретные характеристики квантования, требования к памяти и производительность этой GGUF-сборки в README не указаны; из-за размера модель ориентирована преимущественно на мощные рабочие станции и серверы. Распространение осуществляется по лицензии Apache 2.0.