II.7DevOps, облако и эксплуатация IT-систем

unsloth/cogito-v2-preview-llama-405B-GGUF — GGUF-версия большой языковой модели Cogito v2 preview 405B, разработанной DeepCogito и подготовленной Unsloth. Это инструкционно дообученная генеративная модель для коммерческого использования, ориентированная на программирование, задачи STEM, выполнение инструкций, общую полезность и вызов инструментов. Модель является гибридной reasoning-моделью: она может отвечать напрямую в стандартном режиме или выполнять дополнительное саморефлексивное рассуждение перед ответом. Для обучения использовалась стратегия Iterated Distillation and Amplification (IDA). Модель обучена более чем на 30 языках и поддерживает контекст длиной до 128 тысяч токенов. В README заявлены повышенные возможности в многоязычных задачах, программировании и tool calling по сравнению с сопоставимыми по размеру моделями, а также превосходство на ряде отраслевых бенчмарков, однако конкретные числовые результаты для GGUF-версии не приведены. Вариант GGUF предназначен для использования с совместимыми инструментами локального запуска, включая llama.cpp; для корректного применения шаблона чата в llama.cpp рекомендуется параметр --jinja. Для включения расширенного рассуждения требуется поддержка параметра enable_thinking=True в chat template либо специальная системная инструкция и предварительная вставка тега <think>. К ограничениям относятся очень большой размер модели и, как следствие, высокие требования к памяти и вычислительным ресурсам; точные требования зависят от используемой квантизации, но её параметры в README не указаны. Модель распространяется по лицензии llama3.1, обозначенной как открытая лицензия с разрешением коммерческого использования.

Dolphin 2.6 Mixtral 8x7b — языковая модель для диалогов и генерации текста, разработанная Eric Hartford при спонсорской поддержке Convai. Это дообученная версия Mixtral-8x7b с архитектурой MixtralForCausalLM типа Mixture of Experts; в обучении использовались qLoRA и Axolotl, а карточка указывает 7,1 млрд параметров. Модель принимает текст и выдаёт текст, использует формат диалога ChatML и поддерживает контекст до 32 768 токенов по метаданным; автор сообщает, что дообучение проводилось на последовательностях длиной 16 тыс. токенов. Модель предназначена для диалогового помощника, написания и объяснения кода, а также ответов на общие вопросы. Автор характеризует её как особенно сильную в задачах программирования и отмечает, что она следует инструкциям; обучение охватывало наборы данных для диалогов, программирования и инструкций. Модель не проходила DPO-настройку и описана автором как uncensored и highly compliant, поэтому для публичного сервиса потребуется отдельная настройка безопасности. Лицензия — Apache 2.0.

GLM-4.5-Air-AWQ-FP16Mix — квантизированная версия модели GLM-4.5-Air, разработанной командой Z.ai и опубликованной QuantTrio. Модель предназначена для генерации текста, сложного рассуждения, кодирования, использования инструментов и агентских сценариев. Она поддерживает гибридные режимы: thinking mode для многошагового рассуждения и работы с инструментами и non-thinking mode для быстрых ответов. Модель построена на архитектуре MoE и содержит 106 млрд параметров, из которых 12 млрд активируются при обработке запроса. Данная версия использует смешанную квантизацию AWQ и FP16Mix, занимает около 69 ГБ и рассчитана на запуск через vLLM. В README приведена конфигурация с контекстом до 32 768 токенов и использованием экспертного параллелизма на нескольких GPU. Языки и мультимодальные возможности явно не указаны; по описанию это текстовая модель. Сильными сторонами являются сочетание рассуждения, генерации кода и агентских возможностей при меньшем числе активных параметров, чем у полной GLM-4.5, а также экономия памяти благодаря квантизации. Ограничения связаны с требованиями к инфраструктуре: для корректной загрузки необходимо включить expert parallelism, использовать vLLM версии 0.10.0 и применить временный патч для поддержки смешанной квантизации MoE. В README указана лицензия MIT для моделей GLM-4.5 и GLM-4.5-Air, допускающая коммерческое использование и вторичную разработку.

GLM-4.5-Air-FP8 — языковая foundation-модель для интеллектуальных агентов, разработанная организацией zai-org, связанной с Zhipu AI. Она предназначена для агентных приложений, требующих рассуждений, генерации и анализа кода, использования инструментов и выполнения сложных многошаговых задач. Модель поддерживает английский и китайский языки и относится к классу text-generation-моделей на базе Transformers. Модель имеет гибридный режим рассуждений: thinking mode предназначен для сложного анализа и работы с инструментами, а non-thinking mode — для быстрых ответов. Архитектура использует разреженную активацию параметров: всего 106 млрд параметров, из которых активно 12 млрд. Данная версия использует формат FP8, ориентированный на более эффективное хранение и инференс по сравнению с полноразмерными представлениями. Размер контекстного окна в README не указан. Сильными сторонами модели являются сочетание рассуждений, программирования и агентных возможностей, а также более компактная конфигурация по сравнению с GLM-4.5 при сохранении конкурентных результатов на заявленных бенчмарках. Ограничения связаны с высокими требованиями к инфраструктуре: для полнофункционального запуска указана серверная память свыше 1 ТБ и GPU-конфигурации с несколькими H100 или H200; точные требования зависят от режима и фреймворка инференса. Модель распространяется по лицензии MIT, допускающей коммерческое использование и вторичную разработку.

GLM-4.5-Air-GGUF — это квантизированная в формате GGUF версия гибридной reasoning-модели GLM-4.5-Air, подготовленная Unsloth на базе модели Z.ai (Zhipu AI). Модель предназначена для создания интеллектуальных агентов, сложного рассуждения, программирования, использования инструментов и генерации текста. Она поддерживает два режима работы: thinking mode для задач, требующих многошагового рассуждения и tool usage, и non-thinking mode для быстрых ответов. GLM-4.5-Air использует архитектуру с 106 миллиардами общих параметров и 12 миллиардами активных параметров. Модель относится к текстовым моделям и заявлена для работы на английском и китайском языках. GGUF-версия ориентирована на локальный запуск, в том числе через llama.cpp; для него в README рекомендуется использовать параметр --jinja. Вариант Unsloth включает исправления chat template и использует подход Unsloth Dynamic 2.0, направленный на сохранение высокой точности при квантизации. Сильными сторонами модели являются сочетание рассуждения, программирования и агентных возможностей, а также более компактная и эффективная конфигурация по сравнению с GLM-4.5 при сохранении конкурентных результатов на заявленных тестах. Ограничения включают отсутствие в README подробностей о конкретном типе квантизации, поддерживаемой длине контекста, полном наборе языков, требованиях к оборудованию и результатах для всех отдельных бенчмарков. Модель и исходные версии GLM-4.5-Air выпускаются под лицензией MIT, допускающей коммерческое использование и вторичную разработку.

unsloth/GLM-4.6-GGUF — это версия языковой модели GLM-4.6 в формате GGUF, подготовленная Unsloth на основе модели GLM-4.6 от Z.ai (Zhipu AI). Модель предназначена для локального запуска и генерации текста, включая программирование, рассуждения, агентские сценарии, использование инструментов и поисковых агентов. Она также ориентирована на создание более естественных текстов и ролевое взаимодействие. Заявлено контекстное окно до 200 000 токенов, поддержка английского и китайского языков, а также улучшения по сравнению с GLM-4.5 в задачах кодирования, рассуждений, tool use и агентских приложениях. Размер модели, точная архитектура, перечень модальностей и конкретный вариант квантования в README не указаны. Репозиторий содержит исправления chat template; для запуска рекомендуется актуальная версия llama.cpp с параметром --jinja. Для общих оценок рекомендована температура 1.0, а для задач, связанных с кодом, — top_p 0.95 и top_k 40. Модель сильна в длинноконтекстной обработке, генерации кода, рассуждениях и интеграции с инструментами, однако README не приводит подробных количественных характеристик, ограничений качества или требований к вычислительным ресурсам. Лицензия — MIT.

GLM-4.7-FP8 — языковая модель семейства GLM, разработанная организацией Z.ai (zai-org). Это версия с представлением FP8, предназначенная прежде всего для генерации текста, программирования и агентских сценариев. Модель ориентирована на многоязычное программирование, выполнение задач через терминал, использование инструментов, веб-навигацию, сложное математическое рассуждение, чат, творческое письмо и ролевые сценарии. Также заявлены улучшенные возможности «vibe coding»: генерация веб-страниц и презентаций с более качественным дизайном, компоновкой и размерами элементов. Поддерживаются английский и китайский языки. Модель умеет использовать interleaved thinking и сохраняемое рассуждение перед выполнением действий. К сильным сторонам относятся заметные улучшения по сравнению с GLM-4.6 в SWE-bench, SWE-bench Multilingual, Terminal Bench 2.0, τ²-Bench, BrowseComp и задачах математического и общего рассуждения. README не содержит достоверных сведений о числе параметров, точной архитектуре, размере контекстного окна, поддерживаемых модальностях помимо текста и системных требованиях, поэтому эти характеристики нельзя определить по представленным данным. Модель распространяется по лицензии MIT.

unsloth/GLM-5.2-GGUF — это GGUF-версия языковой модели GLM-5.2, подготовленная Unsloth на основе модели zai-org/GLM-5.2, разработанной командой GLM-5. Модель предназначена для генерации текста, решения сложных задач с длинным горизонтом планирования, программирования, агентской работы и использования инструментов. Заявлена поддержка английского и китайского языков. Модель рассчитана на контекст до 1 миллиона токенов и поддерживает несколько уровней интенсивности рассуждений, позволяя выбирать баланс между качеством и задержкой. В архитектуре используется IndexShare, повторно применяющий один индексатор для каждой группы из четырёх разреженных attention-слоёв и снижающий вычисления на токен при контексте в 1 миллион токенов. Улучшенный слой MTP предназначен для speculative decoding и, по данным README, увеличивает длину принимаемой последовательности до 20%. Представлена в формате GGUF с вариантами квантования, включая 1-bit UD-IQ1_M. Сильными сторонами являются работа с очень длинным контекстом, задачи программирования, математическое и общее рассуждение, а также сценарии агентской инженерии и взаимодействия с инструментами. Ограничения конкретной GGUF-версии, требования к памяти и производительность зависят от выбранного варианта квантования и используемого оборудования; подробные размеры модели в README не указаны. Модель распространяется по лицензии MIT.

Карточка модели whodat6969/GLM-5.3 на Hugging Face совпадает с карточкой unsloth/GLM-5.3, поэтому описание составлено по ней. GLM-5.3 — текстовая диалоговая модель Z.ai, представленная в репозитории Unsloth. По карточке модели, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. В каталожных метаданных производная отмечена как слияние с zai-org/GLM-5.3 и zai-org/GLM-5.3-BF16; архитектура относится к семейству GLM MoE DSA, размер — 30,4 млрд параметров. Модель предназначена для генерации текста в диалогах, сложного программирования и длительных агентских задач. Карточка сообщает о высоких результатах на тестах кодирования, работы с терминалом, уязвимостей и эксплуатации, но эти результаты не гарантируют аналогичного качества в каждом сценарии. Поддерживаются английский и китайский языки, а контекст составляет до 1 048 576 токенов. Параметр reasoning_effort управляет глубиной рассуждений и принимает значения low, high и max; по умолчанию используется max. Для локального развёртывания перечислены SGLang, vLLM, Transformers, KTransformers, Unsloth и другие среды. Формат файлов — safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

Карточка модели xannie1/GLM-5.3 на Hugging Face совпадает с карточкой unsloth/GLM-5.3, поэтому описание составлено по ней. GLM-5.3 — текстовая диалоговая модель Z.ai, представленная в репозитории Unsloth. По карточке модели, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. В каталожных метаданных производная отмечена как слияние с zai-org/GLM-5.3 и zai-org/GLM-5.3-BF16; архитектура относится к семейству GLM MoE DSA, размер — 30,4 млрд параметров. Модель предназначена для генерации текста в диалогах, сложного программирования и длительных агентских задач. Карточка сообщает о высоких результатах на тестах кодирования, работы с терминалом, уязвимостей и эксплуатации, но эти результаты не гарантируют аналогичного качества в каждом сценарии. Поддерживаются английский и китайский языки, а контекст составляет до 1 048 576 токенов. Параметр reasoning_effort управляет глубиной рассуждений и принимает значения low, high и max; по умолчанию используется max. Для локального развёртывания перечислены SGLang, vLLM, Transformers, KTransformers, Unsloth и другие среды. Формат файлов — safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

GLM-5.3-BF16 — открытая по весам языковая модель для генерации текста и диалогов, представленная в карточке репозитория foranyone. По README, GLM-5.3 использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. Модель ориентирована на сложные задачи программирования, длительные агентные сценарии и кибербезопасность; в README приведены результаты на публичных бенчмарках, включая Terminal Bench 3.0 и CyberGym. Модель содержит 30,4 млрд параметров, использует архитектуру семейства GLM MoE DSA и распространяется в формате safetensors для Transformers. Метаданные указывают контекст до 1 048 576 токенов, поддержку английского и китайского языков и диалоговый режим. README также описывает настройку бюджета рассуждений уровнями low, high и max. Модель подходит для помощи в разработке и выполнения задач в агентных средах, но результаты на бенчмарках не гарантируют качество в конкретном проекте. README отмечает сильные возможности в киберсценариях, включая поиск уязвимостей и эксплуатационные задачи. Лицензия указана как other; конкретные условия использования в предоставленных данных не раскрыты.

Llama-3.1-Nemotron-Ultra-253B-v1-FP8 — большая языковая модель NVIDIA, производная от Meta Llama-3.1-405B-Instruct. Это плотный decoder-only Transformer с архитектурой, оптимизированной методом Neural Architecture Search: блоки могут содержать пропущенное внимание, переменное соотношение FFN и объединённые FFN. В README указано 253 млрд параметров; метаданные Hugging Face указывают 697,9 млрд параметров. Модель распространяется в формате FP8 и работает через Transformers. Модель предназначена для рассуждений, диалогов, следования инструкциям, генерации кода, retrieval-augmented generation, вызова инструментов и построения AI-агентов и чат-ботов. Она поддерживает текстовый ввод и вывод с контекстом до 131 072 токенов, а основным языком является английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. NAS-оптимизация направлена на уменьшение потребления памяти и задержки при сохранении качества и позволяет запускать модель на одном узле с 8 H100 для инференса. Модель ориентирована на коммерческое использование, однако требует значительных вычислительных ресурсов и специализированной инфраструктуры. Данные предварительного обучения имеют срез 2023 года, поэтому модель может не знать более свежие факты. Архитектура нестандартна относительно исходной Llama и может требовать совместимого программного стека. Использование регулируется NVIDIA Open Model License и дополнительными условиями Llama 3.1 Community License Agreement.

Llama-3.1-Nemotron-Ultra-253B-v1 — крупная языковая модель NVIDIA, производная от Meta Llama-3.1-405B-Instruct. Это reasoning- и chat-модель для разработчиков AI-агентов, чат-ботов, RAG-систем, инструментального вызова и других приложений на основе генерации текста, а также для стандартных задач следования инструкциям, математики, программирования и рассуждений. Модель обучалась с ноября 2024 года по апрель 2025 года и выпущена 7 апреля 2025 года. Модель использует плотную decoder-only Transformer-архитектуру с 253 млрд параметров, модифицированную с помощью Neural Architecture Search. В отдельных блоках применяются пропуск attention, переменное соотношение расширения FFN и объединение последовательных FFN-слоёв. Для восстановления качества использовались knowledge distillation на 65 млрд токенов и continual pretraining на 88 млрд токенов, а последующее дообучение включало supervised fine-tuning и reinforcement learning с GRPO. Поддерживается текстовый ввод и вывод с контекстом до 131 072 токенов; модель предназначена прежде всего для английского языка и языков программирования, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. К сильным сторонам относятся сочетание высокой точности с уменьшенным потреблением памяти, потенциально более высокая пропускная способность и сниженная задержка благодаря NAS и вертикальной компрессии. Модель рассчитана на работу на одном узле с 8 GPU H100, совместима с NVIDIA Hopper и Ampere, использует Transformers и ориентирована на Linux. Ограничения включают очень большой размер, высокие требования к вычислительным ресурсам и отсутствие гарантии качества для языков и сценариев, не перечисленных разработчиком. Использование регулируется NVIDIA Open Model License и дополнительными условиями Llama 3.1 Community License Agreement; модель заявлена как пригодная для коммерческого использования.

Llama-3.3-Nemotron-Super-49B-v1.5-GGUF — квантованное представление большой языковой модели NVIDIA, производной от Meta Llama-3.3-70B-Instruct. Модель предназначена для рассуждений, многоходового чата, следования инструкциям, программирования, математических и научных задач, а также для создания RAG-систем, AI-агентов и приложений с вызовом инструментов. Версия GGUF подготовлена Unsloth и включает исправления шаблона чата; для llama.cpp рекомендуется использовать параметр --jinja. Модель представляет собой плотный decoder-only Transformer с архитектурными изменениями, полученными методом Neural Architecture Search: в отдельных блоках внимание пропускается или заменяется линейным слоем, а коэффициент расширения FFN может различаться между блоками. Такой подход уменьшает требования к памяти и повышает эффективность инференса при сохранении качества. Указаны размер 49B параметров, контекст до 128K токенов и поддержка английского языка, включая задачи с кодом. Модель обучалась на данных с отсечкой по 2023 году, поэтому её знания могут быть устаревшими. Сильными сторонами являются сочетание качества рассуждений и эффективности, поддержка агентных сценариев, RAG и tool calling, а также возможность применения в коммерческих проектах. Ограничения включают специализацию преимущественно на английском языке, отсутствие заявленной мультимодальности и зависимость характеристик от конкретного GGUF-кванта и оборудования. Использование регулируется NVIDIA Open Model License, а также дополнительными условиями Llama 3.3 Community License Agreement.

Ornith-1.5-27B-A3B-CoderX-MTP-GGUF — квантизированная GGUF-версия модели Ornith-1.5-27B-A3B-CoderX, разработанная ManniX-ITA. Модель предназначена прежде всего для генерации и анализа кода, рассуждений и текстовых задач; в метаданных также заявлена поддержка vision-сценариев. Указанный язык — английский. Модель использует архитектуру Qwen3.5-MoE с 25,6 млрд параметров, из которых активно используется около 3 млрд. В составе 184 эксперта, из них выбираются 8; конфигурация включает 40 основных блоков и один слой MTP (Multi-Token Prediction). Доступны веса F16 и многочисленные варианты квантизации от Q8_0 до IQ2_XS, а также отдельный vision projector. Заявлен контекст до 262 144 токенов в примере запуска через llama.cpp. Сильные стороны модели — MoE-архитектура с небольшим числом активных параметров, поддержка рассуждений, кода, MTP и vision, а также квантизация с importance matrix, рассчитанной специально для этой версии. Ограничения зависят от выбранного уровня квантизации: компактные варианты могут заметно терять качество, а F16 и старшие кванты требуют значительного объёма памяти. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в совместимом окружении, включая llama.cpp.

Ba2han/qwen-14b-1m-distillthink-sce — объединённая автором Ba2han языковая модель на архитектуре Qwen2 с 14 млрд параметров. Она создана методом SCE в mergekit на основе Qwen/Qwen2.5-14B и объединяет DeepSeek-R1-Distill-Qwen-14B, Qwen2.5-14B-Instruct-1M и Qwen2.5-Coder-14B-Instruct. Модель предназначена для диалоговой генерации текста, анализа и исправления кода, а также задач рассуждения; доступен интерфейс для вызова инструментов. Модель работает с текстом и имеет нативный контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; README указывает на использование bfloat16 при слиянии. Карточка не описывает отдельные оценки качества или конкретные ограничения, поэтому результаты на сложных задачах следует проверять. Лицензия в предоставленных данных не указана.

lmstudio-community/Qwen2.5-Coder-7B-Instruct-GGUF — это квантованная в формате GGUF версия модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen. Квантование выполнено bartowski на основе llama.cpp release b3772; LM Studio распространяет модель в рамках Community Model Program, но не является её разработчиком. Модель предназначена для генерации и анализа программного кода, решения задач программирования, рассуждений, исправления ошибок и создания coding agents. Это текстовая модель с архитектурой и точными параметрами, не раскрытыми в README; размер исходной модели составляет 7B параметров. Указан английский язык. Поддерживается контекст до 128K токенов с настройками YaRN RoPE, что подходит для работы с крупными файлами и длинными описаниями проектов. Обучение основано на данных объёмом 5,5 триллиона токенов. Сильными сторонами модели являются специализация на коде, возможности генерации, рассуждений и поиска ошибок, а также длинный контекст. К ограничениям относятся зависимость качества и скорости от выбранного уровня GGUF-квантования и оборудования, отсутствие в README подробностей о конкретном варианте квантования, поддерживаемых языках программирования и результатах оценивания. Как и другие языковые модели, она может выдавать неточный, небезопасный или неподходящий код и требует проверки человеком. Лицензия модели указана как Apache 2.0. Условия использования квантованной версии следует сопоставлять с лицензией оригинальной Qwen2.5-Coder-7B-Instruct и условиями распространения конкретного файла GGUF.

Zero Gemma 4 E4B OpenZero — компактная локальная модель для генерации текста, созданная на базе unsloth/gemma-4-E4B-it и распространяемая автором репозитория shafire в рамках семейства OpenZero. Это самостоятельная объединённая GGUF-модель: обученные веса OpenZero уже встроены, поэтому отдельные LoRA-адаптер и базовая модель не требуются. Модель предназначена для локальных агентных сценариев, включая планирование, структурированное выполнение и проверку действий, разработку и отладку кода, ревью, проектирование тестов, исследовательский анализ с проверкой свидетельств, работу с инструментами и автономные процессы. Она совместима с llama.cpp и OpenZero, может использоваться через Ollama и OpenAI-совместимый локальный API. Заявлена поддержка работы на CPU; в README приведён ориентир для Intel Core i7-2600: около 2,70 токена/с при обработке промпта и 2,37 токена/с при генерации. Модель относится к классу Gemma 4 E4B, имеет размер файла 5,46 GiB и рассчитана на контекст до 8192 токенов в рекомендованных командах запуска. Указан английский язык. Квантование сочетает тензоры базовой модели Q5_K_M с 66 обученными attention-тензорами в F16. Сильные стороны — автономность поставки, компактность, возможность локального и потенциально более приватного развёртывания, а также ориентация на агентные и инструментальные рабочие процессы. Производительность зависит от оборудования, а приведённый CPU-бенчмарк не является универсальной гарантией скорости. Лицензия указана как other, с названием openzero-community-source-v1; дополнительные условия в предоставленном README не раскрыты.

Cogito v2.1 — инструктивная языковая модель Deep Cogito на архитектуре DeepSeek V3, дообученная на базе deepseek-ai/DeepSeek-V3-Base. В README модель названа вариантом MoE на 671 млрд параметров, однако метаданные репозитория указывают 37,6 млрд параметров и класс DeepseekV3ForCausalLM; поэтому фактический размер именно этого чекпойнта требует осторожной интерпретации. Модель принимает текст и генерирует текст, поддерживает диалог, вызов инструментов и гибридный режим рассуждений: может отвечать напрямую или сначала рассуждать и проверять ответ. Указаны контекст до 128 тысяч токенов в README и 163 840 токенов в метаданных. Модель предназначена для программирования, задач STEM, следования инструкциям, общих диалогов и сценариев с вызовом инструментов. В README заявлена поддержка более 30 языков и обучение с использованием итеративной дистилляции и усиления (IDA). Модель распространяется по лицензии MIT, допускающей коммерческое использование. Для запуска описанного в README варианта на 671 млрд параметров в BF16 требуется значительная вычислительная инфраструктура; там же рекомендуется FP8-версия для сервинга на восьми H200.

Cogito v2 Preview 70B — диалоговая языковая модель с настройкой по инструкциям, разработанная командой DeepCogito на основе Meta Llama 3.1 70B. Это плотная авторегрессионная модель примерно на 69,5 млрд параметров для генерации текста; она работает в стандартном режиме или может включать расширенное рассуждение и самоанализ. Для включения режима рассуждения в Transformers предусмотрен параметр enable_thinking в шаблоне чата либо специальная системная инструкция. Модель предназначена для программирования, задач STEM, следования инструкциям и общих диалогов. В README заявлена поддержка инструментов, параллельных вызовов инструментов и более чем 30 языков. Контекст составляет до 128 тысяч токенов по README и 131 072 токена по метаданным. Модель опубликована в формате safetensors и использует библиотеку Transformers. Лицензия Llama 3.1 разрешает коммерческое использование на условиях лицензии Meta.

Devstral-Small-2-24B-Instruct-2512-OptiQ-4bit — это локальная 4-битная MLX-квантизация модели Devstral-Small-2-24B-Instruct-2512 от Mistral, созданная сообществом mlx-community с использованием инструментария mlx-optiq. Модель относится к семейству Mistral и предназначена для генерации текста, программирования, агентских сценариев и вызова инструментов. Модель имеет размер 24 млрд параметров и использует смешанную точность: 102 слоя работают в 4-битном формате, а 179 наиболее чувствительных слоёв — в 8-битном. Средняя эффективная разрядность составляет 5,01 бит на вес, размер группы — 64, объём на диске — около 15,4 ГБ. Квантизация оптимизирована для Apple Silicon и поддерживается библиотеками MLX и mlx-lm; для многошагового использования инструментов рекомендуется сервер mlx-optiq. Языки, точный размер контекстного окна и дополнительные модальности в README не указаны. Сильными сторонами являются качество работы с кодом, инструкциями, вызовами инструментов и длинноконтекстным многошаговым поиском. В сравнении с равномерной 4-битной квантизацией модель показала более высокий результат на 5 из 6 метрик, включая BFCL 89,5%, HumanEval 83,5% и HashHop 62,0%; итоговый Capability Score составил 78,60. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, увеличенным по сравнению с обычной 4-битной версией размером и возможными потерями качества из-за квантизации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

GigaChat 3.5 Reasoning — большая языковая модель, разработанная ai-sage. Эта версия распространяется в формате GGUF для высокопроизводительного запуска через llama.cpp; базовая модель доступна в варианте BF16, а отдельная версия предназначена для инференса в FP8. Модель ориентирована на задачи, требующие углублённого рассуждения, и обучалась с использованием online RL. Архитектура представляет собой Mixture-of-Experts с общим размером 432 млрд параметров, из которых 28 млрд активируются при обработке токена. Используется гибридная архитектура, объединяющая Multi-head Latent Attention (MLA) и слои линейного внимания GatedDeltaNet. Дополнительно применяются GatedNorm и три MTP-головы для speculative decoding. Максимальная поддерживаемая длина контекста — 262 тысячи токенов. Заявлена поддержка русского и английского языков, а также сценариев text generation, instruction following, reasoning, tool use, function calling и structured output. Модель предназначена для решения математических и научных задач, программирования, редактирования кода, генерации тестов, репозиторных задач уровня SWE-bench, взаимодействия с инструментами, работы с длинным контекстом и соблюдения заданных форматов. К сильным сторонам относятся улучшения в математике, коде, следовании инструкциям и структурированном выводе по сравнению с GigaChat 3.5 Ultra Instruct, а также специализированное обучение шести доменных экспертов с последующей on-policy distillation. Ограничения включают высокие требования к вычислительным ресурсам из-за масштаба модели; конкретные требования к оборудованию, количественные характеристики производительности и ограничения использования в README не указаны. Лицензия — MIT.

Coder40-95/GLM-5.3-GGUF — это квантованная версия языковой модели GLM-5.3, разработанной Z.ai и распространяемой в формате GGUF. В карточке указано, что модель основана на zai-org/GLM-5.3, а квантование связано с экосистемой Unsloth. Модель предназначена для генерации текста, сложного программирования, длительных многоэтапных задач, работы с инструментами и агентских сценариев. Заявлена поддержка английского и китайского языков. Ключевое преимущество GLM-5.3 — улучшенная по сравнению с GLM-5.2 способность к программированию и задачам, требующим продолжительного планирования. В README также заявлены высокие результаты в тестах поиска уязвимостей и эксплуатации, поэтому модель может быть полезна для исследовательских и защитных задач кибербезопасности при соблюдении соответствующих ограничений. Доступно управление интенсивностью рассуждений через параметр reasoning_effort со значениями low, high и max; по умолчанию используется max. Размер модели, точная архитектура, параметры квантования и стандартная длина контекста в карточке не указаны. Модель ориентирована на локальный запуск совместимых GGUF-инструментов, однако конкретные требования к памяти и производительности зависят от варианта квантования и оборудования. Ограничения включают возможные ошибки генерации, а также необходимость осторожного применения заявленных кибербезопасностных возможностей. Лицензия обозначена как glm-5.3; подробные условия её использования в README не приведены.

Ornith-1.5-35B-A3B-TQ3_4S — компактная сборка модели Ornith-1.5-35B-A3B в формате GGUF с квантизацией TurboQuant TQ3_4S. В карточке указана архитектура Qwen3.5-MoE: всего 35,9 млрд параметров, из которых около 3 млрд активны на токен. Модель предназначена для диалоговой генерации текста, программирования и вызова инструментов; исходная модель также поддерживает обработку изображений при подключении vision-проектора. Для запуска требуется специализированная сборка turbo-tan/llama.cpp-tq3, поддерживающая тип тензоров TQ3_4S. В локальных измерениях автора модель занимала 17 ГиБ и показывала высокую скорость декодирования на RTX 3090; приведённые результаты бенчмарков являются собственными измерениями автора карточки. Контекст запуска до 262 144 токенов указан в параметрах тестирования, но не подтверждён как штатный предел модели. Лицензия — MIT.

Qwen2.5-Coder-14B-Instruct-MLX-8bit — 8-битная MLX-квантизация модели Qwen2.5-Coder-14B-Instruct, разработанной Qwen. Квантизацию предоставил bartowski на основе инструментов mlx-examples; модель распространяется в рамках программы Community Models LM Studio, но LM Studio не является её создателем или владельцем. Модель предназначена для генерации и обработки текста и программного кода, прежде всего для сценариев с code agents. Она обучалась на объёме до 5,5 триллиона токенов, включая исходный код, текстово-кодовые связи и синтетические данные. Заявлена поддержка длинного контекста до 128K токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. Указан английский язык; README также отмечает совместимость с компьютерами Mac на Apple Silicon. Ключевые сильные стороны модели — специализация на задачах программирования, поддержка длинного контекста и локальный запуск через MLX на совместимых устройствах. Ограничения включают зависимость от Apple Silicon для заявленной совместимости, а также возможные неточные, вредные или неподходящие ответы, характерные для генеративных моделей; конкретные результаты зависят от сценария использования. Модель распространяется по лицензии Apache-2.0.

Карточка модели bonalai/Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Qwen2.5-Coder-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-Coder-32B-Instruct, разработанной Qwen и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и работы с программным кодом, включая сценарии чат-взаимодействия и задачи, где требуется понимание или создание кода. В README указан английский язык, а для общения используется шаблон ChatML. Модель имеет размер 32 млрд параметров и поддерживает контекст до 128 000 токенов при запуске через LlamaEdge. Доступны варианты с разной степенью квантизации — от Q2_K до Q8_0, а также F16; размер файлов составляет примерно от 12,3 до 34,8 ГБ, причём варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между качеством и размером. Более сильная квантизация уменьшает требования к ресурсам, но может заметно снижать качество. Модель подходит для локального развёртывания и использования через LlamaEdge версии 0.14.14 или новее, включая запуск как сервиса или командного приложения. README не указывает мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Распространение осуществляется по лицензии Apache 2.0.

Qwen2.5-Coder-32B-Instruct-MLX-4bit — 4-битная MLX-квантизация модели Qwen2.5-Coder-32B-Instruct, разработанной командой Qwen. Квантизацию предоставил bartowski на основе инструментов mlx-examples; модель распространяется в рамках сообщества LM Studio и предназначена для работы на Mac с Apple Silicon. Модель ориентирована на генерацию и обработку кода, чат-взаимодействие и сценарии с code agents. Она обучалась на объёме до 5,5 триллиона токенов, включая исходный код, текстово-кодовые соответствия и синтетические данные. Поддерживается длинный контекст до 128K токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. В метаданных указан английский язык. Формат MLX 4-bit снижает требования к памяти по сравнению с полноразмерной версией, однако квантизация может влиять на качество и точность результатов; модель также способна генерировать неточный, вредный или неподходящий контент. Лицензия — Apache-2.0.

Qwen2.5-Coder-7B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-Coder, разработанной командой Qwen при Alibaba Cloud и представленной в репозитории Unsloth. Модель предназначена для генерации, анализа и исправления программного кода, кодового рассуждения, создания code agents, а также задач математики и общего назначения. В README явно указан английский язык. Модель относится к causal language models и использует архитектуру Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и механизм GQA с 28 головами для Q и 4 для KV; заявленная максимальная длина контекста — 131 072 токена. Базовая серия обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые соответствия и синтетические данные. Существенные сильные стороны — специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также поддержка длинного контекста. README не приводит подробных ограничений качества, перечня языков программирования или характеристик именно 4-битного квантования. Для работы рекомендуется использовать актуальную версию библиотеки Transformers. Модель распространяется по лицензии Apache-2.0.

baronyi/Qwen2_5-code-talker-v1-0707-014615 — объединённая методом SLERP модель на основе Qwen/Qwen2.5-Coder-14B-Instruct и Qwen/Qwen2.5-14B-Instruct. Это плотная авторегрессионная языковая модель семейства Qwen2.5 с архитектурой Qwen2ForCausalLM и примерно 14 млрд параметров; карточка указывает форматы Safetensors и GGUF F16, а метаданные — контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и программного кода, а также структурированных ответов и взаимодействия с инструментами через соответствующий интерфейс. Она объединяет возможности двух инструкционных моделей Qwen2.5, одна из которых ориентирована на код. Поддерживаемые языки в предоставленных данных не перечислены. Условия лицензии в карточке и метаданных не приведены.