II.7DevOps, облако и эксплуатация IT-систем

AskMeCodes/Qwen3-Coder-30B-A3B-Instruct-GGUF — GGUF-версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Это причинная языковая модель для генерации текста, ориентированная прежде всего на программирование, агентное написание кода, использование браузера и работу с крупными репозиториями. Модель поддерживает интеграцию с инструментами и платформами вроде Qwen Code и CLINE через специальный формат вызова функций. Архитектура основана на Mixture-of-Experts: всего 30,5 млрд параметров, из которых при обработке активируется около 3,3 млрд. Модель содержит 48 слоёв, 128 экспертов, из которых активируются 8, и использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена; с использованием Yarn заявлена возможность расширения до 1 млн токенов. Модель работает только в режиме без рассуждений и не генерирует блоки <think></think>; поддержка изображений и конкретный набор языков в карточке не указаны. К сильным сторонам относятся высокая эффективность за счёт разреженной MoE-архитектуры, поддержка длинного контекста и специализация на задачах программирования и агентных сценариях. Ограничением является отсутствие режима thinking, а фактические требования к оборудованию, производительность квантованной GGUF-версии и совместимость с конкретными рантаймами зависят от используемого формата и программного обеспечения. Лицензия — Apache 2.0.

Qwen3-Coder-30B-A3B-Instruct-GGUF — GGUF-версия инструкционной модели Qwen3-Coder, разработанной командой Qwen и опубликованной в данной сборке Unsloth. Это авторегрессионная причинная языковая модель, предназначенная прежде всего для генерации и анализа кода, агентского программирования, работы с репозиториями и сценариев агентского использования браузера. Модель поддерживает специальный формат вызова функций и совместима с инструментами и платформами, включая Qwen Code и CLINE. Архитектура использует mixture-of-experts: всего 30,5 млрд параметров, из которых при обработке токена активируется около 3,3 млрд; предусмотрено 128 экспертов, активируются 8. Модель содержит 48 слоёв и применяет Grouped-Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN её можно расширить до 1 млн токенов, что подходит для анализа крупных кодовых баз. Поддерживается только режим без рассуждений: модель не генерирует блоки <think></think>. К сильным сторонам относятся эффективность разреженной MoE-архитектуры, большой контекст и ориентация на программирование и агентские задачи. Ограничения включают отсутствие режима рассуждений и зависимость практической производительности от используемого GGUF-квантизованного варианта и аппаратного обеспечения; конкретные параметры квантизации в README не указаны. Лицензия — Apache 2.0.

DeepSeek-V4-Flash-0731 — официальная версия модели DeepSeek-V4-Flash, разработанная DeepSeek AI. Она предназначена прежде всего для агентных сценариев, включая работу с инструментами, автоматизацию, разработку программного обеспечения, задачи Code Agent и full-stack разработку. По данным README, модель превосходит DeepSeek-V4-Pro (Preview) на приведённых тестах и сопоставима с сильнейшими проприетарными моделями по ряду агентных и программных задач. Модель имеет ту же структуру, что и DeepSeek-V4-Flash-DSpark, с подключённым модулем speculative decoding. Количество параметров, число активируемых параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Для работы используется библиотека Transformers, а запуск поддерживается через vLLM и SGLang. Предусмотрены уровни reasoning_effort low, high и max, регулирующие объём рассуждений перед ответом. К сильным сторонам относятся улучшенные агентные возможности, высокая результативность в задачах программирования, автоматизации и работы с инструментами, а также поддержка ускоренного speculative decoding через DSpark. Ограничения включают отсутствие Jinja-шаблона чата: для кодирования сообщений и разбора ответов требуется использовать предоставленные Python-скрипты из папки encoding. Для развёртывания необходима специализированная конфигурация инференса и совместимое оборудование; в README приведён пример запуска на узле с 4 GPU GB300. Модель распространяется по лицензии MIT.

GLM-5.1-FP8 — языковая модель для генерации текста, разработанная командой zai-org (Z.ai). Это флагманская модель следующего поколения, ориентированная прежде всего на агентную разработку программного обеспечения и выполнение сложных инженерных задач с использованием инструментов. Модель предназначена для написания и модификации кода, генерации репозиториев, работы в терминале, поиска информации и длительных многошаговых сессий. По данным README, GLM-5.1 лучше справляется с неоднозначными задачами, умеет декомпозировать проблему, проводить эксперименты, анализировать результаты, выявлять блокеры и пересматривать стратегию в ходе сотен итераций и тысяч вызовов инструментов. Среди заявленных результатов — 58,4% на SWE-Bench Pro, 42,7% на NL2Repo, 63,5% на Terminal-Bench 2.0 и лидирующие показатели на CyberGym и BrowseComp. Модель доступна в FP8-квантизованном варианте и интегрируется с Transformers. В карточке указаны английский и китайский языки, однако сведения о точной архитектуре, числе параметров, размере контекста, поддерживаемых модальностях и системных требованиях отсутствуют. Основные сильные стороны — программирование, агентное взаимодействие с инструментами, длительное планирование и итеративная оптимизация. Ограничения связаны с отсутствием подробных технических характеристик и тем, что приведённые результаты зависят от конкретных бенчмарков, конфигураций и способов использования инструментов. Лицензия — MIT.

cyankiwi/Laguna-S-2.1-AWQ-INT4 — квантизированная версия Laguna S 2.1 от poolside, подготовленная cyankiwi в формате AWQ INT4. Это текстовая модель text-to-text для агентного программирования, работы с инструментами и долгих многошаговых задач. Модель поддерживает интерleaved reasoning между вызовами инструментов и рассчитана на использование в vLLM, SGLang, Transformers, TRT-LLM и llama.cpp. Базовая модель содержит 118 млрд параметров, из которых около 8 млрд активируются на каждом токене, и использует Mixture-of-Experts с 256 маршрутизируемыми экспертами и одним общим экспертом. Архитектура включает 48 слоёв, grouped-query attention, 12 слоёв глобального внимания и 36 слоёв sliding-window attention с окном 512 токенов. Контекстное окно составляет 1 048 576 токенов, словарь — 100 352 токена. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки; модальность — текстовая. Ключевые преимущества — большое контекстное окно, эффективная MoE-архитектура, поддержка рассуждений и сценариев с инструментами, а также снижение требований к хранению и инференсу благодаря INT4-квантизации; размер файла указан как 76,83 ГБ. Ограничения включают высокие требования к вычислительным ресурсам даже в квантизированном виде и возможные потери качества из-за квантизации по сравнению с исходной точностью. Модель распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и изменение для коммерческих и некоммерческих целей.

cyankiwi/Laguna-XS-2.1-AWQ-INT4 — это INT4-квантизированная версия модели Laguna XS 2.1, разработанной poolside и подготовленной cyankiwi с использованием метода AWQ. Модель предназначена для генерации текста, прежде всего для агентного программирования, работы с терминалом и длительных многошаговых задач на локальном компьютере. В основе лежит Mixture-of-Experts с 33 млрд параметров, из которых 3 млрд активируются для каждого токена. Архитектура включает 40 слоёв, 256 экспертов и одного общего эксперта, сочетает глобальное внимание со Sliding Window Attention в соотношении 1:3 и использует окно скользящего внимания размером 512 токенов. Контекстное окно составляет 262 144 токена, поддерживается текстовый ввод и вывод, а также интерleaved reasoning между вызовами инструментов с возможностью включать и отключать рассуждения для конкретного запроса. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Кэш ключей и значений хранится в формате FP8, что снижает расход памяти на токены; заявлена возможность запуска на Mac с 36 ГБ оперативной памяти. Сильными сторонами модели являются компактное число активных параметров, поддержка длинного контекста, локальный запуск и ориентация на программирование и агентные сценарии. В опубликованных результатах она показала 70,9% на SWE-bench Verified, 63,1% на SWE-bench Multilingual, 47,6% на SWE-bench Pro и 37,5% на Terminal-Bench 2.0. Показатели относятся к Laguna XS 2.1 в целом и не обязательно непосредственно к данной INT4-квантизации; квантизация также может влиять на качество и точность. Модель распространяется по лицензии OpenMDW-1.1, разрешающей использование и модификацию модели и связанных материалов в коммерческих и некоммерческих целях.

Mellum2 Instruct — диалоговая языковая модель, разработанная JetBrains для прямых ответов без явного пошагового рассуждения. Она подходит для интерактивного чата, выполнения инструкций, помощи с кодом и использования инструментов. Модель построена на архитектуре Mixture-of-Experts: 64 эксперта, из которых для каждого токена активируются 8. Используются слои со скользящим окном и полным вниманием; контекст составляет 131 072 токена. По карточке модель получена из JetBrains/Mellum2-12B-A2.5B-Base с помощью дообучения на инструкциях и последующего обучения с подкреплением на задачах математики, программирования, использования инструментов, следования инструкциям, рассуждений и знаний. Указанный в метаданных размер — 1,9 млрд параметров; веса представлены в safetensors, библиотека — Transformers. Модель принимает текст и предназначена для генерации текстовых ответов. Карточка сообщает об английском языке. Для сложной отладки, планирования и многошаговых агентных сценариев разработчик рекомендует вариант Thinking. Лицензия — Apache-2.0.

Nex-N2-mini — открытая агентная языковая модель компании Nex-AGI, дообученная на базе Qwen3.5-35B-A3B-Base. Она предназначена для разработки программного обеспечения, вызова инструментов, выполнения задач в терминале и исследований с поиском, включая длительные рабочие процессы с обратной связью от среды. Модель объединяет планирование, реализацию, проверку и отладку; заявлены адаптивная глубина рассуждений и согласованный подход к разным агентным задачам. Модель доступна в формате safetensors, работает с библиотекой Transformers и поддерживает диалог. В README описана поддержка function calling и явных трасс рассуждений; для локального развёртывания Nex-AGI рекомендует собственную сборку sglang. Для Nex-N2-mini приведён пример запуска на сервере с двумя H100. Лицензия — Apache-2.0. README заявляет результаты на агентных и программных бенчмарках, но часть таблицы опущена, а подробные показатели Nex-N2-mini в доступном тексте ограничены. Модель ориентирована на сложные агентные сценарии, поэтому её практическая эффективность зависит от окружения, инструментов и вычислительных ресурсов.

North Mini Code 1.0 — открытая по весам исследовательская модель, разработанная Cohere и Cohere Labs. Она предназначена для генерации кода, агентной разработки программного обеспечения и выполнения задач через терминал, включая работу с инструментами и решение сложных задач программирования. Модель принимает только текст и генерирует текст. Это decoder-only Transformer со sparse Mixture-of-Experts: всего 30 млрд параметров, из которых 3 млрд активируются для каждого токена. Архитектура использует 128 экспертов, 8 из них выбираются на токен, активацию SwiGLU, а также чередование sliding-window attention с RoPE и глобального attention без позиционных embedding в соотношении 3:1. Перед sparse-слоями используется один dense-слой. Модель дообучалась в два этапа с помощью supervised fine-tuning и reinforcement learning with verifiable rewards, ориентированных на агентное программирование. Контекст составляет до 256K токенов, максимальная длина вывода — до 64K токенов. Сильные стороны модели — специализация на коде, агентных сценариях разработки и терминальных задачах, большой контекст и сравнительно небольшое число активных параметров на токен. Ограничения включают текстовую модальность и исследовательский статус; README не приводит конкретные результаты бенчмарков и не описывает поддерживаемые естественные языки. FP8-чекпойнт предназначен для запуска с vLLM и несовместим с Transformers из-за используемого алгоритма квантования; для Transformers рекомендуется BF16-версия. Модель распространяется по лицензии Apache 2.0.

bartowski/openbuddy-qwen2.5coder-32b-v24.1q-200k-GGUF — это набор GGUF-квантизаций модели OpenBuddy/openbuddy-qwen2.5coder-32b-v24.1q-200k, подготовленный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и кода, включая локальный запуск через llama.cpp и LM Studio. Доступен специальный формат промптов с ролями system, user и assistant. Модель содержит 32 млрд параметров, поддерживает контекст до 200 тысяч токенов и относится к семейству Qwen2.5-Coder. В README указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Это текстовая модель без заявленной поддержки изображений или других мультимодальных входов. Доступны варианты от F16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3; они позволяют выбирать баланс между качеством, размером файлов и требованиями к памяти. Наиболее качественными названы Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S и варианты Q4_K. Сильные стороны модели — большой контекст, специализация исходной модели на коде, широкий выбор квантизаций и возможность локального запуска. Ограничения включают значительные требования к памяти для 32-миллиардной модели, а более сильная квантизация может снижать качество. Некоторые варианты оптимизированы для ARM и требуют определённых инструкций процессора; варианты Q4_0_8_8, Q4_0_4_8 и Q4_0_4_4 не рекомендуется использовать на Mac. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3-Coder-30B-A3B-GGUF — это GGUF-квантизованная версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и самостоятельно преобразованной и откалиброванной командой Atomic Chat. Модель предназначена для генерации текста и прежде всего ориентирована на программирование, агентное написание кода, использование инструментов и сценарии агентского браузинга. Она может работать полностью локально и офлайн через llama.cpp, Ollama, LM Studio, Jan и другие совместимые среды. Модель использует текстовую модальность и архитектуру Mixture-of-Experts с 30,5 млрд параметров, 48 слоями и 128 экспертами, из которых для каждого токена маршрутизируются 8. Архитектура указана как Qwen3MoeForCausalLM; используется 32 attention heads и 4 KV heads. Максимальная длина контекста составляет 262 144 токена, размер словаря — 151 936. Репозиторий содержит варианты квантования от Q2_K до Q8_0, включая кванты с importance matrix; Q4_K_M обозначен как рекомендуемый баланс размера, скорости и качества, а Q8_0 — как вариант с практически эталонным качеством. Сильными сторонами являются специализация на задачах программирования, поддержка агентских сценариев и снижение требований к памяти благодаря квантованию с importance matrix. К ограничениям относятся неизбежная потеря качества на низких уровнях квантования, значительные требования к оперативной или видеопамяти даже для компактных вариантов и необходимость включать параметр --jinja для корректного применения шаблона чата Qwen3 Coder. Модель работает только с текстом; сведения о поддерживаемых естественных языках в README не указаны. Исходная модель и производные GGUF-файлы распространяются по лицензии Apache 2.0.

Qwen3-Coder-Next-AWQ — квантизированная версия модели Qwen3-Coder-Next, разработанная Qwen и подготовленная пользователем qtum. Модель предназначена прежде всего для генерации и обработки программного кода, а также для текстовой генерации на английском и китайском языках. Она подходит для локального и серверного развертывания с использованием vLLM или SGLang. В основе лежит разреженная MoE-архитектура qwen3_next: 80 млрд параметров всего, около 3 млрд активных параметров, 48 слоёв, 512 экспертов и маршрутизация top-10. Контекстное окно составляет 256K токенов. Используется AWQ-квантизация W4A16 с размером группы 128 в формате compressed-tensors и safetensors. Основная часть весов хранится в 4-битном формате, а маршрутизаторы MoE и lm_head сохранены в bf16 для снижения потери качества. Размер модели составляет около 40 GiB, что позволяет размещать её на одной видеокарте объёмом 48 ГБ; для 24 ГБ может потребоваться распределение, выгрузка или параллелизм. Главное преимущество модели — существенное уменьшение требований к дисковому пространству и памяти по сравнению с bf16- и FP8-версиями при сохранении исходной архитектуры и маршрутизации. Ограничение — заметное ухудшение показателя perplexity относительно bf16: 12,53 против 7,74 на указанном тесте wikitext-2-raw. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели; поведение и лицензионные обязательства определяются базовой моделью Qwen3-Coder-Next.

Qwen3-Coder-Next — открытая языковая модель с открытыми весами, разработанная командой Qwen. Данная GGUF-версия предназначена для локального запуска, прежде всего в качестве основы для coding agents и разработки в IDE или CLI-средах. Модель ориентирована на генерацию и анализ кода, длительное рассуждение, работу с инструментами, выполнение сложных многошаговых задач и восстановление после ошибок выполнения. Это causal language model, прошедшая этапы предварительного обучения и постобучения. Общий размер составляет 80 млрд параметров, из которых при генерации активируется около 3 млрд; без учёта embedding — 79 млрд. Архитектура использует Mixture of Experts с 512 экспертами и 10 активируемыми экспертами, а также гибридные блоки Gated DeltaNet и Gated Attention; модель содержит 48 слоёв. Нативная длина контекста — 262 144 токена. Поддерживается только режим без скрытого рассуждения: модель не формирует блоки <think></think>. README не указывает поддерживаемые языки. К сильным сторонам относятся высокая эффективность по числу активируемых параметров, большой контекст, развитые возможности tool calling и пригодность для интеграции с различными средами разработки, включая Claude Code, Qwen Code, Qoder, Kilo, Trae и Cline. Ограничения включают специализированную ориентацию на программирование, работу только в non-thinking mode и необходимость значительных вычислительных ресурсов для размещения полной модели, несмотря на малое число активируемых параметров. Модель распространяется по лицензии Apache-2.0.

EnlistedGhost/Devstral-Small-2507-Vision-GGUF — квантизированная версия модели Devstral Small 1.1, преобразованная в формат GGUF пользователем EnlistedGhost с помощью llama.cpp. Модель создана на основе Devstral-Small-2507-Vision; исходная Devstral разработана в сотрудничестве Mistral AI и All Hands AI и предназначена для агентных задач программной инженерии. Модель ориентирована на работу с кодом, исследование кодовых баз, редактирование нескольких файлов, DevOps-сценарии и программных агентов. Формат совместим с Ollama и llama.cpp, что упрощает локальный запуск. Доступны квантизации Q5_K, Q6_K и Q8_0, а также файлы vision projector в вариантах Q8_0, F16 и F32. Указаны поддержка изображений и текста, контекст до 128 тыс. токенов, 24 млрд параметров и языки английский, русский, украинский, немецкий, испанский, польский, шведский, арабский, турецкий, белорусский и бенгальский. Сильные стороны модели — специализация на программной инженерии, большой контекст, поддержка инструментов через формат function calling Mistral и возможность локального развертывания. Исходная Devstral Small 1.1 показывает результат 53,6% на SWE-Bench Verified, однако README не уточняет, сохраняется ли этот показатель у данной GGUF-версии и каковы характеристики её vision-возможностей. К ограничениям относятся требования к памяти, зависящие от выбранной квантизации, а также неполная информация о размерах файлов и готовых командах запуска. Лицензия Apache 2.0 допускает коммерческое и некоммерческое использование и модификацию.

KAT-Coder V2.5 Dev 35B-A3B MTP Abliterated GGUF — это квантизированная и полноточная GGUF-сборка модели для генерации текста и программного кода. Сборку подготовил jakeroxs на основе KAT-Coder V2.5 Dev от KwaiPilot и аблитерированной версии Philadelphia Class, дополнив её совместимым слоем Multi-Token Prediction (MTP) от Myric для спекулятивного декодирования в llama.cpp. Модель предназначена прежде всего для задач программирования, генерации и обработки кода, а также для разговорных сценариев. Указаны английский и китайский языки. Архитектура — Qwen3.5 MoE (qwen35moe): около 35,51 млрд параметров, 256 экспертов, из которых на каждый токен используются 8, контекст до 262 144 токенов. Доступны вариант Q4_K_M размером около 20,2 GiB и BF16 GGUF. Слой MTP является опциональным и позволяет использовать native draft-mtp в llama.cpp; на RTX 5090 в описанной конфигурации он повысил скорость генерации примерно на 25,7%, однако на видеокартах с недостаточным объёмом памяти может привести к дополнительной выгрузке слоёв и снижению производительности. Для работы требуется свежая сборка llama.cpp с поддержкой Qwen3.5 MoE MTP. Основные ограничения связаны с высокими требованиями к памяти и зависимостью производительности от аппаратной конфигурации; приведённые результаты относятся к конкретным системам и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.

Moderato-V1-Pro — открытая по весам языковая модель NitrAI Research Team для генерации текста, ориентированная прежде всего на программирование, системную инженерию и агентные сценарии. Это причинная модель со sparse Mixture-of-Experts архитектурой: шесть специализированных экспертных путей объединены с общими блоками внимания, а механизм Reflexive Role Routing, согласно карточке, может переключать экспертов по ходу генерации. В репозитории указаны 113,3 млрд параметров и 32,7 млрд активных параметров на токен. Модель предназначена для написания и исправления кода, инженерных задач, математических рассуждений, планирования и работы с инструментами. Карточка заявляет поддержку многоязычного текста и кода, а также контекст 131 072 токена с возможностью расширения до 1 000 000 токенов через YaRN. Метаданные подтверждают текстовую генерацию, чат, кодовые возможности и интерфейс вызова инструментов; доступный формат весов — safetensors. Модель распространяется по лицензии Apache-2.0. Заявления README о качестве на бенчмарках и преимуществах механизма маршрутизации являются данными разработчика и не подтверждены независимой проверкой; фактическая производительность и совместимость с инструментами могут зависеть от инфраструктуры запуска.

Ornith-1.5-397B-FP8 — крупная языковая модель от команды ornith-ai, флагман семейства Ornith-1.5. Это 397-миллиардная mixture-of-experts-модель для генерации текста, прежде всего для программирования, работы с терминалом и решения задач разработки программного обеспечения. Модель развивает Ornith-1.0, созданную на основе Qwen3.5 и Gemma4 с дополнительным дообучением, промежуточным обучением и постобучением. Ключевая особенность Ornith-1.5 — цикл самоулучшения: модель совместно оптимизирует генерацию учебных задач, построение scaffolds и rollouts решений с применением reinforcement learning. Такой подход предназначен для автоматического обнаружения эффективных стратегий решения задач и повышения качества без опоры только на фиксированный набор вручную подготовленных заданий и harness-ов. В README указана версия FP8; сведения о контекстном окне, поддерживаемых языках, мультимодальности и точной внутренней архитектуре, кроме MoE, не приведены. Сильной стороной модели являются результаты в задачах программирования: 86,1 на Terminal-Bench 2.1 (Terminus-2), 85,2 на Terminal-Bench 2.1 (Claude Code) и 86 на SWE-bench Verified. Ограничениями можно считать очень крупный размер и связанные с ним требования к вычислительным ресурсам, а также отсутствие в предоставленной карточке подробностей о производительности в других сценариях, системных требованиях и ограничениях применения. Модель распространяется по лицензии MIT.

Ornith-1.5-397B — крупная языковая модель от команды Ornith AI, представленная как флагман семейства Ornith-1.5. Модель развивает Ornith-1.0, созданную на базе Qwen3.5 и Gemma4 с дополнительным продолжением предобучения, промежуточным обучением и постобучением. В Ornith-1.5 применяется цикл самоулучшения с совместной оптимизацией генерации задач, построения scaffolding и последовательностей решений с использованием reinforcement learning. Модель предназначена прежде всего для сложных задач программирования и работы с инструментами, включая разработку, исправление ошибок и выполнение задач в терминале. Ornith-1.5-397B имеет архитектуру mixture-of-experts с 397 миллиардами параметров. В карточке указано текстовое поколение, однако сведения о поддерживаемых языках, длине контекста и других модальностях не приведены. Согласно заявленным результатам, модель набрала 86,1 на Terminal-Bench 2.1 с Terminus-2, 85,2 с Claude Code, 86 на SWE-bench Verified и 56 на DeepSWE. Это указывает на сильные стороны в агентном программировании и решении инженерных задач; при этом приведённые показатели зависят от конкретных инструментов и протоколов оценки и не гарантируют аналогичные результаты в других сценариях. Модель распространяется по лицензии MIT.

bartowski/Qwen2.5-Coder-32B-GGUF — это набор квантизованных версий модели Qwen2.5-Coder-32B, разработанной командой Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена прежде всего для генерации и обработки программного кода, включая локальный запуск через llama.cpp и LM Studio. Модель содержит около 32 млрд параметров и распространяется в формате GGUF с различными уровнями квантизации от Q8_0 до более компактных вариантов Q2_K_L. Доступны версии размером примерно от 13 до 35 ГБ; варианты Q5 и Q6 обеспечивают очень высокое качество, а Q4_K_M предлагается как сбалансированный вариант для большинства сценариев. README указывает английский язык, текстовую модальность и формат prompt-шаблона для диалоговой генерации, но размер контекста и полный набор поддерживаемых языков не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать компромисс между качеством, размером файла и требованиями к памяти. Некоторые варианты оптимизированы для ARM-инференса, однако требуют соответствующих аппаратных инструкций; отдельные ARM-варианты не рекомендуются для Mac и Windows. Низкобитные версии экономят память, но обладают более низким качеством, а Q4_0 отмечен как устаревший формат. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-AWQ — это квантованная версия модели Qwen3.8-27B TURBO Fable Cold Fusion. Исходную модель и слияние весов GAIN разработал DavidAU, а квантование и упаковку выполнила Solstice-AI. Модель предназначена для программирования, агентной разработки, отладки репозиториев, решения задач на рассуждение и управления компьютером или мобильными устройствами. По данным README, заявлены поддержка английского и китайского языков, мультимодальный ввод изображений и видео, а также контекст до 262 144 токенов. Архитектура описывается как гибридная: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — Grouped-Query Attention. Модель содержит Multi-Token Prediction для спекулятивного декодирования и поставляется с визуальным проектором mmproj-BF16.gguf. Формат — AWQ INT4 (W4A16), поэтому модель рассчитана на экономичное инференс-развёртывание с использованием Anvil, vLLM или SGLang, но квантование может снижать точность по сравнению с полноразмерными весами и требует совместимого оборудования и программного стека. README приводит высокие результаты на SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и ARC, однако условия и независимая воспроизводимость этих оценок требуют проверки. Указана лицензия Apache 2.0; заявленная модификация alignment-механизмов означает, что модель может иметь меньше встроенных отказов и требует осторожного применения.

bartowski/DeepSeek-Coder-V2-Instruct-0724-GGUF — набор GGUF-квантизаций модели DeepSeek-Coder-V2-Instruct-0724, разработанной deepseek-ai и квантизированной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель относится к классу генеративных text-generation-моделей и предназначена прежде всего для работы с программным кодом и инструкциями, включая локальный запуск через llama.cpp или LM Studio. Доступны варианты квантизации от Q8_0 до IQ1_M, размером примерно от 52,68 до 250,62 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; в README рекомендуются Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для отдельных вариантов эмбеддинги и выходные веса сохраняются в формате Q8_0, что может влиять на качество. Указаны специальный формат prompt и необходимость учитывать его при интеграции. В README не приведены точные сведения об архитектуре исходной модели, числе параметров, максимальном контексте, поддерживаемых языках и мультимодальности. Модель распространяется по лицензии deepseek-license; подробные условия находятся в файле LICENSE.

DeepSeek-Coder-V2-Lite-Base-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-Coder-V2-Lite-Base, разработанной командой DeepSeek и преобразованной в GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp, релиз b3166, с использованием imatrix и специализированного набора данных. Модель относится к классу text-generation и предназначена прежде всего для генерации и обработки программного кода, а также других сценариев локальной генерации текста. Доступны варианты квантизации от Q8_0 и Q8_0_L до Q2_K и IQ2_S, размером примерно от 6,00 до 17,09 ГБ. Старшие варианты обеспечивают очень высокое качество, тогда как младшие требуют меньше оперативной памяти, но заметно уступают по качеству. Для ряда вариантов указана поддержка контекстного формата с системным сообщением, запросом пользователя и ответом ассистента. Архитектура, число параметров, поддерживаемые языки программирования, максимальная длина контекста и дополнительные модальности в README не указаны, поэтому модель следует рассматривать как текстовую. Основные преимущества — широкий выбор уровней сжатия, возможность запуска через llama.cpp и хорошее сохранение качества у вариантов Q5–Q8; варианты Q6_K и Q5_K рекомендованы автором как сбалансированные. Ограничения связаны с потерей качества при низких уровнях квантизации и с тем, что некоторые варианты имеют экспериментальный статус. Модель распространяется по лицензии DeepSeek License; точные условия следует уточнять в файле LICENSE исходного репозитория.

openbmb/MiniCPM5-1B-MLX — компактная языковая модель из серии MiniCPM5, разработанная OpenBMB. Это causal language model на архитектуре LlamaForCausalLM, адаптированная в формате MLX с 4-битным представлением для локального запуска на устройствах Apple Silicon и в условиях ограниченных ресурсов. Модель предназначена для локальных ассистентов, coding agents, генерации кода, сценариев tool use, агентских рабочих процессов и задач, требующих рассуждений. Она поддерживает английский и китайский языки, контекст до 131 072 токенов и два режима работы в одном чекпойнте: быстрый режим без рассуждений и режим с пошаговым рассуждением через параметр enable_thinking. Заявлены сильные результаты среди открытых моделей класса около 1B параметров, особенно в использовании инструментов, генерации кода и сложных рассуждениях. Модель содержит 1 080 632 832 параметра, 24 слоя, 16 attention heads для Q и 2 KV-heads в конфигурации GQA. К преимуществам относятся небольшой размер, поддержка длинного контекста и пригодность для on-device и edge-сценариев. Ограничениями являются компактный масштаб модели по сравнению с крупными LLM и ориентация MLX-версии прежде всего на устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0.

Карточка модели AarthShah/Nex-N2-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2-mini, поэтому описание составлено по ней. Nex-N2-mini — открытая агентная языковая модель компании Nex-AGI, дообученная на базе Qwen3.5-35B-A3B-Base. Она предназначена для разработки программного обеспечения, вызова инструментов, выполнения задач в терминале и исследований с поиском, включая длительные рабочие процессы с обратной связью от среды. Модель объединяет планирование, реализацию, проверку и отладку; заявлены адаптивная глубина рассуждений и согласованный подход к разным агентным задачам. Модель доступна в формате safetensors, работает с библиотекой Transformers и поддерживает диалог. В README описана поддержка function calling и явных трасс рассуждений; для локального развёртывания Nex-AGI рекомендует собственную сборку sglang. Для Nex-N2-mini приведён пример запуска на сервере с двумя H100. Лицензия — Apache-2.0. README заявляет результаты на агентных и программных бенчмарках, но часть таблицы опущена, а подробные показатели Nex-N2-mini в доступном тексте ограничены. Модель ориентирована на сложные агентные сценарии, поэтому её практическая эффективность зависит от окружения, инструментов и вычислительных ресурсов.

Ornith-1.5-35B-A3B — языковая модель для генерации текста, разработанная командой Ornith AI. Она ориентирована прежде всего на программирование, работу с терминалом и агентные сценарии, включая автономное решение задач разработки и взаимодействие с инструментами. Модель использует архитектуру mixture-of-experts: при общем размере около 35 млрд параметров на каждый токен активируется примерно 3 млрд. Ornith-1.5 развивает Ornith-1.0, применяя цикл самоулучшения с совместной оптимизацией генерации задач, построения scaffold и rollout-решений посредством reinforcement learning. В README не указаны поддерживаемые языки, модальности и размер контекста; по заявленным тестам модель особенно сильна в агентном программировании и задачах SWE-bench и Terminal-Bench. К сильным сторонам относятся высокая эффективность вычислений за счёт разреженной активации и заявленное превосходство над сопоставимыми моделями в кодинговых и агентных бенчмарках. Ограничения, включая качество вне этих сценариев, безопасность и практические требования к запуску, в карточке подробно не описаны. Модель распространяется по лицензии MIT.

Qwen2.5-Coder-32B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной модели Qwen2.5-Coder-32B-Instruct. Исходную модель разработала команда Qwen, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена прежде всего для генерации, анализа и обработки программного кода, а также для диалогового взаимодействия с применением формата системных и пользовательских сообщений. Доступны варианты с разными уровнями квантизации — от Q8_0 до Q3 и IQ-серий — размером примерно от 14,8 до 34,8 ГБ. Более качественные варианты требуют больше памяти, а компактные позволяют экономить ресурсы с некоторым снижением качества. Формат GGUF поддерживает локальный запуск через совместимые инструменты, включая llama.cpp и LM Studio. В README явно указан английский язык; сведения о других языках, архитектуре, размере контекста и мультимодальности отсутствуют. Некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки, поэтому совместимость следует проверять отдельно. Модель распространяется по лицензии Apache-2.0.

webhie/Qwen3.6-27B-int4-AutoRound-Code — квантованная версия мультимодальной модели Qwen/Qwen3.6-27B, созданная с использованием Intel AutoRound. Модель представляет собой плотную VLM с 27 млрд параметров и предназначена прежде всего для генерации и анализа кода, программирования, выполнения инструкций и использования в качестве AI-ассистента разработчика. Также поддерживает работу с изображениями через энкодер MoonViT. Применяется квантование INT4 W4A16 с группами по 128 весов и симметричным округлением; активации сохраняются в FP16. Калибровка выполнена на нормализованной выборке из nvidia/OpenCodeInstruct — датасета проверенных выполнением задач по программированию. Это должно улучшать сохранение качества при генерации кода, следовании инструкциям, структурированном выводе и рассуждениях по сравнению с универсальной калибровкой. Размер модели составляет около 18 ГБ вместо примерно 54 ГБ в BF16. В модели сохранена BF16-голова Multi-Token Prediction, благодаря чему в vLLM поддерживается нативное speculative decoding с потенциальным ускорением генерации. Заявлена поддержка длинного контекста до 200704 токенов при соответствующей конфигурации vLLM. Ограничения включают возможную потерю качества из-за INT4-квантования, зависимость расширенных возможностей от совместимых версий vLLM и аппаратного окружения, а также отсутствие в README явного перечня поддерживаемых языков. Лицензия — Apache-2.0.

Qwen3-Coder-480B-A35B-Instruct-FP8 — открытая инструкционная causal language model для генерации и анализа кода, разработанная командой Qwen. Модель ориентирована на агентское программирование, вызов инструментов, работу с репозиториями, браузерными сценариями и другими задачами, связанными с разработкой ПО. Она поддерживает специальный формат function calling и совместима с платформами и инструментами, включая Qwen Code и CLINE. Модель имеет MoE-архитектуру: 480 млрд параметров всего, из которых 35 млрд активируются при обработке запроса. Она содержит 62 слоя, 160 экспертов, из которых используются 8, и применяет GQA с 96 attention heads для Q и 8 для KV. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов с использованием YaRN. Версия FP8 использует мелкозернистое квантование FP8 с размером блока 128. Модель работает только в non-thinking mode и не генерирует блоки <think></think>. Сильными сторонами являются заявленная производительность, сопоставимая с Claude Sonnet на ряде задач агентского программирования, браузерного взаимодействия и базовых задач кодинга, а также поддержка длинного контекста и инструментов. Ограничения включают очень высокие требования к вычислительным ресурсам; при нехватке памяти рекомендуется уменьшать длину контекста. Для распределённого запуска в Transformers указаны известные проблемы с fine-grained FP8 и необходимость иногда задавать CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

Swift 1.5 Qwen3.8-Flash-Next — модель UkisAI, дообученная на базе Qwen/Qwen3.8-Flash-Next для более эффективного рассуждения и агентной работы. Карточка указывает на поддержку диалога и изображений; модель классифицирована в Hugging Face как image-text-to-text. В обучении применялись методы постобучения, включая RL и OPD, с целью сократить избыточные цепочки рассуждений и сохранить точность. Модель предназначена для программирования, терминальных задач, разработки ПО и многошаговой агентной работы. В тестах авторов на GPQA-Diamond при режиме xhigh она использовала на 63,4% меньше медианных токенов рассуждения, уступая базовой модели 0,20 процентного пункта; результаты зависят от уровня рассуждения и бенчмарка. Контекст при описанном режиме обслуживания — 262 144 токена; расширение до миллиона токенов требует настройки YaRN. BF16-версия занимает около 360 ГБ и рассчитана на многопроцессорный GPU-узел; доступны также варианты в других форматах и квантизациях. Веса представлены в safetensors, библиотека — Transformers; README также описывает запуск через vLLM, SGLang и llama.cpp-совместимые среды для GGUF-варианта. Лицензия указана как other, а API UkisAI предлагается бесплатно для исследовательских целей; точные условия лицензии следует проверять в репозитории.

DeepSeek Coder 7B Instruct v1.5 GGUF — это набор GGUF-квантованных версий модели DeepSeek Coder 7B Instruct v1.5, разработанной DeepSeek и преобразованной для локального запуска в репозитории Edmon02. Модель предназначена прежде всего для генерации и редактирования кода, работы локальных ассистентов в IDE и CLI, автономных агентов и офлайн-разработки без API-ключей. Для запуска подходят llama.cpp, LM Studio, KoboldCPP, llamafile и другие GGUF-совместимые среды. Модель относится к семейству архитектур LLaMA, имеет размер 7B параметров и поддерживает контекст до 4096 токенов. Это текстовая instruct-модель с шаблоном общения через секции «### Instruction» и «### Response». В репозитории представлены 14 вариантов квантования IQ и K, включая Q2_K, Q4_K_M, Q6_K и Q8_0, с размером примерно от 2,5 до 7,35 ГБ. Q4_K_M позиционируется как оптимальный баланс качества и размера, а Q8_0 — как вариант с наивысшим качеством среди доступных. Сильными сторонами являются возможность автономного запуска, широкий выбор квантований под разные объёмы VRAM и специализация на задачах программирования. Ограничения включают контекст 4096 токенов, возможное снижение точности синтаксиса у низкобитных квантований на длинном коде, небольшие различия между версиями квантования и отсутствие гарантированного соответствия облачным API DeepSeek. Модель не предназначена для тонкой настройки непосредственно в формате GGUF и может отказываться от запросов, не связанных с кодом. Лицензия указана как other с названием deepseek; подробные условия приведены в лицензии DeepSeek.