II.7DevOps, облако и эксплуатация IT-систем

Myric/KAT-Coder-V2.5-Dev-MTP-APEX-GGUF — это квантованная GGUF-сборка модели Kwaipilot/KAT-Coder-V2.5-Dev, разработанной на базе Qwen3.6-35B-A3B. Автор данной сборки в README не указан. Модель предназначена прежде всего для генерации программного кода и агентных сценариев разработки, включая работу с инструментами. В README для исходной модели указана оценка 69,40 на SWE-bench Verified против 64,40 у базовой Qwen3.6-35B-A3B. Архитектура представляет собой MoE-модель с 40 слоями, 256 маршрутизируемыми и одним общим экспертом, а также гибридной архитектурой GatedDeltaNet с периодическими слоями полноценного внимания. Сборка дополнена трансплантированной MTP-головой примерно на 850 млн параметров, взятой из Qwen3.6-35B-A3B, что позволяет использовать speculative decoding в llama.cpp. Рекомендуемая глубина чернового предсказания — n-max 3; в приведённом тесте ускорение достигало 2,03 раза на агентном наборе задач, а в зависимости от настроек и контекста — до 1,44 раза. Используются файлы размером около 19,24 GiB для рекомендуемой версии и около 11,91 GiB для более компактной динамической квантовки. Сильные стороны модели — специализация на программировании, поддержка агентных сценариев, MoE-архитектура и ускорение генерации посредством MTP без изменения проверяемой моделью корректности результата. Ограничения связаны с тем, что MTP-голова перенесена без дополнительного обучения на скрытых представлениях KAT-Coder, поэтому эффективность принятия черновых токенов снижается при чрезмерном увеличении глубины; при n-max 8 производительность может быть ниже, чем без speculative decoding. Точное число параметров, языки программирования и максимальный контекст в README не указаны; для тестов использовался контекст 32768 токенов. Распространение осуществляется по лицензии Apache-2.0. Для запуска требуется совместимое ПО, например llama.cpp, и достаточный объём памяти для выбранного GGUF-файла.

Карточка модели rbinrs/Laguna-XS-2.1 на Hugging Face совпадает с карточкой poolside/Laguna-XS-2.1, поэтому описание составлено по ней. Laguna XS 2.1 — текстовая модель семейства Laguna от Poolside, предназначенная прежде всего для агентного программирования и длительных задач разработки ПО. Это архитектура Mixture-of-Experts с 33 млрд параметров в общей сложности и примерно 3 млрд активируемых на токен; в репозитории Hugging Face указано 2,6 млрд параметров. Модель состоит из 40 слоёв, использует смесь скользящего и глобального внимания, поддерживает контекст до 262 144 токенов и интерфейс вызова инструментов. Модель подходит для работы с кодом, выполнения терминальных задач и взаимодействия с инструментами в агентных сценариях. README сообщает об улучшении результатов относительно Laguna XS.2 на SWE-bench Multilingual и терминальных задачах, однако бенчмарки не гарантируют аналогичного качества на конкретных проектах. Модель принимает и выдаёт текст; карточка не указывает поддерживаемые естественные языки. Веса доступны под лицензией OpenMDW-1.1, которую разработчик описывает как разрешающую коммерческое и некоммерческое использование и модификацию. Для применения следует учитывать условия лицензии и политики допустимого использования Poolside. Для локального запуска заявлена поддержка Transformers, vLLM, SGLang, Llama.cpp, Ollama и других перечисленных в карточке средств.

Narada — дообученная методом supervised fine-tuning модель на базе Meta Llama 3.2 3B Instruct, созданная deepsource для классификации потенциальных секретов и учётных данных в фрагментах кода. Архитектура — плотная трансформерная Llama с 3,2 млрд параметров; заявленная длина контекста — 131 072 токена. Модель принимает фрагмент кода с номерами строк и номер строки, где обнаружена подозрительная строка, и возвращает метку «true positive» или «false positive». В структурированном ответе также приводятся значение секрета и краткое объяснение решения. Модель предназначена для проверки находок сканеров секретов: она учитывает контекст кода, тип секрета, формат и энтропию строки, чтобы отличать реальные ключи API, пароли и криптографические данные от заглушек и тестовых значений. Её можно встраивать в конвейеры анализа кода для сокращения числа ложных срабатываний. Карточка указывает поддержку английского языка; метаданные также отмечают возможности работы с кодом. Разработчик предупреждает, что это ранняя версия и возможны ошибки, особенно для обфусцированных или разбитых на несколько строк секретов, новых типов секретов и кода на нишевых языках. Для надёжной работы требуется заданный формат входа с нумерацией строк и целевой строкой. Лицензия — MIT.

North Mini Code — открытая модель весов для генерации кода, агентной разработки программного обеспечения и выполнения задач в терминале, разработанная Cohere и Cohere Labs. Репозиторий unsloth/North-Mini-Code-1.0 содержит производную версию базовой модели CohereLabs/North-Mini-Code-1.0; метаданные указывают 1,2 млрд параметров, тогда как README базовой модели описывает конфигурацию на 30 млрд параметров, из которых активны 3 млрд. Это расхождение в размере может отражать различия между репозиториями, поэтому размер самой версии Unsloth следует трактовать по метаданным. Модель построена на декодерном Transformer с разреженной архитектурой Mixture-of-Experts и предназначена для текстового ввода и генерации текста. Она поддерживает контекст до 500 тыс. токенов согласно метаданным; README базовой модели приводит 256 тыс. токенов контекста и до 64 тыс. токенов вывода. Модель обучалась для агентного программирования и поддерживает интерфейс вызова инструментов, включая сценарии работы с терминалом. Карточка базовой модели сообщает о двухэтапном дообучении SFT и RLVR. Модель подходит для генерации кода, решения задач разработки с использованием инструментов и выполнения терминальных заданий. Она распространяется по лицензии Apache 2.0. Для запуска README рекомендует актуальные исходные версии Transformers или vLLM; точные результаты могут зависеть от среды и настроек генерации.

Qwen2.5-Coder-32B-Instruct-abliterated-GGUF — это GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-32B-Instruct-abliterated, опубликованная пользователем bartowski и основанная на модели huihui-ai. Квантизация выполнена с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и прежде всего для задач программирования, работы с кодом и диалогового взаимодействия. В README указан английский язык; сведения о поддерживаемых языках, длине контекста и точной архитектуре не приведены. Доступны варианты от полноточного F16 размером 65,54 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 объёмом примерно от 17,7 до 34,8 ГБ. Варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые благодаря сочетанию качества и размера; Q4_K_M обозначен как вариант стандартного размера для большинства сценариев. Отдельные варианты Q4_0 оптимизированы для ARM и требуют соответствующей аппаратной поддержки, поэтому их совместимость с Mac и Windows ограничена. Модель может использоваться локально через llama.cpp и LM Studio при наличии значительных ресурсов оперативной или видеопамяти. Более сильные квантизации сохраняют высокое качество, но требуют больше памяти, тогда как компактные варианты экономичнее, однако могут заметно уступать по качеству. README не содержит независимых оценок производительности, сведений о мультимодальности, ограничениях безопасности или подробностей обучения. Указана лицензия Apache-2.0.

unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF — GGUF-версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель для генерации текста и кода, ориентированная на агентное программирование, использование браузера агентами и другие задачи разработки, включая работу с репозиториями большого размера. Модель поддерживает интеграции и специальные форматы вызова функций для инструментов вроде Qwen Code и CLINE. Архитектура основана на mixture-of-experts: всего 30,5 млрд параметров, из которых при обработке активируются около 3,3 млрд; предусмотрено 48 слоёв, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. Нативное окно контекста составляет 262 144 токена, а с использованием YaRN его можно расширить до 1 млн токенов. Модель работает только в режиме без рассуждений и не генерирует блоки <think></think>. К сильным сторонам относятся сочетание высокой заявленной производительности в задачах программирования с относительно небольшим числом активируемых параметров, а также поддержка контекста репозиторного масштаба. README не содержит подробных данных о языках, результатах бенчмарков, требованиях к оборудованию, конкретных параметрах GGUF-квантизации или ограничениях качества, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-Next.w4a16 — квантизированная версия языковой модели Qwen3-Coder-Next, разработанная Red Hat на базе модели Qwen/Qwen3-Coder-Next. Это авторегрессионная модель архитектуры Qwen3NextForCausalLM с текстовым вводом и текстовым выводом, предназначенная прежде всего для генерации и анализа кода, а также для развертывания в сценариях, поддерживающих вызов инструментов. Модель использует схему W4A16: веса линейных операторов в блоках Transformer представлены в формате INT4, а активации — FP16. Такая оптимизация сокращает число битов на параметр с 16 до 4 и приблизительно на 75% уменьшает требования к дисковому пространству и памяти GPU. README не содержит сведений о размере модели, поддерживаемых языках программирования и естественных языках, максимальной длине контекста или мультимодальных возможностях. Основное преимущество модели — существенное снижение требований к памяти при сохранении высокой эффективности на задачах программирования. В оценке SWE-Bench Lite она получила результат 48,67 против 49,33 у исходной Qwen3-Coder-Next, что соответствует восстановлению 98,6% исходного показателя. Ограничением является возможная небольшая потеря точности из-за квантизации, а также зависимость рекомендуемого развертывания от совместимой инфраструктуры, например vLLM и Tensor Parallel. Модель распространяется по лицензии Apache-2.0. Для квантизации использовалась библиотека llm-compressor и алгоритм GPTQ; в README приведён пример развертывания через vLLM с поддержкой автоматического выбора инструментов и парсера вызовов Qwen3 Coder.

Qwen3-Zero-Coder-Reasoning-V2-0.8B-NEO-EX-GGUF — компактная кодовая и рассуждающая модель, разработанная DavidAU на платформе Qwen3. Это GGUF-сборка, созданная на основе объединения двух моделей размером 0,6B; заявлены 42 слоя и 464 тензора. Модель предназначена для генерации текста и кода, использует режимы reasoning и chat и ориентирована прежде всего на английский язык. Модель подходит для написания фрагментов и черновиков кода, мозгового штурма, решения технических задач, многоэтапного программирования и общего problem solving. Она рассчитана на контекст до 40 тысяч токенов; рекомендуется использовать контекст от 8–16 тысяч токенов. Автор заявляет высокую скорость работы — свыше 150 токенов в секунду на подходящем оборудовании и более 50 токенов в секунду на CPU, однако фактическая производительность зависит от аппаратной конфигурации и выбранного кванта. К сильным сторонам относятся небольшие требования к ресурсам, высокая скорость, возможность пошагового рассуждения и улучшенная стабильность по сравнению с первой версией. Доступны варианты с разными уровнями квантизации и модификациями NEO Imatrix; для отдельных сценариев автор рекомендует сравнивать несколько квантов, поскольку более низкие варианты иногда дают более короткие рассуждения и неожиданные рабочие решения, а более высокие могут обеспечивать лучшие результаты на сложных задачах. Ограничения включают возможные повторы кода, чрезмерно длинные блоки рассуждений и необходимость точных подробных инструкций; результаты могут зависеть от настроек sampling и выбранного кванта. Для работы требуется шаблон Jinja или CHATML. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwopus3.6-27B-Coder-mlx-6Bit — это 6-битно квантованная версия Qwopus 3.6 27B Coder для Apple Silicon. Модель создана Solstice-AI на базе Qwen 3.6 27B и проекта Qwopus, разработанного Jackrong и сообществом open-weights; её дистилляционная основа связана с Claude Opus 4.6 и 4.7. Квантование выполнено в формате Apple MLX 6-Bit Affine с group_size 64, размер модели составляет около 21,85 ГБ. Модель предназначена прежде всего для агентного программирования: навигации по целым репозиториям, генерации и отладки кода, многофайлового рефакторинга, системной отладки, вызова Bash-инструментов и работы в средах Claude Code, Cursor, Aider и SWE-bench. Она поддерживает многошаговое взаимодействие, вызов инструментов и структурированные трассы рассуждений. Заявлены языки English и Chinese, текстовая генерация и нативное контекстное окно до 262 144 токенов. Ключевое преимущество модели — локальное выполнение с ускорением Metal через MLX и Anvil на компьютерах Apple Silicon с unified memory от 24 до 64 ГБ и выше. По данным README, квантование сохраняет около 99,3% результатов неквантованной BF16-версии на кодовых бенчмарках, однако фактические ограничения по длине контекста и производительности зависят от объёма памяти устройства. Для моделей с 24 ГБ рекомендуется контекст примерно 4–8 тысяч токенов, а полный заявленный контекст требует существенно большего объёма памяти. Лицензия — Apache 2.0.

WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B — модель серии WhiteRabbitNeo, разработанной для задач наступательной и защитной кибербезопасности. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров; модель предназначена для генерации кода и диалогового взаимодействия. Она принимает текстовые запросы и выдаёт текст, включая программный код. Поддерживаемая длина контекста — 32 768 токенов; в карточке указан английский язык. Модель выпущена как публичная предварительная версия для оценки возможностей и общественного влияния. Лицензия — Apache-2.0; README также содержит условия использования и отказ от гарантий.

Yi-9B-Coder-IMat-GGUF — квантизированная версия модели TechxGenus/Yi-9B-Coder, подготовленная пользователем legraphista. Модель предназначена прежде всего для генерации и обработки программного кода и распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp. Архитектурная основа относится к семейству Llama; размер исходной модели составляет около 9 млрд параметров, исходный формат — BF16. Репозиторий содержит варианты от BF16 и F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантов. Для ряда вариантов применена IMatrix-квантизация, призванная лучше сохранять качество при уменьшении размера модели. Доступны файлы размером примерно от 3,1 до 17,66 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Данные о поддерживаемых языках программирования, размере контекста и мультимодальности в README не указаны; модель описана как текстовая и ориентированная на код. Сильной стороной модели является широкий выбор вариантов квантования и возможность локального запуска при существенно меньших требованиях к памяти. При этом низкобитные варианты могут терять качество по сравнению с BF16 или F16, а конкретная производительность и точность зависят от выбранного файла и оборудования. Лицензия — Apache-2.0.

bartowski/codegeex4-all-9b-GGUF — это набор GGUF-квантизаций модели CodeGeeX4-ALL-9B, разработанной THUDM. Модель предназначена для генерации текста и, судя по названию и исходной модели, ориентирована прежде всего на работу с программным кодом и связанными текстовыми задачами. В README явно указана поддержка китайского и английского языков. Модель содержит около 9 млрд параметров в исходном варианте и подготовлена для запуска через llama.cpp. Доступны варианты квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 3,61 до 9,99 ГБ. Более высокие разрядности обеспечивают лучшее качество, тогда как низкоразрядные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы используется специальный формат промпта с маркерами системного, пользовательского и ассистентского сообщений. Размер контекста, дополнительные модальности и точная архитектура в README не указаны. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска через llama.cpp и наличие вариантов с высоким качеством, включая Q6_K и Q6_K_L. Ограничения связаны с потерями качества при низкой разрядности, а также с отсутствием в предоставленных данных подробных результатов тестирования, характеристик контекстного окна и описания ограничений исходной модели. Лицензия указана как специальная CodeGeeX4; подробные условия следует уточнять в файле LICENSE исходной модели THUDM/codegeex4-all-9b.

Карточка модели ludx/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2 на Hugging Face совпадает с карточкой yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2, поэтому описание составлено по ней. Gemma4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2 — дообученная модель yuxinlu1 на базе Google Gemma 4 12B Instruct для генерации кода и выполнения многошаговых технических задач с использованием инструментов. Это плотная архитектура Gemma 4 Unified, опубликованная в формате safetensors с весами bf16; README ориентирует эту версию прежде всего на разработчиков, которые хотят запускать модель в Transformers, создавать квантизованные варианты или продолжать дообучение. Модель предназначена для написания и отладки кода, работы с командами и инструментами, а также циклов «диагностика — исправление — проверка». В README приведён результат около 55% на локальном тесте tau2-bench telecom из 20 задач против примерно 15% у базовой модели при одинаковой конфигурации. Это сравнение ограничено описанным автором тестовым стендом и не сопоставимо напрямую с опубликованными результатами бенчмарка. Автор также сообщает о небольшом снижении результата на MMLU-Pro относительно базы. Модель поддерживает диалог и использует встроенный протокол вызова инструментов Gemma 4; README также описывает режим рассуждения перед ответом. Лицензия — Apache-2.0. Карточка не приводит сведений о размере контекстного окна или языках обучения, поэтому они здесь не уточняются.

ProCreations/grug-v1.1-qwen-3.8-27b-qgguf — это GGUF-версия модели grug-v1.1-qwen-3.8-27b, разработанная ProCreations для локального запуска через llama.cpp. Модель предназначена для генерации текста, программирования и агентских сценариев, включая работу с инструментами. Заявлена поддержка английского языка и режим text-generation. Модель имеет размер 27B и поставляется в нескольких вариантах квантования: Q8_0, Q6_K, Q5_K_M, Q4_K_M и Q3_K_M, занимающих примерно от 13,3 до 28,6 ГБ. Для работы с изображениями предусмотрен отдельный multimodal-проект mmproj в формате F16 размером около 0,9 ГБ, используемый вместе с llama-mtmd-cli. Размер контекста в README не указан. Ключевая особенность модели — оптимизированное рассуждение: в описании заявлено существенно меньшее число токенов в блоке размышлений по сравнению с базовой моделью. Для большинства случаев рекомендуется средний уровень reasoning effort; режим xhigh может ухудшать выбор инструментов. Квантование позволяет подобрать баланс между качеством и требованиями к памяти, но более компактные варианты могут уступать полноразмерным весам по качеству. Все варианты, согласно README, проверены с помощью llama-bench. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимое окружение llama.cpp; конкретные требования к оперативной памяти, производительности и максимальному контексту не указаны.

SimplySara/LocoOperator-4B-i1-GGUF — это GGUF-квантизация модели LocoOperator-4B, разработанной LocoreMind; квантизацию выполнил пользователь SimplySara. Модель предназначена для генерации текста, работы с кодом, агентских сценариев и вызова инструментов. В метаданных также указана связь с Qwen3 и дистилляцией, однако подробности архитектуры исходной модели не приведены. Доступна англоязычная версия, ориентированная на запуск через llama.cpp и совместимые инструменты. Размер базовой модели — 4B параметров; для представленного варианта в README указаны файлы разных уровней квантизации, включая i1-Q8_0, i1-Q6_K, i1-Q5_K_M и более компактные варианты. Для i1-Q8_0 размер составляет около 3,986 ГБ, а совпадение наиболее вероятных токенов с исходной моделью — 97,518%; при дальнейшем уменьшении разрядности размер сокращается, но качество в среднем снижается. Сильные стороны модели — сравнительно небольшой размер, поддержка GGUF и пригодность для локального запуска, а также специализация на коде, tool calling и агентских задачах. Ограничения включают англоязычную направленность, отсутствие данных о длине контекста, точной архитектуре, мультимодальности и результатах прикладных бенчмарков; качество зависит от выбранного уровня квантизации, особенно у наиболее компактных вариантов. Лицензия — MIT.

nexus-coder-GGUF — это квантизированная GGUF-версия модели NEXUS-Coder, разработанной fableforge-ai в экосистеме FableForge и опубликованной пользователем King3Djbl. Модель предназначена для генерации и анализа кода, отладки, программной инженерии и работы с shell-командами. Она ориентирована на локальный запуск через llama.cpp, Ollama и LM Studio. Модель имеет размер 1,5 млрд параметров, поддерживает текстовую генерацию и английский язык. В репозитории доступны варианты с разными уровнями квантования: от F16 размером 3,09 ГБ до IQ2_XXS размером 0,51 ГБ; рекомендуемым компромиссом между качеством и размером указан Q4_K_M, а для максимального качества — Q6_K. Используется формат запросов ChatML. Заявленные результаты внутреннего тестирования составляют 141 из 150 баллов (94%), однако методика ограничена 30 запросами и запуском на NVIDIA A40 через Ollama. Сильные стороны модели — компактный размер, возможность локального запуска, специализация на коде и заявленная эффективность в задачах рассуждения и использования инструментов. Ограничения включают небольшой размер по современным меркам, неизвестный контекстный размер и отсутствие подробных независимых оценок; качество также зависит от выбранного варианта квантования. Модель распространяется по лицензии Apache-2.0.

OpenAgent-8b-i1-GGUF — квантованная версия языковой модели на 8 млрд параметров, созданная mradermacher на основе OrionLLM/Terminus-Qwen3-8b и обучавшаяся с использованием набора данных OrionLLM/OpenAgentInstruct. Модель ориентирована на генерацию текста, агентские сценарии, рассуждения и работу с терминалом, включая задачи, связанные с разработкой программного обеспечения и оцениванием в SWE-bench. Указан английский язык. Модель распространяется в формате GGUF и доступна в вариантах с разными уровнями квантования — от IQ1 до Q6_K. Это позволяет выбирать компромисс между размером файла, скоростью работы, требованиями к памяти и качеством: например, Q4_K_M обозначен как быстрый и рекомендуемый вариант, а Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Низкобитные варианты могут заметно уступать по качеству, тогда как более крупные варианты требуют больше ресурсов. Сведения об архитектуре, размере контекста, дополнительных модальностях и точных языковых возможностях, кроме английского, не приведены. Лицензия модели — Apache-2.0. README описывает в основном процесс квантования и доступные файлы, поэтому результаты применения, ограничения в конкретных задачах и характеристики исходной модели, не указанные явно, требуют самостоятельной проверки.

BenevolenceMessiah/Qwen2.5-Coder-32B-Instruct-abliterated-Q4_K_M-GGUF — это квантизированная версия в формате GGUF модели huihui-ai/Qwen2.5-Coder-32B-Instruct-abliterated, основанной на Qwen2.5-Coder-32B-Instruct. Репозиторий подготовлен BenevolenceMessiah с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и прежде всего для работы с программным кодом в диалоговом формате. Модель имеет 32 миллиарда параметров, поддерживает текстовую модальность и, согласно метаданным карточки, английский язык. Используется квантизация Q4_K_M, рассчитанная на запуск через llama.cpp на совместимом CPU или GPU. README показывает применение в командной строке и через сервер llama.cpp; в примере сервер запускается с контекстом 2048 токенов, однако максимальный размер контекста в карточке не указан. К сильным сторонам относятся специализация на задачах программирования, instruct-формат и удобство локального запуска в GGUF через llama.cpp. К ограничениям относятся неизвестные из README точные характеристики исходной модели, фактическая производительность и качество на разных языках и задачах, а также возможная потеря точности из-за квантизации. Модель обозначена как abliterated и uncensored, поэтому её поведение в части защитных ограничений может отличаться от исходной версии. Указана лицензия Apache-2.0.

ThomasBaruzier/Qwen2.5-Coder-3B-Instruct-GGUF — набор GGUF-квантизаций инструкционно дообученной модели Qwen2.5-Coder-3B-Instruct. Исходную модель разработала команда Qwen, а данный репозиторий содержит варианты, подготовленные с использованием llama.cpp и метода imatrix с калибровочным файлом Bartowski. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования и чат-сценариев. Это текстовая модель с архитектурой и характеристиками базовой Qwen2.5-Coder-3B; в README указано около 3 миллиардов параметров, поддерживается английский язык, а заявленный тип конвейера — text-generation. Модель ориентирована на локальный запуск в формате GGUF, причём доступны варианты квантизации от IQ1_S до Q5_K_M с размером примерно от 754 МБ до 2121 МБ. Разные варианты позволяют выбирать компромисс между требованиями к памяти и качеством; в приведённых измерениях более крупные квантизации обычно показывают меньшую perplexity и более высокую точность. Сильными сторонами являются компактный размер, возможность локального использования через llama.cpp и наличие большого выбора квантизаций для устройств с разными ресурсами. Ограничения включают потери качества, зависящие от степени квантизации, неизвестные в README размер контекста и набор поддерживаемых языков помимо английского, а также отсутствие сведений о мультимодальности. Модель распространяется по лицензии qwen-research; точные условия следует уточнять в лицензии исходной Qwen/Qwen2.5-Coder-3B-Instruct.

Qwen2.5-Coder-7B-Q4_K_M-GGUF — это квантизированная версия базовой модели Qwen/Qwen2.5-Coder-7B, преобразованная в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo. Модель опубликована в репозитории AIronMind и предназначена для локального запуска через llama.cpp. Модель ориентирована на генерацию текста и работу с программным кодом: её можно использовать для написания, дополнения и объяснения кода, а также для интерактивного применения через командную строку или серверный API llama.cpp. Указанный размер базовой модели — 7B параметров. Формат квантизации — Q4_K_M, что рассчитано на более экономичное использование памяти по сравнению с полной версией модели. В метаданных указан английский язык; другие языки и мультимодальные возможности не заявлены. Для запуска поддерживаются macOS и Linux при наличии установленного llama.cpp; возможна аппаратная настройка, включая CUDA для Nvidia GPU. В примере сервера используется контекст 2048 токенов, однако максимальный размер контекста в карточке явно не указан. Модель распространяется по лицензии Apache-2.0. Ограничения и подробные характеристики унаследованной базовой модели в этой карточке не описаны; для них рекомендуется обращаться к оригинальной документации Qwen/Qwen2.5-Coder-7B.

Qwen3-Coder-30B-A3B-Instruct-FP8 — кодовая версия серии Qwen3-Coder, разработанная Qwen и адаптированная FuriosaAI для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель предназначена для генерации кода, понимания репозиториев масштабом до проекта, агентских сценариев программирования и вызова инструментов. Она работает в режиме без рассуждений и принимает текстовые данные, возвращая текст. Это авторегрессионный трансформер архитектуры Qwen3-MoE с 30,5 млрд общих параметров, из которых около 3,3 млрд активируются для каждого токена. Веса используют статическое квантование FP8, активации динамически квантуются в FP8 во время выполнения, а KV-кэш сохраняется в 16-битной точности. Поддерживается вызов функций через парсер hermes. Для запуска на RNGD используется тензорный параллелизм на 32 PE, соответствующий четырём картам RNGD. Языки и размер контекста в README не указаны. Сильными сторонами модели являются специализация на задачах программирования, поддержка понимания репозиториев, инструментов и эффективного MoE-инференса в формате FP8. Ограничения включают работу только в режиме без рассуждений, зависимость описанной оптимизированной конфигурации от FuriosaAI RNGD и Furiosa-LLM, а также отсутствие в предоставленных данных сведений о языковом охвате, контексте и результатах бенчмарков. Модель распространяется по лицензии Apache 2.0.

mlx-community/Qwen3-Coder-Next-4bit — это 4-битная версия модели Qwen3-Coder-Next, разработанной Qwen и конвертированной сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и, судя по названию базовой модели, прежде всего для задач, связанных с программированием, включая работу с исходным кодом и техническими запросами. Модель рассчитана на запуск через библиотеку mlx-lm и совместима с экосистемой MLX. Ключевой особенностью является 4-битное представление, которое может снижать требования к памяти по сравнению с полноразмерной версией, но потенциально ограничивать точность. README не содержит сведений о размере модели, архитектуре, поддерживаемых языках и модальностях, длине контекста, результатах тестирования, сильных сторонах или конкретных ограничениях. Лицензия модели — Apache 2.0. Для использования требуется установка mlx-lm; приведённый способ запуска ориентирован на генерацию текста с применением chat template, если он доступен.

SLIMDER Qwen3.8 Depth-32 Agentic REAM-288 — экспериментальная модель семейства Qwen, опубликованная пользователем jakeatx. Она создана на основе sjakek/slimder-qwen38-reap384-depth32-mb2-3-4-5 и предназначена для генерации текста, особенно для агентных сценариев: вызова инструментов, программирования и выполнения кода, retrieval-задач и многошагового рассуждения. Модель использует архитектуру Mixture-of-Experts с 32 трансформерными слоями, 288 маршрутизируемыми экспертами на слой и выбором 10 экспертов для каждого токена. Это результат структурного сжатия с 384 до 288 экспертных слотов в каждом слое. Применена точность BF16. Калибровка выполнена на 1 024 последовательностях длиной 512 токенов с повышенным весом агентных, кодовых, retrieval- и reasoning-сценариев. Дополнительные сведения о поддерживаемых языках, размере параметров, модальностях и длине контекста не указаны. Сильной стороной модели является целевая оптимизация под агентное поведение при сохранении разреженной экспертной архитектуры и уменьшении числа экспертов. При этом это исследовательский контрольный снимок: ему необходимы более широкие проверки агентных функций, генерации кода, выполнения инструментов, retrieval, длинных последовательностей и безопасности, поэтому модель не рекомендуется считать готовой к промышленному использованию без дополнительной оценки. Модель распространяется по лицензии Apache-2.0.

StarCoder2-7B-GGUF — квантованная версия модели StarCoder2 7B, разработанной командой BigCode и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена прежде всего для генерации и работы с программным кодом; исходная модель распространяется через bigcode/starcoder2-7b и использует библиотеку Transformers. В README не указаны точные архитектурные детали, перечень поддерживаемых языков программирования или естественных языков, а также мультимодальные возможности, поэтому их характеристики нельзя подтвердить. Доступно несколько вариантов квантования от 2 до 8 бит с размером файлов примерно от 2,72 до 7,63 ГБ. Заявленный размер контекста — 4608 токенов. Вариант Q4_K_M отмечен как рекомендуемый благодаря балансу размера и качества, Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества, а Q2_K–Q3_K и некоторые legacy-варианты имеют более существенную потерю качества. Модель подходит для локального запуска в средах, совместимых с GGUF и llama.cpp; интеграция с LlamaEdge на момент публикации обозначена как находящаяся в разработке. Модель ориентирована на сценарии программирования, включая генерацию кода, но README не содержит результатов тестирования или подробного описания сильных сторон и ограничений исходной модели. Лицензия указана как BigCode OpenRAIL-M; условия её применения следует учитывать при развёртывании и распространении.

ClankLabs Wrench-35B-A3B-Q4_K_M-GGUF — квантизированная GGUF-версия модели Wrench 35B, разработанная ClankLabs на основе Qwen/Qwen3.5-35B-A3B. Это MoE-модель с 35 млрд общих и примерно 3 млрд активных параметров, дообученная методом LoRA для агентных сценариев, вызова инструментов и функций, восстановления после ошибок, планирования и точного следования системным инструкциям. Заявлена поддержка английского языка и генерации текста. Модель ориентирована на локальное развертывание в Ollama или llama.cpp, а также на использование через Clank Gateway. Ключевые возможности включают многошаговые задачи, параллельные и составные вызовы функций, обнаружение нерелевантных запросов, соблюдение форматов инструментов и безопасное ограничение действий. Внутренний тест Clank Agentic Benchmark дал 118 из 120 баллов, а на независимом BFCL non_live/AST модель получила 82,0% — 1128 правильных ответов из 1390. Контекстное окно составляет 8192 токена и может быть расширено до 32K. Модель распространяется по лицензии Apache 2.0. Используется квантизация Q4_K_M в формате GGUF; размер файла указан примерно как 20 ГБ, при этом заявлена возможность запуска на видеокарте с 16 ГБ VRAM. Обучение проводилось на двух NVIDIA H100 80GB примерно за один час на 1252 примерах из 15 категорий. Ограничения включают преимущественную ориентацию на английский язык, зависимость качества инструментальных вызовов от среды исполнения и заметно более низкую точность в отдельных категориях BFCL, включая простые вызовы на Java и JavaScript.

ASTRA-32B-Thinking-v1 — дообученная модель на основе Qwen/Qwen3-32B, представленная авторами работы ASTRA: Automated Synthesis of Agentic Trajectories and Reinforcement Arenas. Это плотная языковая модель семейства Qwen3 на 29,7 млрд параметров с контекстом до 133 120 токенов, предназначенная для многошаговых задач с вызовом инструментов и структурированными рассуждениями. Модель обучали в два этапа: на примерах многоходового использования инструментов, а затем с помощью обучения с подкреплением и проверяемыми наградами в исполняемых средах. Модель рассчитана на агентные сценарии: планирование последовательностей вызовов инструментов, работу с их схемами и выполнение сложных задач в несколько шагов. В README заявлен результат уровня state of the art на многоходовой подвыборке BFCL-V3 для сопоставимого масштаба моделей. Метаданные также указывают интерфейс диалога и вызова инструментов. Модель распространяется под лицензией Apache-2.0; авторы описывают её как предназначенную для исследований и обучения и снимают с себя ответственность за последствия использования.

MJPansa/DeepSeek-V4-Flash-0731-NVFP4 — общественная конверсия официальной модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Конверсия сохраняет архитектуру, токенизатор, DSpark/MTP-конфигурацию, механизм внимания, shared experts, router, head и прочие компоненты исходной модели, изменяя представление весов маршрутизируемых экспертов на NVIDIA-style NVFP4. Репозиторий не связан с DeepSeek или NVIDIA и не является их официальным продуктом. Модель предназначена для сложных задач программирования, разработки с агентами, работы с инструментами, автоматизации, терминальных сценариев, математики, Triton, CUDA/Nsight и научных задач. Она относится к MoE-архитектурам и содержит 43 основных transformer-слоя; в структуру включён модуль speculative decoding. В README не указаны общий и активный размер модели, поддерживаемые языки и точный перечень модальностей. Заявлен максимальный контекст до 250 000 токенов в протестированной конфигурации. Сильная сторона версии — компактное представление маршрутизируемых экспертных весов NVFP4 при сохранении исходных 4-битных значений и проверенной совместимости с vLLM на двух системах NVIDIA DGX Spark с tensor parallelism. Работоспособность подтверждена загрузкой и базовой генерацией через OpenAI-compatible API, но это не является сертификацией производительности; протестированный eager-режим показал низкую скорость декодирования. Для запуска требуется совместимая инфраструктура NVIDIA, распределённая конфигурация vLLM и специальное кодирование сообщений, поскольку Jinja-шаблон чата не включён. Лицензия — MIT.

Devstral-Small-2505-GGUF — GGUF-квантизированная версия модели Devstral-Small-2505, разработанной Mistral AI. Квантизация выполнена mattjcly на базе llama.cpp; модель распространяется в формате GGUF и предназначена для локального запуска в совместимых инструментах. Модель ориентирована на программную инженерию и агентные задачи: исследование кодовых баз с использованием инструментов, редактирование нескольких файлов и выполнение сложных изменений для исправления проблем. Согласно README, при компактном размере в 24 миллиарда параметров она показывает высокие результаты в агентном программировании и была представлена как лидер среди открытых моделей на SWE-bench. Известная техническая характеристика — контекстное окно до 131 072 токенов. README не уточняет архитектуру, поддерживаемые языки программирования и естественные языки, модальности или конкретные требования к оборудованию. Ограничения включают возможные неточности, вредные или неподходящие ответы, характерные для генеративных моделей. Модель распространяется по лицензии Apache-2.0.

Jan-Code-4B — компактная модель для генерации кода, разработанная Jan. Это code-tuned-версия, построенная на базе Jan-v3-4B-base-instruct и представленная в формате GGUF для локального запуска. Модель относится к классу text-generation и предназначена прежде всего для англоязычных сценариев. Модель подходит для генерации, редактирования, рефакторинга и отладки кода, а также для выполнения чётко ограниченных подзадач в агентских системах. Её можно использовать как лёгкого worker-модель или субагента, который создаёт патчи и тесты, пока более крупная модель занимается планированием. Jan-Code-4B ориентирована на практическую работу с низкими требованиями к вычислительным ресурсам и небольшой задержкой. Ключевой характеристикой является размер около 4 миллиардов параметров; сведения о точной архитектуре, поддерживаемых языках программирования, длине контекста и мультимодальных возможностях в README не указаны. Среди сильных сторон — компактность, скорость и пригодность для локального развёртывания, включая Jan Desktop и llama.cpp. Ограничением является меньшая способность обрабатывать сложные или широко поставленные задачи по сравнению с крупными моделями. Модель распространяется по лицензии Apache 2.0.

Это пользовательская квантованная версия KAT-Coder-V2.5-Dev, опубликованная автором репозитория IsValorum в формате GGUF. Она предназначена для генерации кода, рассуждений и работы в агентных сценариях с использованием чата и инструментов. В карточке указано, что это разреженная MoE-модель; для варианта APEX-I-MiniPlus V2.1 заявлены файл размером около 14,75 ГБ, средняя точность 3,40 бита на вес и окно контекста 256 тысяч токенов. README также описывает запуск с использованием системной памяти и заявляет возможность полного контекста на видеокарте с 24 ГБ памяти. К сильным сторонам автор относит качество квантования, сохранение точности маршрутизации экспертов и пригодность для локального вывода. В README приведены собственные оценки perplexity и скорости, которые не следует считать независимым сравнением. Модель поддерживает несколько языков, включая русский, английский и китайский. Лицензия — Apache-2.0.