II.7DevOps, облако и эксплуатация IT-систем

Qwen3-4B-Thinking-2507-Qwen3.8-Max-Distillation-Detrax — компактная дистиллированная языковая модель в формате GGUF, опубликованная пользователем или организацией Detrax. Она основана на Qwen3-4B-Thinking-2507 и обучалась с использованием набора данных r0b0tlab/qwen3.8-max-distillation-50k. В README не указаны точные сведения о разработчике дистилляции, языковом охвате и исходной архитектуре, кроме принадлежности к семейству Qwen и наличия 4 млрд параметров. Модель предназначена для генерации текста, многошагового рассуждения, написания и отладки кода, решения математических задач, структурированного логического вывода и точного соблюдения инструкций и ограничений. Заявлены улучшения по сравнению с базовой моделью в математическом рассуждении, генерации кода, логическом выводе, релевантности и сходстве ответов; наиболее заметные результаты отмечены для алгоритмических и требующих строгого соблюдения ограничений задач. Модель поставляется в вариантах F16, Q8_0, Q6_K и Q4_K_M размером примерно от 2,3 до 7,5 ГБ. Она совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими средами, поддерживающими GGUF. Рекомендуемая длина контекста составляет 8192 токена. Сильными сторонами являются компактность, эффективность на технических задачах и возможность запуска на CPU или с GPU offloading. Ограничения включают меньший размер по сравнению с крупными моделями, зависимость качества от выбранного уровня квантования и отсутствие в README подробных данных о поддерживаемых языках, мультимодальности и независимой оценке качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Claude-Mythos-Distilled-MTP-GGUF — общественная дообученная модель от chatqaq, созданная на базе Qwen/Qwen3.6-27B. Она ориентирована на техническое рассуждение, сложные задачи программирования, анализ кибербезопасности и автономные агентные сценарии. Модель предназначена для декомпозиции многоэтапных задач, планирования длительных рабочих процессов, отладки и подготовки ориентированного на промышленную разработку кода, а также для защитного анализа уязвимостей и аудита исходного кода. Модель содержит 27 млрд параметров и дообучалась методом QLoRA с 4-битной NF4-квантизацией на 25 000 синтетических образцов SFT из набора WithinUsAI/claude_mythos_distilled_25k. Доступны форматы GGUF Q8 и Q4 для локального развёртывания. В карточке заявлены текстовые и визуально-текстовые задачи, а также поддержка английского и китайского языков; размер контекста не указан. Сильными сторонами модели считаются структурированное многошаговое рассуждение, техническая точность, инженерное программирование и пригодность для агентных рабочих процессов. Ограничения связаны с полностью синтетическим происхождением обучающих данных: модель может галлюцинировать или чрезмерно обобщать в узкоспециализированных реальных сценариях. Она не сертифицирована для критически важных систем, поэтому результаты требуют экспертной проверки. В метаданных указана лицензия Apache-2.0, однако в README также сказано о необходимости соблюдать лицензионные условия исходной базовой модели Qwen3.6-27B.

batiai/Qwen3.6-27B-GGUF — это квантизированная GGUF-версия плотной мультимодальной модели Qwen3.6-27B, разработанной Alibaba и подготовленной BatiAI для локального запуска, прежде всего на компьютерах Mac с Apple Silicon. Модель распространяется через llama.cpp и Ollama и ориентирована на автономные сценарии, не требующие отправки данных во внешние облачные сервисы. Модель предназначена для генерации текста, программирования, репозиторного и агентного кодинга, многошагового рассуждения и работы с инструментами. Заявлены поддержка tool calling, thinking mode, нативного контекста до 262 000 токенов и расширения до 1 010 000 токенов с помощью YaRN. Доступны языки английский, корейский, японский и китайский. Варианты с vision projector поддерживают обработку изображений в мультимодальном режиме. Преимущество модели — сочетание 27 млрд параметров, плотной архитектуры и нескольких уровней квантизации с imatrix-калибровкой, что позволяет выбрать баланс качества, скорости и требований к памяти: от вариантов для систем с 16 ГБ RAM до почти потерьной Q6_K для конфигураций от 32 ГБ. Плотная архитектура заявлена как особенно подходящая для сложных длинных цепочек агентного кодинга, однако она обычно медленнее MoE-моделей с меньшим числом активных параметров. Для режима thinking ответы могут содержать блок рассуждений, а для получения чистого JSON при вызове инструментов требуется отключить размышление. Модель распространяется по лицензии Apache 2.0. Приведённые в README сравнительные заявления основаны преимущественно на позиционировании upstream; конкретные итоговые значения ряда бенчмарков для этой версии не указаны, поэтому их следует интерпретировать с осторожностью.

YTan2000 собрал вариант Qwen3.8-27B с квантованием TurboQuant TQ3_4S и форматом GGUF для запуска через специальную сборку llama.cpp-tq3. Модель предназначена для диалогов, генерации кода и многошаговых задач; с подключённым проектором mmproj поддерживает анализ изображений и видео. Веса основаны на Qwen/Qwen3.8-27B, в которой используются гибридная архитектура Gated DeltaNet и Gated Attention и обученные головы Multi-Token Prediction для ускорения генерации. В карточке указаны 27 млрд параметров у базовой модели, контекст до 262 144 токенов, размер файла 13,8 ГБ и квантование 4,24 бит на вес. Версия v2 включает исправленный шаблон чата для строковых аргументов инструментов и режима без рассуждений; для v1 требуется отдельно указать шаблон. README приводит результаты тестов генерации кода и скорости на RTX 3090, но они зависят от конфигурации запуска. Для работы требуется TurboQuant-версия llama.cpp; поддержка изображений и видео требует файла mmproj. Лицензия — Apache-2.0.

Solstice-AI/Qwen3.8-27B-Uncensored-mlx-6Bit — 6-битная MLX-квантизация модели orcarouter/Qwen3.8-27B-Uncensored, основанной на архитектуре Qwen 3.8 с 27,5 млрд параметров. Релиз подготовлен Solstice-AI и оптимизирован для запуска на Apple Silicon через Anvil Runtime с ускорением Metal или библиотеку mlx-lm. Модель ориентирована на английский и китайский языки. Модель предназначена для рассуждений, математических задач, агентского использования инструментов, анализа кода, аудита систем, исследования уязвимостей и red teaming. Заявлена поддержка контекстного окна до 262 144 токенов, что подходит для работы с большими репозиториями и многофайловым кодом. Используется аффинная 6-битная квантизация MLX с group_size 64; размер файлов модели составляет около 21,85 ГБ, а рекомендуемый объём unified memory — от 32 ГБ. Производительность зависит от устройства и заявлена примерно на уровне 42–62 токенов в секунду на совместимых Mac. К сильным сторонам относятся нативная оптимизация под Apple Silicon, сниженное потребление памяти по сравнению с BF16-версией, большой контекст и ориентация на технические и исследовательские сценарии. Ограничения связаны с необходимостью совместимого оборудования Apple Silicon и достаточного объёма unified memory, а также с тем, что заявленные показатели производительности зависят от конкретной конфигурации и длины контекста. Модель описана как abliterated и uncensored, то есть механизмы отказа были удалены на уровне весов; это может повысить гибкость для red teaming, но требует самостоятельного контроля безопасного применения. Лицензия — Apache 2.0.

unsloth/Qwen3-Coder-REAP-363B-A35B-GGUF — сжатая версия Qwen3-Coder-480B-A35B-Instruct, разработанная с применением метода REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации кода, агентного программирования, понимания репозиториев, математического и творческого текста, а также вызова функций и инструментов. Разработчики заявляют сохранение характеристик исходной модели при снижении требований к памяти примерно на 25%, что делает её пригодной для ресурсоограниченных сред, локального развёртывания и исследовательских задач. Это разреженная causal language model архитектуры Mixture-of-Experts: 363 млрд параметров всего, около 35 млрд активируются на токен; используется 120 экспертов, из которых 8 выбираются для каждого токена, 62 слоя и Grouped Query Attention с 96 головами Q и 8 головами KV. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 млн с YaRN. В README указана FP8-квантизация для описанного варианта, совместимость с vLLM и лицензия Apache 2.0. Ограничением является крайне большой общий размер модели и высокие требования к оборудованию; результаты оценки для BF16-варианта на момент публикации не представлены.

Tess-4-27B-GGUF — набор GGUF-квантизаций модели Tess-4-27B, разработанной Migel Tissera и построенной на базе Qwen/Qwen3.6-27B от команды Qwen. Это агентная модель с поддержкой рассуждений, которая адаптирует глубину рассуждения к сложности задачи. Модель предназначена для диалогов, программирования, рефакторинга кода, структурированного вывода, решения сложных задач и создания локальных AI-агентов. Модель имеет размер 27B параметров и поставляется в вариантах Q4_K_M, Q6_K и Q8_0 с размерами примерно от 16,5 до 28 ГБ. Основной формат — GGUF, ориентированный на локальный запуск через llama.cpp, LM Studio и Ollama. Для обработки изображений предусмотрен отдельный vision projector mmproj, что добавляет мультимодальный режим с поддержкой входных изображений. Также доступны MTP-головы для speculative decoding: они могут ускорять генерацию примерно в 1,5–2 раза на подходящих задачах без изменения результата. Используется шаблон чата семейства Qwen3.5 с выделенным блоком рассуждений, однако поддерживаемые языки и размер контекстного окна в карточке не указаны. Сильные стороны модели — агентный характер, масштабирование рассуждений по сложности, поддержка кода и структурированного вывода, локальная работа и мультимодальный режим при подключении projector. Ограничения связаны с высокими требованиями к оперативной памяти или VRAM, потерями точности при использовании более агрессивной квантизации и необходимостью современного runtime llama.cpp для распознавания архитектуры qwen35. Для запуска требуется выбрать подходящий вариант квантизации, а для изображений и ускорения — установить дополнительные файлы. Модель распространяется по лицензии Apache 2.0.

Mungert/Youtu-LLM-2B-GGUF — GGUF-версия языковой модели Youtu-LLM-2B, разработанной Tencent. Это авторегрессионная causal language model для генерации текста; семейство включает базовую и instruct-версии. Данная сборка создана с использованием llama.cpp, однако конкретный уровень квантования в README не указан. Модель содержит 1,96 млрд параметров, 32 слоя и использует плотную архитектуру MLA с 16 attention heads для Q/K/V. Поддерживается контекст до 131 072 токенов, размер словаря — 128 256. Модель ориентирована на рассуждения, следование инструкциям, STEM-задачи, программирование, работу с длинным контекстом и агентские сценарии с инструментами; для instruct-версии заявлен режим reasoning. В представленных тестах она показывает особенно сильные результаты в генерации кода, математике, обработке длинного контекста и ряде end-to-end агентских задач, но результаты зависят от версии модели и настроек запуска. README не указывает поддерживаемые языки, точные требования к ресурсам и ограничения безопасности. Лицензия обозначена как other; условия следует уточнять по файлу лицензии Tencent.

DeepSeek-V4.1-Flash — мультимодальная модель DeepSeek для диалогов, рассуждений и агентных задач. Она принимает изображения и текст и авторегрессионно генерирует текст. По README, модель обучена с нуля и использует архитектуру Causal Encoder-Decoder с 40 слоями и Mixture-of-Experts; в ней 552 млрд параметров backbone, а при обработке токенов активируется 8 млрд параметров на этапе prefill и 16 млрд при генерации. Модель поддерживает контекст до одного миллиона токенов и управляемый уровень усилий рассуждения от 1 до 100. Среди заявленных архитектурных решений — сжатие KV-кэша, разреженное внимание, условная память Engram и спекулятивное декодирование. Модель ориентирована на сценарии с длинным контекстом и агентным выполнением задач, включая работу с кодом и визуальными данными. Метаданные указывают форматы safetensors FP8 и библиотеку Transformers; лицензия — MIT. README отмечает, что для релиза не предоставлен Jinja-шаблон чата, а для запуска локально предлагается обратиться к инструкциям в папке inference.

Focus Red — перепакованная текстовая версия Qwen3.8-27B от Jaidchen. Из модели удалены компоненты обработки изображений и видео, а архитектура упрощена; заявленные автором преимущества — меньшие требования к памяти и хранилищу, более быстрая загрузка и инференс. Модель использует плотную архитектуру Qwen3_5ForCausalLM, содержит 22,3 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации текста в диалогах и сценариях с инструментами; метаданные также отмечают применение для программирования и агентных задач. Шаблон чата сохраняет настройки рассуждений Qwen и обработку вызовов инструментов. Изображения и видеокадры могут присутствовать в контексте, но модель не интерпретирует их. Генерация со случайной выборкой по умолчанию отключена, поэтому модель менее подходит для длинных творческих текстов и непринуждённого общения. Лицензия — Apache-2.0.

gemma-4-A4B-98e-v7-coder-it-GGUF — это набор GGUF-квантизаций модели ManniX-ITA/gemma-4-A4B-98e-v7-coder-it, разработанный автором ManniX-ITA на основе Gemma 4 26B-A4B. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, а также для задач, требующих рассуждений. Доступны варианты от CD-Q2_K и IQ4_XS до Q8_0 и F16 с различным размером файлов и компромиссом между качеством и требованиями к памяти. Архитектура — Gemma4 с разреженной смесью экспертов (MoE): около 20,45 млрд параметров всего и примерно 4 млрд активных параметров. Это результат pruning-кода с сокращением числа экспертов со 128 до 98 на слой. Для мультимодальных сценариев предусмотрена совместимая башня компьютерного зрения SigLIP, поставляемая отдельным файлом и не затронутая pruning; в метаданных указана поддержка image-text-to-text. В README заявлен английский язык, а контекст использования в примере llama.cpp настроен на 32 768 токенов, что не обязательно означает максимальный размер контекста модели. Сильная сторона модели — сочетание MoE-архитектуры, оптимизированной для кода, и широкого набора квантизаций, включая рекомендуемые Q4_K_M и Q4_K_S, а также компактный CD-Q2_K. По приведённым автором результатам, на HumanEval+ варианты достигают 92,68%, а на MultiPL-E — до 91%, однако эти показатели относятся к конкретным настройкам и сравнительному тестированию квантов. Ограничения включают потерю качества и возможные артефакты на низких уровнях квантизации, значительный размер старших вариантов и необходимость корректной настройки инференса. При использовании llama.cpp для режима рассуждений требуется параметр reasoning-budget; без него модель может выдавать некорректные специальные токены. Распространяется по лицензии Apache-2.0.

GLM-4.5-Air — компактная гибридная модель серии GLM-4.5 от Zhipu AI, разработанная для интеллектуальных агентов. Она объединяет генерацию текста, рассуждение, программирование и работу с инструментами; поддерживает режим обдумывания для сложных запросов и вызовов инструментов, а также режим быстрого ответа. По карточке модели, у GLM-4.5-Air 106 млрд параметров, из которых активны 12 млрд. Метаданные Hugging Face указывают архитектуру GLM4 MoE, класс Glm4MoeForCausalLM, 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговых приложений, задач программирования и агентных сценариев с использованием инструментов. Она поддерживает английский и китайский языки и распространяется в формате Safetensors; библиотека Transformers указана как основная. Лицензия MIT разрешает коммерческое использование и дальнейшую разработку. Значения общего и активного числа параметров из README расходятся с числом параметров в метаданных, поэтому размер следует считать противоречивым.

HyperNova 60B 2602 — языковая модель, разработанная Multiverse Computing на основе open-weight модели OpenAI gpt-oss-120b. Она сжата с помощью проприетарной технологии CompactifAI, которая уменьшает количество параметров и требования к памяти при сохранении заявленных возможностей рассуждения. Модель instruction-tuned и предназначена для эффективного развёртывания через библиотеку Transformers. Модель рассчитана на рассуждение, генерацию кода, приложения с RAG, агентские сценарии и задачи с использованием инструментов. Она поддерживает нативный вызов функций, OpenAI-совместимые схемы инструментов, структурированные ответы и настраиваемый уровень рассуждения. Архитектура — decoder-only Transformer; общий объём составляет 60 млрд параметров против 117 млрд у базовой модели. Основной язык — английский, другие языки формально не оценивались. Мультимодальность и размер контекста в README не указаны. К сильным сторонам относятся уменьшенный объём памяти, гибкость развёртывания, поддержка tool calling и агентских рабочих процессов. Ограничения включают отсутствие формальной оценки других языков и неполные сведения о контекстном окне, а также необходимость использовать trust_remote_code при загрузке. Модель распространяется по лицензии Apache 2.0.

HyperNova 60B 2605 — открытая по весам instruction-tuned модель, разработанная Multiverse Computing и представленная как решение на базе CompactifAI. Она предназначена для общего рассуждения, генерации кода и разработческих сценариев, включая RAG, агентские приложения и задачи с инструментами. Модель построена на decoder-only Transformer и содержит 60B общих параметров, из которых 4,8B являются активными. Она поддерживает native tool calling с OpenAI-style схемами, function calling, структурированный вывод и агентские рабочие процессы. Основной язык — английский; другие языки формально не оценивались. Размер контекста в предоставленных данных не указан. К сильным сторонам относятся оптимизация эффективного вывода, уменьшенный объём памяти, улучшения по сравнению с HyperNova 60B 2602 в задачах кодирования и общих бенчмарках, а также поддержка настраиваемого уровня reasoning effort. Ограничения включают отсутствие формальной оценки других языков и отсутствие гарантии полной совместимости поведения tool calling с базовой или другими моделями. Модель распространяется по лицензии Apache 2.0.

PocketWeights-Qwen2.5-14B-Coder-Creative — 14-миллиардная плотная языковая модель от PocketWeights, созданная слиянием DARE-TIES моделей Qwen2.5-Coder-14B-Instruct и Qwen2.5-14B-Instruct-1M-abliterated. Она предназначена для диалоговой генерации кода, его анализа и исправления, а также логических рассуждений и сценариев кибербезопасности. Архитектура — Qwen2ForCausalLM; модель распространяется в формате safetensors и рассчитана на контекст до 1 010 000 токенов. Карточка заявляет о точной генерации кода на Python, C++, Rust и shell, а также о снижении отказов на запросы по тестированию безопасности и техническому творчеству. Указаны варианты размещения: исходные веса BF16 требуют около 30 ГБ видеопамяти, а квантованные Q8_0 и Q4_K_M — около 16 и 9 ГБ соответственно. Лицензия — Apache-2.0.

Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Карточка модели raychan0713/Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

duyntnet/Qwen2.5-Coder-7B-Instruct-imatrix-GGUF — набор GGUF-квантизаций инструкционно настроенной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen от Alibaba Cloud. Репозиторий предназначен для локального запуска через llama.cpp, KoboldCPP, text-generation-webui и Ollama; конкретный вариант квантизации в README не уточняется. Модель ориентирована на генерацию, анализ, исправление и рассуждения о программном коде, а также на создание code agents. Она сохраняет возможности для математических и общих задач. Это каузальная языковая модель с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Указано 7,61 млрд параметров, 28 слоёв и GQA с 28 головами для Q и 4 для KV. Заявлена поддержка контекста до 131 072 токенов, однако для входов длиннее 32 768 токенов требуется включение YaRN и соответствующая настройка конфигурации. Важные преимущества — специализация на коде, улучшенные генерация, рассуждение и исправление программ, а также возможность локального запуска в оптимизированном GGUF-формате. Ограничения включают зависимость качества и требований к ресурсам от выбранной квантизации и программного окружения; точные параметры квантования не приведены. В метаданных указаны английский язык и лицензия other, без дополнительных условий использования.

karlsencoin/Qwen3.6-27B-GGUF — это GGUF-сборка модели Qwen3.6-27B, основанная на базовой модели Qwen/Qwen3.6-27B. Модель разработана командой Qwen; данный репозиторий распространяет её в формате GGUF с использованием подхода Unsloth Dynamic 2.0 GGUF. Это причинная языковая модель с визуальным энкодером, предназначенная для генерации текста, программирования, агентных сценариев, работы с репозиториями, фронтенд-разработки, рассуждений и вызова инструментов. Поддержка изображений указана в карточке как часть мультимодальной архитектуры, однако конкретные форматы и языки не перечислены. Модель содержит около 27 млрд параметров, 64 слоя и скрытое измерение 5120. Архитектура сочетает Gated DeltaNet и Gated Attention, использует multi-step training и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 010 000 токенов. Среди заявленных сильных сторон — улучшенная работа с агентным кодированием, сохранение контекста рассуждений между сообщениями и более надёжный разбор вложенных объектов при вызове инструментов. Для запуска упоминаются Transformers, vLLM, SGLang и KTransformers; высокая вычислительная нагрузка и требования к памяти являются ограничениями модели, особенно при использовании длинного контекста. Указанная лицензия — Apache 2.0. README не содержит подробностей о конкретном уровне квантования данной GGUF-сборки, результатах бенчмарков или точном наборе поддерживаемых языков.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-GGUF-UltraOptimised — GGUF-квантизированная версия модели на базе Qwen3.8-27B TURBO Fable Cold Fusion GAIN. Оригинальную модель и её объединение разработал DavidAU, а квантизацию, интеграцию MTP и упаковку выполнила Solstice-AI. Модель ориентирована на генерацию текста, рассуждения, программирование, агентные задачи разработки ПО и мультимодальную работу с изображениями, интерфейсами, диаграммами и временными кадрами видео. Заявлены поддерживаемые языки English и Chinese, нативный контекст до 262K токенов и архитектура Qwen 3.8 Hybrid Linear Attention: 75% слоёв используют линейное внимание GDN, а 25% — глобальное Grouped-Query Attention. Размер основной модели — 27 млрд параметров. Ключевая особенность выпуска — поддержка ускоренного декодирования через встроенный Multi-Token Prediction и отдельные DSpark draft-модели размером 1,86 млрд параметров; README заявляет ускорение speculative decoding в 2,5–3,1 раза при использовании llama.cpp или Anvil. Для мультимодального режима поставляется vision-проектор mmproj-BF16. В README также приведены высокие результаты на ARC-C, ARC-E, SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench и CoWorkBench, однако эти показатели представлены авторами модели и требуют независимой проверки. Ограничения включают зависимость производительности от выбранной GGUF-квантизации, аппаратных ресурсов и совместимого рантайма; подробные характеристики отдельных вариантов квантизации в предоставленных данных не раскрыты. Лицензия — Apache 2.0.

Qwen3-Coder-Next-FP8 — открытая FP8-квантизированная версия языковой модели Qwen3-Coder-Next, разработанная командой Qwen и подготовленная Unsloth. Это каузальная языковая модель для генерации текста, ориентированная прежде всего на кодинг-агентов и локальную разработку. Модель предназначена для написания и анализа кода, длительных многошаговых задач, использования инструментов и восстановления после ошибок выполнения. Она поддерживает интеграцию с CLI- и IDE-средами, включая Claude Code, Qwen Code, Qoder, Kilo, Trae и Cline. Модель работает только в режиме без пошагового рассуждения и не генерирует блоки <think></think>. Архитектура сочетает Gated DeltaNet, Gated Attention и Mixture of Experts: всего 80 млрд параметров, из которых активируются 3 млрд; 48 слоёв, 512 экспертов и 10 активируемых экспертов. Нативная длина контекста составляет 262 144 токена. Используется fine-grained FP8-квантизация с размером блока 128. Такая конфигурация обеспечивает высокую вычислительную эффективность при сохранении возможностей крупной модели, однако для локального запуска требуются значительные аппаратные ресурсы, особенно при использовании длинного контекста; при нехватке памяти рекомендуется уменьшать его размер. Языки и мультимодальные возможности в карточке явно не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-Coder-Next-GGUF — GGUF-квантизированные версии открытой языковой модели Qwen3-Coder-Next, разработанные Unsloth на базе модели Qwen. Это каузальная текстовая модель, предназначенная прежде всего для программирования, локальной разработки и работы в кодинговых агентах, включая сценарии с CLI и IDE, длительным рассуждением, использованием инструментов и восстановлением после ошибок выполнения. Модель имеет 80 млрд параметров всего, из которых активируются 3 млрд; 79 млрд параметров приходятся на неэмбеддинговую часть. Архитектура сочетает Mixture of Experts с 512 экспертами и гибридные механизмы Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только режим без пошагового рассуждения и не генерирует блоки <think></think>. README описывает её как текстовую модель, но не указывает полный перечень поддерживаемых языков. Сильными сторонами являются высокая эффективность при небольшом числе активных параметров, поддержка сложных агентных сценариев, работы с инструментами и длинным контекстом. Для запуска 4-битных вариантов рекомендуется более 45 ГБ объединённой памяти RAM/VRAM, а для 2-битных XL-квантов и выше — более 30 ГБ. Для GGUF требуется совместимое локальное ПО, например llama.cpp или приложения на его основе; точные свойства зависят от выбранного варианта квантования. Модель распространяется по лицензии Apache-2.0.

Swift 1.5 Qwen3.8-27B — дообученная UkisAI мультимодальная модель рассуждений на базе Qwen/Qwen3.8-27B. Она предназначена для диалогов, программирования и многошаговых задач, включая работу с агентами и терминалом; заявленная цель дообучения — сократить лишние рассуждения и ускорить решение задач при сохранении качества. Модель имеет плотную архитектуру Qwen3.5, содержит 27 млрд параметров и принимает текст и изображения; в метаданных также указаны интерфейс вызова инструментов и поддержка vision. В README описаны оценки на задачах кодирования и агентного взаимодействия, а также тестирование с контекстом до 262 144 токенов. По данным разработчика, Swift 1.5 использует меньше токенов рассуждений и быстрее базовой модели на ряде задач; приведённые результаты зависят от задачи и режима оценки. Для использования доступны контрольная точка BF16 и отдельные квантованные экспорты. Лицензия указана как other; README ссылается на отдельные условия enterprise-лицензирования, поэтому перед применением следует проверить условия в карточке модели.

Mungert/cogito-v1-preview-llama-8B-GGUF — квантизированная GGUF-версия предварительной модели Cogito v1-preview, разработанной Deep Cogito. Однако представленная карточка описывает вариант на 70B параметров с базовой моделью Meta Llama 3.1 70B, поэтому соответствие заявленному идентификатору 8B не подтверждено. Модель предназначена для генерации текста по тексту и работает как instruction-tuned LLM. Cogito — гибридная reasoning-модель: она может отвечать напрямую в стандартном режиме или выполнять саморефлексию в режиме расширенного рассуждения. Модель оптимизирована для программирования, задач STEM, следования инструкциям, общей полезности и tool calling. Заявлена поддержка более 30 языков и контекстного окна до 128k токенов. Расширенное рассуждение включается специальной системной инструкцией или параметром enable_thinking в chat template. Поддерживаются одиночные, параллельные и комбинированные вызовы инструментов. К сильным сторонам относятся гибридный режим работы, заявленные улучшения многоязычности, программирования и вызова инструментов, а также обучение методом Iterated Distillation and Amplification. Ограничения карточки — отсутствие подробных числовых результатов тестов в текстовом виде и несоответствие между идентификатором 8B и описанием 70B. Модель распространяется по лицензии llama3.1; в карточке указано, что семейство выпущено под открытой лицензией с возможностью коммерческого использования.

DeepSeek-V2.5 — языковая модель компании DeepSeek, объединяющая возможности DeepSeek-V2-Chat и DeepSeek-Coder-V2-Instruct. Она предназначена для диалога, следования инструкциям, письма и генерации кода, а также поддерживает вызов внешних инструментов, JSON-вывод и заполнение пропусков в коде методом FIM. Модель построена на архитектуре DeepSeek-V2 и содержит 18,1 млрд параметров; для инференса в BF16 авторы указывают требование в 8 GPU по 80 ГБ. Контекстное окно составляет 163 840 токенов. Для запуска доступны веса safetensors и библиотека Transformers. README сообщает об улучшении результатов относительно предыдущих версий DeepSeek в нескольких оценках, включая AlpacaEval 2.0 и ArenaHard. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория. Среди практических ограничений — высокая потребность в GPU-памяти при запуске в BF16; README не описывает поддерживаемые естественные языки.

IntervitensInc/DeepSeek-V3.1-Terminus-Channel-int8 — производная версия DeepSeek-V3.1-Base, представленная как разговорная модель для генерации текста. Карточка описывает обновление DeepSeek-V3.1-Terminus, направленное на уменьшение смешения китайского и английского текста и аномальных символов, а также на улучшение Code Agent и Search Agent. Модель поддерживает чат и интерфейс вызова инструментов. По метаданным модель построена на архитектуре DeepseekV3ForCausalLM, содержит 37,6 млрд параметров, имеет контекстное окно до 163 840 токенов и распространяется в формате safetensors; заявлена библиотека Transformers. Подходит для диалогов, рассуждений, задач с кодом и поиска с использованием инструментов. README указывает, что структура модели совпадает с DeepSeek-V3, и отсылает к репозиторию DeepSeek-V3 для инструкций по локальному запуску. Лицензия — MIT. Карточка не приводит отдельных оценок качества именно этой копии и не раскрывает деталей, связанных с суффиксами Channel-int8; метаданные указывают формат safetensors и тег 8-bit.

Dolphin 2.9.3 Yi 1.5 34B 32k — разговорная языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations. Это дообученная на основе 01-ai/Yi-1.5-34B-32k плотная модель семейства Llama с 33,9 млрд параметров; она использует шаблон ChatML и формат PyTorch. Контекст базовой модели составляет 32 768 токенов, а дообучение проводилось с длиной последовательности 8 192 токена. Модель предназначена для диалогов, следования инструкциям, написания и анализа кода, решения математических задач, вызова функций и начальных агентных сценариев. В карточке перечислены наборы данных для диалогов, программирования, математики и работы с инструментами. Модель описана разработчиками как uncensored и склонная выполнять запросы без защитных ограничений, поэтому её ответы могут включать небезопасный или неэтичный контент. Лицензия Apache 2.0 разрешает коммерческое использование; разработчики рекомендуют самостоятельно добавить слой выравнивания перед предоставлением модели пользователям.

GLM-5 — диалоговая языковая модель семейства GLM, разработанная Z.ai. Она предназначена для решения сложных задач программирования и системной инженерии, многошаговых рассуждений и длительных агентных сценариев с использованием инструментов. В карточке описана модель на 744 млрд параметров с 40 млрд активных параметров; применяются архитектура MoE и механизм DeepSeek Sparse Attention (DSA), рассчитанный на эффективную работу с длинным контекстом. Метаданные этого репозитория указывают 30,4 млрд параметров и контекст до 202 752 токенов. Модель генерирует текст, поддерживает диалог и интерфейс вызова инструментов. В карточке заявлена поддержка английского и китайского языков. Для локального развёртывания README упоминает vLLM, SGLang и xLLM. Репозиторий распространяется по лицензии MIT. Размер модели и расхождение между описанием архитектуры в README и параметрами репозитория требуют внимания при выборе конкретного чекпойнта и конфигурации развёртывания.

Laguna S 2.1-NVFP4 — квантизированный вариант модели Laguna S 2.1, разработанный компанией Poolside. Это текстовая Mixture-of-Experts-модель, ориентированная на агентное программирование, работу с инструментами и длительные задачи на локальном компьютере. Модель поддерживает нативное рассуждение с чередованием этапов обдумывания и вызовов инструментов, причём рассуждение можно включать или отключать для каждого запроса. Модель содержит 117,6 млрд параметров, из которых 8,5 млрд активируются на каждом токене, 256 экспертов и одного общего эксперта. Архитектура включает 48 слоёв: 12 слоёв с глобальным вниманием и 36 слоёв со Sliding Window Attention, размер окна которого составляет 512 токенов. Используются per-head gating, позиционные rotary scales и соотношение локального и глобального внимания 3:1. Контекстное окно — до 1 048 576 токенов, модальность — text-to-text. KV-кэш квантизирован в FP8, а веса NVFP4 занимают примерно 71 ГБ. Сильные стороны модели — высокая эффективность инференса и сниженные требования к KV-кэшу благодаря разреженной MoE-архитектуре, поддержка сверхдлинного контекста, локальное развёртывание и специализация на разработке программного обеспечения. При контексте в 1 млн токенов возможно снижение качества. NVFP4 в настоящее время некорректно работает в SGLang; для локального использования заявлена поддержка vLLM, Transformers и TRT-LLM, а также Ollama и llama.cpp с другими форматами весов. Модель распространяется по лицензии OpenMDW-1.1, разрешающей свободное использование и модификацию для коммерческих и некоммерческих целей.

Llama-3_1-Nemotron-51B-Instruct — разработанная NVIDIA языковая модель для диалогов и генерации текста. Это производная Llama-3.1-70B-Instruct: NVIDIA применила поиск архитектуры NAS и дистилляцию, чтобы повысить эффективность инференса и сократить требования к памяти при небольшом снижении качества. По метаданным, модель содержит 87 млрд параметров и поддерживает контекст до 131 072 токенов; в описании дистилляции указана длина последовательности 8 192 токена. Модель предназначена для англоязычных одно- и многоходовых диалогов общего назначения, а также задач, связанных с кодом; README отмечает поддержку других языков, но не перечисляет их. Она принимает и выдаёт текст, поддерживает чат и интерфейс вызова инструментов. Архитектура — авторегрессионный трансформер-декодер с неодинаковыми блоками: переменным числом KV-голов, пропуском или упрощением внимания и переменным коэффициентом расширения FFN. NVIDIA указывает, что модель оптимизирована для высокопроизводительного запуска на одной H100 80 ГБ; для BF16 README приводит требования в две H100 80 ГБ или две A100 80 ГБ. Модель подходит для коммерческого применения согласно README. Метаданные указывают лицензию other, поэтому перед использованием следует ознакомиться с условиями NVIDIA. Модель может выдавать неточные, нерелевантные или токсичные ответы, отражать смещения обучающих данных и быть уязвимой к атакам на выравнивание; разработчик рекомендует применять защитные механизмы.