II.7DevOps, облако и эксплуатация IT-систем

Ling-2.6-1T — большая языковая модель семейства Ling, выпущенная inclusionAI. Она предназначена для сложных рабочих сценариев, включая программирование, многошаговое рассуждение и выполнение задач с инструментами. Карточка описывает гибридную архитектуру MLA и Linear Attention с MoE; метаданные указывают класс BailingMoeV2_5ForCausalLM и 59 млрд параметров. Контекст — до 262 144 токенов. Модель поддерживает диалог и интерфейс вызова инструментов, а в репозитории представлены веса safetensors в формате compressed-tensors. Модель подходит для генерации и исправления кода, агентных рабочих процессов и задач с длинным контекстом. README отмечает высокую эффективность вывода и сокращение многословных рассуждений, а также результаты на бенчмарках программирования, рассуждения и использования инструментов. Поддержка языков отдельно не перечислена; README упоминает возможные переключения языка при сложных инструкциях. Лицензия — MIT.

Nex-N2.5-Max — языковая модель семейства Nex-N2.5, разработанная компанией Nex-AGI. Она предназначена для агентных задач с длинной последовательностью действий в реальных средах: программирования, научных исследований, интеллектуальной работы, сложных сценариев продуктивности, автономного выполнения и тестирования программ, а также работы с компьютером и браузером. Модель относится к pipeline text-generation и поддерживает текстовые сценарии. Nex-N2.5-Max построена на текстовой архитектуре Mixture-of-Experts (MoE) с 1,6 триллиона параметров и стала для разработчика первой моделью, полностью дообученной в масштабе свыше триллиона параметров. По сравнению с мультимодальными моделями Nex-N2.5-mini и Nex-N2.5-Pro, версия Max описана как text-only, поэтому визуальная модальность для неё в README не заявлена. Среди сильных сторон указаны длительное автономное выполнение задач, самокоррекция и высокие результаты в тестах кодирования и агентных сценариев; при этом конкретные пределы контекста, поддерживаемые языки и требования к вычислительным ресурсам не приведены. Веса модели выпускаются с открытым исходным кодом по лицензии Apache-2.0.

QuantFactory/Qwen2.5-Coder-7B-Instruct-GGUF — квантизированная версия инструкционно дообученной модели Qwen2.5-Coder-7B-Instruct, созданная QuantFactory на основе обновлённых весов от 6 ноября 2024 года с использованием llama.cpp. Исходная модель относится к семейству специализированных языковых моделей Qwen для работы с кодом, разработанному командой Qwen; базовая модель указана как Qwen/Qwen2.5-Coder-7B. Модель предназначена для генерации, анализа, исправления и рассуждений по программному коду, а также для диалоговых сценариев и создания кодовых агентов. Она сохраняет возможности в математике и общих задачах. Модель поддерживает текстовый ввод и вывод, относится к causal language models и рассчитана на английский язык согласно метаданным карточки. Архитектура включает RoPE, SwiGLU, RMSNorm и смещения в QKV-внимании; используется Grouped Query Attention с 28 головами для Q и 4 для KV. Размер модели — 7,61 млрд параметров, из них 6,53 млрд без учёта embedding, число слоёв — 28. Заявленная максимальная длина контекста составляет 131 072 токена, однако конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах. Квантизация и формат GGUF ориентированы на запуск через llama.cpp и могут уменьшать требования к памяти по сравнению с полной версией, но конкретные характеристики зависят от варианта квантизации, который в карточке не указан. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-GPTQ-Int8 — инструкционная causal language model из серии специализированных моделей для программирования Qwen2.5-Coder, разработанной командой Qwen. Модель предназначена для генерации, анализа, рассуждений и исправления кода, создания code agents, а также общих текстовых и математических задач. Указанный репозиторий содержит GPTQ-квантизированную 8-битную версию базовой модели Qwen/Qwen2.5-Coder-7B-Instruct. Модель построена на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и bias в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует Grouped-Query Attention: 28 голов для Q и 4 для KV. Заявленная максимальная длина контекста — до 131 072 токенов, однако текущая конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN. Поддерживается текстовый ввод и вывод, основным языком в метаданных указан английский. Сильные стороны модели — специализация на программировании, улучшенные возможности генерации, рассуждений и исправления кода, а также сниженные требования к памяти благодаря 8-битной GPTQ-квантизации. При использовании YaRN на коротких текстах возможно снижение производительности из-за статического коэффициента масштабирования. Для работы рекомендуется актуальная версия transformers; также поддерживается развёртывание через vLLM. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8 — открытая FP8-квантованная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen компании Alibaba Cloud и подготовленной Red Hat AI. Это авторегрессионная языковая модель с vision encoder, предназначенная для генерации текста, рассуждений, программирования, агентных сценариев и вызова инструментов. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке запроса. Она содержит 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Поддерживаются текстовые и визуальные входы, однако конкретный набор языков в README не указан. Сильными сторонами модели заявлены агентное программирование, работа с frontend-задачами, рассуждение на уровне репозитория, сохранение контекста рассуждений и вызов инструментов. Квантование выполнено в формате fine-grained FP8 с размером блока 128; заявлена производительность, близкая к исходной модели. Вариант может быть предпочтителен на оборудовании, где вычислительные ресурсы превышают пропускную способность памяти. Для работы с vLLM требуются параметры reasoning-parser qwen3 и включение prefix caching; совместимость также заявлена с Transformers, SGLang и KTransformers. README не приводит подробных ограничений, полного набора языков или характеристик работы с изображениями. Модель распространяется по лицензии Apache-2.0. Артефакты проверены с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

Qwen3-Coder-Next-FP8 — открытая языковая модель компании Qwen, предназначенная прежде всего для coding agents, локальной разработки и интеграции с CLI- и IDE-инструментами. Она ориентирована на генерацию и анализ кода, длительные многошаговые задачи, использование инструментов и восстановление после ошибок выполнения. Модель поддерживает интеграцию с различными средами разработки, включая Claude Code, Qwen Code, Qoder, Kilo, Trae и Cline. Это причинная языковая модель с гибридной архитектурой Gated DeltaNet, Gated Attention и Mixture of Experts. Всего она содержит 80 млрд параметров, из которых активируется около 3 млрд; число параметров без учёта эмбеддингов составляет 79 млрд. Архитектура включает 48 слоёв, 512 экспертов MoE, 10 активируемых экспертов и одного общего эксперта. Нативная длина контекста — 262 144 токена. Доступна версия с fine-grained FP8-квантизацией с размером блока 128, что предназначено для более эффективного локального и серверного запуска. К сильным сторонам относятся высокая эффективность по числу активных параметров, поддержка длинного контекста и возможности агентного взаимодействия. Ограничение состоит в том, что модель работает только в режиме без рассуждений и не формирует блоки <think></think>; README также предупреждает о возможных проблемах с памятью при использовании максимального контекста. Модель распространяется по лицензии Apache 2.0.

Step-3.5-Flash-GGUF-Q4_K_S — это квантизированная версия Step 3.5 Flash от команды StepFun, созданная на базе stepfun-ai/step-3.5-flash и распространяемая в формате GGUF с квантизацией Q4_K_S. Модель предназначена для локального развёртывания и ориентирована на задачи рассуждения, программирования, агентного взаимодействия и обработки длинных документов или больших кодовых баз. В основе модели лежит разреженная архитектура Mixture of Experts (MoE): всего модель содержит 196 млрд параметров, из которых при генерации каждого токена активируется около 11 млрд. Используется 3-way Multi-Token Prediction (MTP-3), обеспечивающий заявленную скорость генерации примерно 100–300 токенов в секунду в типичных сценариях и до 350 токенов в секунду в однопоточном программировании. Контекстное окно составляет до 256 тысяч токенов благодаря сочетанию Sliding Window Attention и полноразмерного внимания. Для локального запуска модель адаптирована под llama.cpp; на NVIDIA DGX Spark заявлена скорость около 20 токенов в секунду, а INT8-квантизация KV-кэша позволяет использовать контекст до 256 тысяч токенов. Сильные стороны модели — сочетание высокой эффективности, поддержки длинного контекста, задач программирования и многошаговых агентных сценариев, а также возможность обработки данных локально с сохранением приватности. В качестве ограничений следует учитывать значительный общий размер модели и высокие требования к оборудованию, несмотря на разреженную архитектуру и квантизацию. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому их нельзя подтвердить. Модель распространяется по лицензии Apache 2.0.

Dolphin 2.9.4 Llama 3.1 8B — диалоговая модель на архитектуре Llama 3.1, дообученная Эриком Хартфордом и Cognitive Computations на базе Meta-Llama-3.1-8B. Она содержит около 7,5 млрд параметров, использует формат ChatML и поддерживает контекст до 131 072 токенов; при дообучении использовалась длина последовательности 8 192 токена. Модель предназначена для диалога и следования инструкциям, написания и разбора кода, математических задач и сценариев с агентными функциями и вызовом инструментов. В карточке заявлена поддержка инструкций на многих языках и высокая подчиняемость системным инструкциям. Это неконтент-фильтрованная модель, поэтому для публичного сервиса разработчик рекомендует самостоятельно добавить слой выравнивания. Распространяется по лицензии Llama 3.1.

GLM-5.3 — текстовая диалоговая модель Z.ai, представленная в репозитории Unsloth. По карточке модели, она использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. В каталожных метаданных производная отмечена как слияние с zai-org/GLM-5.3 и zai-org/GLM-5.3-BF16; архитектура относится к семейству GLM MoE DSA, размер — 30,4 млрд параметров. Модель предназначена для генерации текста в диалогах, сложного программирования и длительных агентских задач. Карточка сообщает о высоких результатах на тестах кодирования, работы с терминалом, уязвимостей и эксплуатации, но эти результаты не гарантируют аналогичного качества в каждом сценарии. Поддерживаются английский и китайский языки, а контекст составляет до 1 048 576 токенов. Параметр reasoning_effort управляет глубиной рассуждений и принимает значения low, high и max; по умолчанию используется max. Для локального развёртывания перечислены SGLang, vLLM, Transformers, KTransformers, Unsloth и другие среды. Формат файлов — safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

LongCat-2.0-INT8 — 8-битная версия крупной разреженной MoE-языковой модели LongCat-2.0, разработанная командой Meituan LongCat. Модель предназначена для генерации текста, понимания кода, редактирования репозиториев, автоматизированного выполнения задач и агентских рабочих процессов. В метаданных Hugging Face указаны 42,1 млрд параметров и контекст до 262 144 токенов; README базовой модели описывает архитектурные технологии LongCat Sparse Attention, N-gram Embedding и поддержку многотокенного предсказания.

Qwen2.5-Coder-14B-Instruct-GGUF — квантованная версия инструкционной модели Qwen2.5-Coder-14B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp; модель предназначена для локального использования и генерации текста с акцентом на программный код и взаимодействие в формате чата. Модель рассчитана на задачи разработки программного обеспечения и использование в code agents. По заявленным данным, она обучалась на объёме до 5,5 триллиона токенов, включавшем исходный код, текстово-кодовые соответствия и синтетические данные. Поддерживается контекст до 128K токенов благодаря масштабированию RoPE с коэффициентом 4,0. В карточке указана поддержка английского языка; параметры модальности ограничены текстом. Ключевое преимущество модели — специализация на коде, инструкциях и агентских сценариях, а также большой контекст, полезный для работы с крупными файлами и проектами. К ограничениям относятся возможные ошибки, неточности и нежелательный контент, характерные для генеративных моделей, а также влияние квантования на качество и требования к ресурсам. Модель распространяется по лицензии Apache 2.0.

QuantFactory/Qwen2.5-Coder-14B-Instruct-GGUF — это квантизированная версия инструкционно дообученной языковой модели Qwen2.5-Coder-14B-Instruct, созданная QuantFactory с использованием llama.cpp. Базовую модель разработала команда Qwen; она предназначена для генерации, анализа и исправления программного кода, решения задач по программированию, создания code agents, а также для математических и общеязыковых сценариев. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-матрицах внимания. Она содержит 14,7 млрд параметров, из них 13,1 млрд без учёта embedding, 48 слоёв и групповое запросное внимание GQA с 40 головами для Q и 8 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать качество на коротких текстах. В README указан английский язык, модальность — текст. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, улучшенная пригодность для прикладных инструментов разработки и сохранение математических и общих языковых возможностей. Ограничения связаны с требованиями к вычислительным ресурсам, особенностями развёртывания квантизированной версии и возможным влиянием статического масштабирования YaRN на производительность. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-14B-Instruct-GGUF — это инструкционно дообученная языковая модель для работы с кодом из серии Qwen2.5-Coder, разработанная командой Qwen при Alibaba Cloud. Модель предназначена для генерации, анализа, рассуждений и исправления программного кода, а также для создания кодовых агентов и решения задач, связанных с математикой и общими текстовыми запросами. Модель является каузальной языковой моделью в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-слоях внимания. Она содержит 14,7 млрд параметров, 48 слоёв и использует Grouped Query Attention с 40 головами для Q и 8 для KV. Полная длина контекста GGUF-версии составляет 32 768 токенов. Заявлена поддержка английского языка; модальность — текстовая. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также возможность локального запуска через совместимые инструменты, включая llama.cpp. Ограничения включают контекст до 32 768 токенов в GGUF-версии; для последовательностей до 131 072 токенов README рекомендует использовать не-GGUF-версии, поскольку расширение контекста через YARN в указанном сценарии поддерживается только vLLM. Модель распространяется по лицензии Apache-2.0.

duyntnet/Qwen2.5-Coder-14B-Instruct-imatrix-GGUF — набор imatrix-квантизаций 14-миллиардной instruction-tuned модели Qwen2.5-Coder, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации, анализа, рассуждений и исправления программного кода, а также для создания code agents и решения задач, связанных с математикой и общими языковыми компетенциями. Репозиторий распространяет модель в формате GGUF для запуска через llama.cpp, KoboldCPP, Ollama и совместимые интерфейсы. Это авторегрессионная causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Модель содержит 14,7 млрд параметров, из них 13,1 млрд без учёта embedding, 48 слоёв и схему GQA с 40 головами Q и 8 головами KV. Заявлена поддержка контекста до 131 072 токенов, однако стандартная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN с коэффициентом 4. Модель обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые данные и синтетические данные. В метаданных указано владение английским языком; сведения о мультимодальности отсутствуют. Сильными сторонами являются специализация на программировании, улучшенные возможности генерации, рассуждений и исправления кода, а также поддержка длинного контекста и локального запуска благодаря GGUF-квантизациям. Ограничения включают зависимость характеристик от конкретного варианта квантизации и настроек инференса, необходимость дополнительной конфигурации для контекста свыше 32 768 токенов и отсутствие подробных сведений о точных параметрах квантизации. Лицензия обозначена как other; конкретные условия использования в README не приведены.

Qwen2.5-Coder-32B-Instruct-GGUF — инструкционная версия специализированной серии больших языковых моделей для работы с кодом, разработанная командой Qwen. Модель предназначена для генерации, анализа, исправления и рассуждений по программному коду, а также для создания code agents и решения математических и общеязыковых задач. Доступна в формате GGUF для локального запуска, в частности с llama.cpp. Это авторегрессионная causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV и группированным запросным вниманием: 32,5 млрд параметров, 64 слоя, 40 голов Q и 8 голов KV. Базовая длина контекста GGUF-версии составляет 32 768 токенов. Указана поддержка квантований q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. В README заявлены улучшенные возможности генерации, рассуждений и исправления кода; модель обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые данные и синтетические данные. Язык в метаданных указан как английский. Сильными сторонами являются специализация на программировании, поддержка длинного контекста и доступность нескольких уровней квантования для разных требований к памяти. Ограничения связаны с размером модели и вычислительными ресурсами, необходимыми для локального запуска; для GGUF-версии полноразмерный контекст ограничен 32 768 токенами, а расширение до 131 072 токенов в README указано для неграфовых GGUF-вариантов через YARN и vLLM. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.6-27B-FP8 — открытая FP8-квантизованная версия Qwen3.6-27B, разработанной Alibaba Cloud и опубликованной в формате Hugging Face Transformers. Модель предназначена для генерации текста, рассуждений, агентного программирования, работы с репозиториями и вызова инструментов. Она совместима с Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder, содержит 27 млрд параметров и 64 слоя. Архитектура сочетает Gated DeltaNet и Gated Attention, поддерживает мультимодальный сценарий с изображениями и имеет нативный контекст 262 144 токена, расширяемый до 1 010 000 токенов. В README не указаны поддерживаемые языки. Для вызова инструментов предусмотрена поддержка tool calling с парсером qwen3_coder; включение режима reasoning выполняется через параметры совместимого сервера. К сильным сторонам относятся оптимизация для реальных задач программирования, фронтенд-разработки, репозиторного анализа и агентных рабочих процессов, а также близкая к исходной модели производительность после мелкозернистой FP8-квантизации с размером блока 128. Ограничения включают зависимость качества и функциональности от совместимого inference-стека и настроек reasoning и tool calling; конкретные требования к оборудованию и полный набор языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

CodeQwen1.5-7B-Chat-GGUF — специализированная языковая модель для работы с программным кодом, основанная на Qwen1.5 и разработанная командой Qwen. Это трансформерная decoder-only модель, предварительно обученная на примерно 3 триллионах токенов кода. Представленная версия распространяется в формате GGUF с несколькими уровнями квантования, включая q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, размером файла и требованиями к ресурсам. Модель предназначена для генерации и понимания кода, исправления ошибок, задач text-to-SQL и диалогового взаимодействия по вопросам программирования. Она поддерживает контекст длиной до 64K токенов, 92 языка программирования и использует Group Query Attention (GQA) для более эффективного вывода. К сильным сторонам относятся специализация на коде, заявленная конкурентоспособность на ряде бенчмарков и поддержка длинного контекста. Ограничения включают зависимость качества и скорости от выбранного уровня квантования, а также необходимость запуска через совместимое программное обеспечение, например llama.cpp. Модель распространяется по лицензии tongyi-qianwen; точные условия следует уточнять в файле лицензии репозитория.

DeepSeek-Coder-V2-Instruct — открытая языковая модель для работы с кодом, разработанная DeepSeek AI. Представленная версия является AWQ-квантизированным вариантом instruct-модели DeepSeek-Coder-V2, предназначенной для диалогового взаимодействия и выполнения инструкций в задачах программирования, математического рассуждения и обработки текста. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и имеет 236 млрд общих параметров, из которых при обработке активируется около 21 млрд. Контекст поддерживает до 128 тысяч токенов. DeepSeek-Coder-V2 расширяет поддержку языков программирования с 86 до 338 и сохраняет возможности для общих языковых задач. Данная версия квантизирована в формате int4/AWQ; для неё указано значение perplexity 5,325 на квантизированной оценке. Сильные стороны модели — специализация на генерации, анализе и сопровождении кода, математическом рассуждении, большой контекст и сниженные требования к памяти благодаря квантизации. Ограничения включают возможную потерю качества из-за квантизации, высокие вычислительные требования крупной MoE-модели и отсутствие в представленном README подробных сведений о языках естественного общения, точном формате запуска и системных требованиях. Модель распространяется по лицензии DeepSeek License; в метаданных указано имя лицензии deepseek-license.

Jupiter-G-8B — дообученная мультимодальная модель Locai Labs на базе Google Gemma 4 E4B Instruct. Это плотная модель условной генерации, опубликованная в формате safetensors и распространяемая по лицензии Apache-2.0. Она предназначена для следования инструкциям, генерации кода и агентных сценариев, включая работу с терминалом; дообучение также направлено на сохранение исходных знаний и навыков рассуждения. В карточке сообщается об улучшениях относительно базовой Gemma 4 E4B Instruct на IFEval, IFBench и LiveCodeBench, а также о снижении показателя вредных ответов AgentHarm. Для сохранения исходных возможностей применялась техника Forget-Me-Not с синтетическими ответами базовой модели; обучение включало данные UltraChat, терминальные траектории Nemotron и задачи программирования. Метаданные указывают поддержку задачи any-to-any, а описание базовой модели — обработку текста, изображений и аудио. Число параметров и длина контекста для самой Jupiter-G-8B в предоставленных данных не указаны.

Ornith-1.5-9B — плотная языковая модель примерно на 9 млрд параметров семейства Qwen3.5, представленная в карточке как лёгкая модель семейства Ornith-1.5. Она предназначена для диалогов и агентных сценариев, включая программирование, решение задач с инструментами и работу с длинными входными данными. Модель поддерживает вызов инструментов через совместимый с OpenAI интерфейс и контекст до 262 144 токенов; README описывает расширение окна примерно до миллиона токенов с помощью YaRN, с возможным снижением качества на обычных запросах. В карточке Ornith-1.5 описана как результат развития Ornith-1.0 с генерацией обучающих задач, поиском стратегий и обучением с подкреплением; указанная модель позиционируется как вариант для эффективного развёртывания. Представлены результаты бенчмарков для программных и агентных задач, а также измерения показывают меньше отказов, чем у сравниваемой исходной модели. Репозиторий содержит веса safetensors и использует Transformers. Лицензия — MIT. README указывает на плотную архитектуру Qwen3.5 и размер около 9 млрд параметров, однако также описывает семейство как основанное на Qwen3.5 и Gemma4; точную связь именно этого чекпойнта с базовой моделью из доступных сведений установить нельзя. Метаданные включают тег image-text-to-text, но карточка описывает текстовое поколение и не подтверждает визуальный ввод для этой версии.

Qwen2.5-Coder-32B-Instruct-AWQ — инструкционная версия специализированной серии больших языковых моделей для программирования Qwen2.5-Coder, разработанной командой Qwen от Alibaba Cloud. Модель предназначена для генерации, анализа, рассуждений и исправления исходного кода, а также для создания приложений на основе code agents. Она сохраняет возможности в математике и общих текстовых задачах и может использоваться в диалоговых сценариях и задачах text generation. Это причинная языковая модель на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и Grouped-Query Attention: 40 голов для Q и 8 для KV. Модель содержит 32,5 млрд параметров, 64 слоя и 31 млрд параметров без учёта эмбеддингов. В данном репозитории представлена 4-битная AWQ-квантизированная версия после дообучения по инструкциям. Заявлена поддержка контекста до 131 072 токенов; для входов свыше 32 768 токенов требуется включение YaRN, при этом статическое масштабирование может ухудшать производительность на коротких текстах. В README указан английский язык. Сильные стороны модели — специализация на программировании, улучшенные генерация, рассуждение и исправление кода, большой контекст и сниженные требования к памяти благодаря 4-битной квантизации. Ограничения включают возможное снижение качества или скорости при работе с длинным контекстом через YaRN, а также неуказанные в README точные требования к оборудованию, пропускная способность и результаты отдельных тестов. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-3B-Instruct-AWQ — языковая модель для генерации текста и программного кода, разработанная командой Qwen. Она предназначена для генерации, анализа, рассуждений и исправления кода, а также для создания кодовых агентов и решения задач, где требуются математические и общие языковые способности. Модель является instruction-tuned версией Qwen2.5-Coder-3B и поддерживает диалоговый формат взаимодействия. Модель представляет собой causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV внимания и связанными эмбеддингами слов. Она содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, 36 слоёв и механизм GQA с 16 головами для Q и 2 для KV. Максимальная длина контекста составляет 32 768 токенов. Данная версия использует 4-битную AWQ-квантизацию, что снижает требования к памяти, но может повлиять на точность по сравнению с полноразмерной версией. В README явно указан английский язык; модальность — текстовая. Сильными сторонами модели являются специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также сочетание кодовых, математических и общих языковых возможностей. Для работы рекомендуется актуальная версия библиотеки Transformers; версия ниже 4.37.0 может быть несовместима. Модель распространяется по лицензии Qwen Research, точные условия которой приведены в указанном файле лицензии.

Qwen2.5-Coder-3B-Instruct-GGUF — инструкционно дообученная языковая модель для работы с программным кодом из серии Qwen2.5-Coder, разработанная командой Qwen. Она предназначена для генерации, анализа, рассуждений и исправления кода, а также для создания диалоговых приложений и code agents. Модель сохраняет общие способности в математике и других текстовых задачах. Модель использует авторегрессионную архитектуру causal language model с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит 3,09 млрд параметров, 36 слоёв и GQA с 16 головами для Q и 2 для KV. Полный контекст составляет 32 768 токенов. Репозиторий предоставляет GGUF-квантизации q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0, подходящие для локального запуска, в частности через llama.cpp. В метаданных указан английский язык; модальность — текстовая. К сильным сторонам относятся специализация на программировании, улучшенные генерация, рассуждения и исправление кода, а также широкий выбор квантизаций для локального использования. Ограничения включают размер контекста 32 768 токенов для GGUF-версии и отсутствие заявленной поддержки последовательностей до 131 072 токенов в этом формате; для такой длины рекомендуется использовать не-GGUF-модели. Указана лицензия qwen-research; точные условия следует уточнять в файле лицензии.

QuantFactory/Qwen2.5-Coder-7B-GGUF — квантизированная версия языковой модели Qwen2.5-Coder-7B, созданная QuantFactory с использованием llama.cpp на базе Qwen/Qwen2.5-7B. Модель предназначена для генерации, анализа и исправления программного кода, задач code reasoning, заполнения кода и построения приложений, включая code agents. Она также сохраняет возможности для математики и общих текстовых задач, однако базовая, не дообученная версия не рекомендуется для диалогового использования. Это каузальная языковая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений QKV в механизме внимания. Модель содержит 7,61 млрд параметров, из них 6,53 млрд — без учёта embedding-слоя, имеет 28 слоёв и групповое разделение запросов и ключей/значений: 28 голов Q и 4 головы KV. Заявлена поддержка контекста до 131 072 токенов; для входов свыше 32 768 токенов требуется настройка YaRN, при этом статическое масштабирование может снижать качество на коротких текстах. В README указан английский язык и текстовая модальность. К сильным сторонам относятся специализация на программировании, улучшения генерации, рассуждения и исправления кода, а также возможность работы с длинным контекстом. Ограничения включают необходимость корректной настройки YaRN для очень длинных входов, потенциальное влияние этой настройки на короткие тексты и отсутствие рекомендаций использовать базовую модель для обычных разговоров. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-MTP-GGUF — GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Alibaba Qwen. Это разреженная мультимодальная модель Mixture-of-Experts с 35 млрд общих параметров и примерно 3 млрд активных параметров на токен. Модель принимает текст, изображения и видео, поддерживает английский язык и имеет контекст до 262 тысяч токенов; заявлено расширение до 1 млн токенов с помощью YaRN. Модель предназначена прежде всего для агентного программирования, работы с кодом, фронтенд-задач, анализа репозиториев, мультимодальных сценариев и интеграции с инструментами. Она поддерживает вызов функций, структурированный вывод и режимы рассуждения. Архитектура сочетает линейное внимание Gated DeltaNet со стандартными слоями gated attention. Формат MTP добавляет несколько выходных голов для предсказания будущих токенов и ускорения спекулятивного декодирования без отдельной draft-модели. К сильным сторонам относятся большой контекст, мультимодальность, низкое число активных параметров относительно общего размера и возможность локального запуска в различных вариантах квантования; заявленное потребление для некоторых конфигураций составляет около 21–24 ГБ VRAM. Ограничения включают значительные требования к памяти для BF16/F16 и снижение качества при более агрессивном квантовании. Доступны файлы GGUF размером примерно от 13,2 до 71,1 ГБ и отдельные мультимодальные проекторы. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-Coder-Next-FP8-Dynamic — FP8 Dynamic 2.0-квантизированная версия открытой весовой языковой модели Qwen3-Coder-Next, разработанная Qwen и адаптированная Unsloth. Модель предназначена прежде всего для coding agents, локальной разработки, генерации и анализа кода, длительных многошаговых задач, работы с инструментами и интеграции с CLI- и IDE-средами. Это авторегрессионная causal language model с гибридной архитектурой Gated DeltaNet, Gated Attention и Mixture of Experts. Всего модель содержит 80 млрд параметров, из которых активируются 3 млрд; без учёта embedding — 79 млрд. Архитектура включает 48 слоёв, 512 экспертов MoE, 10 активируемых экспертов и один общий эксперт. Нативная длина контекста — 262 144 токена. Модель работает только в non-thinking режиме и не генерирует блоки <think></think>. README не указывает поддерживаемые языки или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — высокая вычислительная эффективность при малом числе активных параметров, поддержка длинного контекста, многошагового агентного рассуждения, сложного использования инструментов и восстановления после ошибок выполнения. Ограничения включают высокие требования к памяти и инфраструктуре из-за общего размера 80 млрд параметров; при нехватке памяти рекомендуется уменьшать контекст. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-Flash — дообученная модель, опубликованная Jackrong на базе Qwen3.8-27B. Она предназначена для практических агентских сценариев, в которых модель многократно взаимодействует с инструментами: анализирует данные, генерирует и редактирует код, вызывает функции, наблюдает результаты и выполняет итеративные задачи. Модель ориентирована на снижение задержки, вычислительных затрат и склонности к избыточно длинным рассуждениям при сохранении широких общих возможностей. Модель имеет размер 27B параметров и распространяется в формате GGUF для локального запуска, в том числе через llama.cpp. Заявлена поддержка текстово-визуальных задач и обработки изображений, а также генерации текста, рассуждений, программного кода, tool use и function calling. В метаданных указаны английский, китайский, испанский, русский и японский языки. Контекстное окно и точные архитектурные характеристики не указаны. Обучение включало качественную выборку данных supervised fine-tuning и усиление рассуждений с использованием NVIDIA NeMo-RL и GSPO. К сильным сторонам относятся более быстрая генерация, заявленные 80,7% принятия токенов MTP, снижение неэффективных рассуждений и пригодность для длительных агентских цепочек. При этом README указывает на компромисс в качестве: результат на смешанном наборе MMLU-Pro ниже, чем у базовой модели. Известно ограничение в виде возможных ошибок отступов в Python в отдельных задачах программирования. Модель распространяется по лицензии Apache-2.0.

Zero Qwen3-8B OpenZero — локальная текстовая генеративная модель в формате GGUF, разработанная для экосистемы OpenZero и опубликованная пользователем shafire. Она основана на Qwen/Qwen3-8B и представляет собой полностью объединённую standalone-сборку: отдельный адаптер и базовая модель не требуются. Модель совместима с llama.cpp и Ollama, а также может использоваться через OpenAI-совместимый локальный сервер OpenZero. Модель предназначена для агентного программирования, отладки, ревью кода, планирования тестов, исследовательских задач, синтеза информации с проверкой утверждений, выбора и вызова инструментов, а также автономных многошаговых рабочих процессов. Поддерживаются режимы Qwen3 /no_think для быстрых циклов с инструментами и /think для более сложных исследовательских и программных задач. В карточке указан английский язык; модальность — текстовая, pipeline относится к text-generation. Для запуска приведена конфигурация контекста 8192 токена, однако максимальный контекст модели явно не указан. Доступны квантованный вариант Q5_K_M размером около 5,45 GiB, рекомендованный для локального использования с практичными требованиями к CPU и RAM, и сборка F16 размером около 13,82 GiB для более высокой точности и последующей квантизации. К сильным сторонам относятся автономность, локальное выполнение, совместимость с CPU, llama.cpp и Ollama, а также ориентация на агентные сценарии и проверку результатов. Ограничения включают зависимость качества и скорости от аппаратного обеспечения и выбранной квантизации; приведённый тест на Intel Core i7-2600 показал около 2,45 токена в секунду при генерации. Лицензия указана как other с названием openzero-community-source-v1; дополнительные условия в карточке не приведены.

InternScience/Agents-A1-4B-Q8_0-GGUF — квантованная версия Agents-A1-4B, разработанная командой InternScience и предназначенная для локального запуска в формате GGUF с квантованием Q8_0. Модель относится к классу агентных языковых моделей и ориентирована на работу в связке с инструментами и внешними источниками данных. Модель предназначена для многошагового поиска, инженерных и научных задач, следования сложным инструкциям, профессиональных вопросов, планирования и вызова инструментов. Она умеет разбивать сложные задачи на последовательность действий, учитывать промежуточные результаты и взаимодействовать с API, интерпретаторами кода, поисковыми системами и другими инструментами. Базовая версия Agents-A1-4B является плотной моделью примерно на 4 млрд параметров; заявлена поддержка текстовой генерации, function calling и агентных сценариев. Языки и максимальная длина контекста в README не указаны. К сильным сторонам относятся агентное рассуждение, работа с длинными горизонтами задач, инструментами, научной и профессиональной информацией, а также высокая эффективность по сравнению с более крупными моделями. Ограничения этой конкретной GGUF-сборки, требования к оборудованию, совместимые рантаймы и возможное влияние квантования на качество отдельно не описаны. Модель распространяется по лицензии Apache-2.0.

TheBloke/CodeLlama-70B-Instruct-GGUF — это квантизированная версия CodeLlama 70B Instruct, разработанной Code Llama и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации и понимания программного кода, а также для диалоговых сценариев с инструкциями. Она относится к семейству Llama и доступна в вариантах квантизации от 2 до 8 бит для запуска на CPU и GPU. Модель содержит около 70 миллиардов параметров и работает как текстовая модель генерации с поддержкой входных инструкций и запросов на естественном языке и коде. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Разные уровни квантизации позволяют выбирать компромисс между требованиями к памяти, скоростью и сохранением качества, однако более сильная квантизация может снижать точность ответов. В README не указаны поддерживаемые естественные языки и размер контекстного окна. Модель распространяется по лицензии Llama 2. Для работы требуется совместимый рантайм, например llama.cpp, а конкретные требования к ресурсам зависят от выбранного варианта квантизации.