II.7DevOps, облако и эксплуатация IT-систем

Qwen2.5.1-Coder-7B-Instruct-GGUF — это квантизированная версия инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с программным кодом: она подходит для написания, объяснения и исправления кода, а также для диалоговых сценариев с использованием системных и пользовательских инструкций. В README заявлена поддержка английского языка. Модель имеет размер 7 миллиардов параметров. Доступны варианты от F16 до различных уровней квантизации Q8_0, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Квантизации выполнены с помощью llama.cpp и imatrix; отдельные варианты оптимизированы для ARM-процессоров. Более компактные версии удобны для локального запуска, в том числе через LM Studio, однако снижение разрядности может уменьшать качество генерации. Длина контекста, полный список поддерживаемых языков и результаты бенчмарков в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-14B-Instruct-bnb-4bit — 4-битная квантизированная версия инструкционной языковой модели Qwen2.5-Coder-14B-Instruct, разработанной командой Qwen. Модель предназначена для генерации, анализа и исправления программного кода, задач кодового рассуждения, текстово-кодового взаимодействия и создания приложений на основе code agents. Она также сохраняет возможности для математических и общих языковых задач. Модель относится к causal language models и использует архитектуру Qwen2.5-Coder с RoPE, SwiGLU, RMSNorm, смещениями в QKV внимания и связанными эмбеддингами слов. В названии указано 14 млрд параметров и 4-битное представление bnb, однако README не приводит подробные характеристики именно этой версии, включая точную длину контекста, число слоёв, модальности и список поддерживаемых языков. Указан английский язык. К сильным сторонам относятся специализация на программировании, улучшения в генерации, рассуждении и исправлении кода, а также сниженные требования к памяти благодаря квантизации. Ограничения и результаты конкретной версии в README подробно не описаны. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки transformers; версии ниже 4.37.0 могут вызывать ошибку, связанную с архитектурой qwen2.

unsloth/Qwen2.5-Coder-1.5B-Instruct-bnb-4bit — это 4-битно квантованная instruction-tuned версия языковой модели Qwen2.5-Coder-1.5B, разработанной командой Qwen от Alibaba Cloud и опубликованной в формате, подготовленном Unsloth. Модель предназначена для генерации, анализа и исправления программного кода, кодового рассуждения, создания code agents, а также задач общего назначения и математики. Модель является авторегрессионной causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, 28 слоёв и использует GQA с 12 головами для Q и 2 для KV. Заявлена поддержка контекста до 131 072 токенов. В README указан английский язык; модальность — текстовая. Квантование bnb-4bit снижает требования к памяти и облегчает локальный запуск, но может ограничивать точность по сравнению с полноразмерной версией. Сильными сторонами модели являются специализация на программировании, улучшенные возможности генерации, рассуждения и исправления кода, большой контекст и компактный размер. Ограничения включают небольшой объём модели по сравнению с более крупными системами, возможное снижение качества из-за 4-битного квантования и отсутствие в предоставленных данных подробных результатов бенчмарков, списка поддерживаемых языков программирования и оценки надёжности ответов. Модель распространяется по лицензии Apache-2.0; для работы рекомендуется использовать актуальную версию библиотеки transformers.

unsloth/Qwen2.5-Coder-32B-Instruct-bnb-4bit — 4-битная версия модели Qwen2.5-Coder-32B-Instruct, разработанной командой Qwen и подготовленной с использованием Unsloth. Это каузальная языковая модель, ориентированная прежде всего на работу с программным кодом. Модель предназначена для генерации, анализа и исправления кода, решения задач программирования, кодового рассуждения и создания приложений с использованием code agents. Она также сохраняет возможности базовой серии Qwen2.5 в математике и общих текстовых задачах. В README заявлена поддержка английского языка. Суффикс bnb-4bit указывает на 4-битное квантованное представление, рассчитанное на более экономичное использование памяти. Заявлено 32 миллиарда параметров, однако приведённые в README подробности об архитектуре, числе слоёв и контекстном окне относятся к другой конфигурации Qwen2.5-Coder объёмом 0,5 миллиарда параметров и не подтверждают характеристики именно этой версии. Поэтому точные параметры архитектуры и размер контекста данной сборки следует уточнять отдельно. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/Qwen2.5-Coder-32B-Instruct-GGUF — это набор GGUF-квантизованных вариантов Qwen2.5-Coder-32B-Instruct, базовой модели семейства Qwen, разработанной командой Qwen. Квантизация выполнена с использованием llama.cpp и метода imatrix с калибровочным файлом Bartowski. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования и диалогового взаимодействия с кодом. Доступны варианты квантизации от IQ1_S до Q5_K_M, размером примерно от 6,9 до 21,6 ГБ. README приводит показатели perplexity, размера и точности для отдельных вариантов: более крупные квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. Поддерживается текстовый ввод и вывод; заявлен язык en. Архитектура, размер контекста и полный перечень языков в карточке не указаны. Сильная сторона набора — широкий выбор компромиссов между размером файла, требованиями к ресурсам и качеством, а также совместимость с экосистемой llama.cpp благодаря формату GGUF. Ограничения связаны с потерями качества, характерными для квантизации, и значительными требованиями к памяти у 32B-модели; конкретные характеристики зависят от выбранного варианта. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-Instruct-MLX-8bit — это 8-битная MLX-квантизация инструкционной модели Qwen2.5-Coder-32B-Instruct, разработанной Qwen. Квантизацию подготовил bartowski на основе инструментов mlx-examples; модель распространяется в рамках программы Community Models для LM Studio и предназначена для запуска на компьютерах Mac с Apple Silicon. Модель ориентирована на генерацию и анализ исходного кода, работу с текстом и кодом, диалоговые сценарии и использование в code agents. В README указана поддержка длинного контекста до 128K токенов с масштабированием RoPE через YaRN с коэффициентом 4.0. Объём исходной модели составляет 32B параметров, а обучение проводилось максимум на 5,5 триллиона токенов, включая исходный код, текстово-кодовые соответствия и синтетические данные. Заявленный язык — английский. К сильным сторонам относятся специализация на программировании, поддержка длинного контекста и возможность локального запуска на совместимых Mac благодаря MLX-квантизации. Ограничения включают зависимость от Apple Silicon и потенциальные ошибки, неточности или небезопасные ответы, характерные для генеративных моделей. В README также указано, что модель предоставляется третьими сторонами, а LM Studio не гарантирует её точность, надёжность или соответствие требованиям пользователя. Лицензия модели — Apache-2.0.

lmstudio-community/Qwen2.5-Coder-3B-Instruct-GGUF — это квантованная в формате GGUF версия Qwen2.5-Coder-3B-Instruct, разработанной командой Qwen. Квантование выполнено bartowski на основе llama.cpp, релиз b4014. Модель предназначена для генерации текста и кода, диалогового взаимодействия и использования в Code Agents. Модель имеет размер 3B параметров и поддерживает контекст до 32K токенов. При обучении использовалось до 5,5 триллиона токенов, включая исходный код, данные для выравнивания текста и кода, а также синтетические данные. В метаданных указано английское языкoвое направление. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в приложениях, поддерживающих этот формат. К сильным сторонам относятся специализация на программировании, большой контекст и адаптация к сценариям с агентами для работы с кодом. Ограничениями являются относительно небольшой размер по сравнению с крупными моделями, возможные потери качества из-за квантования и стандартный риск генерации неточного, небезопасного или ошибочного кода. В README указана лицензия qwen-research; точные условия следует проверять в оригинальной лицензии Qwen.

legraphista/Qwen2.5-Coder-7B-Instruct-IMat-GGUF — GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также решения задач, связанных с программированием. В метаданных указан английский язык и поддержка text-generation. Модель содержит около 7 миллиардов параметров и распространяется в формате GGUF для запуска с использованием llama.cpp и совместимых инструментов. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; часть низкобитных вариантов использует IMatrix для улучшения качества при квантизации. Преимуществами являются широкий выбор размеров файлов и возможность локального запуска, а ограничениями — потенциальная потеря качества в более агрессивно квантизированных версиях, отсутствие мультимодальности и неуказанный в README размер контекста. Квантизацию выполнил legraphista с использованием llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-MLX-8bit — это 8-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-Coder-7B-Instruct. Базовую модель разработала команда Qwen, квантизацию предоставил bartowski на основе инструментов mlx-examples. Модель предназначена для генерации текста и кода, диалогового взаимодействия, задач программирования и использования в code agent-сценариях, в частности на компьютерах Mac с Apple Silicon. Модель обучалась на объёме до 5,5 триллиона токенов, включая исходный код, данные для связывания текста и кода и синтетические данные. Заявлена поддержка длинного контекста до 128 000 токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. В карточке явно указан английский язык; другие языки и дополнительные модальности не заявлены. Ключевое ограничение — специализация на текстовых и кодовых задачах, а также необходимость совместимого оборудования Apple Silicon для данной MLX-версии. Как и другие языковые модели, она может генерировать неточный, вредный или нежелательный контент. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

AaryanK/Qwen3.6-27B-GGUF — это квантизированная версия Qwen3.6-27B, разработанной командой Qwen. Модель предназначена для генерации текста, агентного программирования, работы с репозиториями и фронтенд-задачами, а также для сценариев, требующих вызова инструментов и обработки мультимодальных данных. Она поставляется в формате GGUF и рассчитана на локальный запуск с совместимыми средствами, включая llama.cpp. Модель содержит 27 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + Gated Attention с 64 слоями и vision encoder. Она поддерживает текстовые и визуальные входы, включая изображения и видео, заявленные языковые возможности включают английский язык. Нативная длина контекста составляет 262 144 токена; также указана возможность расширения до 1 010 000 токенов. Модель поддерживает Thinking Mode, сохранение контекста рассуждений между сообщениями и вызов инструментов. К сильным сторонам относятся длинный контекст, мультимодальность, возможности агентного кодирования и сохранение рассуждений в итеративных рабочих процессах. Ограничения связаны с требованиями к совместимости: для гибридной архитектуры нужна актуальная версия llama.cpp, а объём памяти зависит от выбранного файла квантизации и длины контекста. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-MXFP4 — языковая модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Исходную модель и объединение весов GAIN разработал DavidAU, а квантизацию и упаковку в формат OCP Microscaling MXFP4 выполнила Solstice-AI. Модель ориентирована на рассуждения, программирование, агентную разработку ПО, отладку репозиториев, управление компьютерными и мобильными интерфейсами, а также выполнение задач с длинным контекстом и сложными ограничениями. Заявлена поддержка английского и китайского языков. Модель содержит 27 миллиардов параметров и рассчитана на контекст до 262 144 токенов. В архитектуре заявлены гибридное внимание Qwen 3.8 с блоками Gated Delta Recurrent Network и Grouped-Query Attention, аппаратная Multi-Token Prediction для ускорения генерации, а также мультимодальный компонент пространственно-временного 3D-зрения для анализа схем, интерфейсов кода и видеокадров. Формат MXFP4 использует 4-битные значения с 8-битным масштабированием блоков; для работы рекомендуются Anvil Runtime и vLLM на современном оборудовании AMD, Intel Gaudi и Tensor Core. README заявляет высокие результаты на SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и CoWorkBench, а также превосходство над Claude Opus 4.6 Max в приведённых тестах, однако методика и независимое подтверждение этих утверждений требуют отдельной проверки. Ограничения включают зависимость производительности от совместимого рантайма и оборудования, возможные особенности MXFP4-квантизации и заявленный режим uncensored, который может требовать дополнительных мер безопасности при использовании. Лицензия — Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-NVFP4 — релиз Solstice-AI, основанный на модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Это 27-миллиардная языковая модель с поддержкой английского и китайского языков, оптимизированная для работы на оборудовании NVIDIA Blackwell и Ada Lovelace в формате NVFP4. Указана поддержка контекста до 262 144 токенов. Модель также заявлена как мультимодальная: вместе с ней поставляется компонент mmproj-BF16.gguf для анализа изображений, архитектурных схем, пользовательских интерфейсов и видеокадров. Архитектура сочетает гибридное линейное внимание Qwen 3.8: 75% слоёв используют Gated Delta Recurrent Network с линейной сложностью по памяти, а 25% — Grouped-Query Attention. В модель включены Multi-Token Prediction с заявленной генерацией двух токенов за проход и объединение весов Cold Fusion GAIN. Разработчики позиционируют её для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, управления компьютером и мобильными устройствами, а также выполнения длинных многофайловых сценариев. README приводит высокие результаты на SWE-bench Pro, LiveCodeBench v6, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench и тестах ARC, однако эти показатели представлены самими разработчиками и требуют независимой проверки. Заявленная оптимизация ориентирована на NVIDIA Blackwell, включая B200, GB200 и RTX 5090; также упоминается совместимость с RTX 4090. Модель описана как uncensored и может иметь ослабленные ограничения отказа, что следует учитывать при эксплуатации. Лицензия — Apache 2.0.

Qwen3.8-9B-Coder — компактная кодовая языковая модель, разработанная Empero на основе дистилляции Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B. LisyNeko выполнил дообучение для задач программирования и восстановил поддержку изображений с помощью vision-проектора. Модель перепакована nullsumlabs в формате GGUF для совместимости с LM Studio, llama.cpp и Ollama. Модель предназначена для генерации, исправления и рефакторинга кода, объяснения ошибок, решения математических и логических задач, следования инструкциям и вызова функций. Поддерживает текстовый и графический ввод, заявленный язык — английский. Нативное контекстное окно составляет 262 144 токена. Архитектура qwen35 представляет собой гибридную causal language model с чередованием Linear SSM/Gated DeltaNet и Gated Attention, 33 блоками, grouped-query attention и встроенным multi-token prediction. Доступная сборка Q4_K_M занимает около 5,8 ГБ, а vision-проектор в формате BF16 — около 879 МБ. Сильными сторонами являются специализация на программировании, дистиллированные трассы рассуждений, поддержка function calling, большой контекст и возможность работы с изображениями. Ограничения включают зависимость от GGUF-совместимых приложений вместо стандартного Transformers pipeline, необходимость отдельного vision-проектора для обработки изображений и возможные потери качества из-за квантования Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct — инструктивная языковая модель для программирования от команды Qwen. Это причинная модель семейства Qwen3 MoE: всего 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; в архитектуре 48 слоёв и 128 экспертов, из которых задействуются 8. Модель принимает текст и выдаёт текст, поддерживает контекст до 262 144 токенов и интерфейс вызова инструментов. Модель предназначена для генерации и анализа кода, агентного программирования и использования в браузерных сценариях. Большое окно контекста помогает разбирать целые репозитории; модель также поддерживает специальный формат вызова функций. Выпускается только в режиме без рассуждений (non-thinking) и не генерирует блоки ``` в ответах. Доступна по лицензии Apache-2.0.

QuantTrio/Qwen3-Coder-30B-A3B-Instruct-AWQ — 4-битная AWQ-квантизированная версия Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Это причинная языковая модель для генерации текста и программного кода, включая агентное программирование, использование браузера, понимание репозиториев и вызов функций в совместимых инструментах и платформах. Исходная модель имеет MoE-архитектуру с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса, 48 слоями, 128 экспертами и 8 активными экспертами. Используется GQA с 32 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN может быть расширена до 1 млн токенов. Модель работает только в режиме без рассуждений и не генерирует блоки <think></think>. Поддерживаются текстовые сценарии; сведения о конкретном наборе языков в README не приведены. К сильным сторонам относятся высокая эффективность MoE-архитектуры, задачи программирования, агентские сценарии, вызов инструментов и работа с длинным контекстом. Основное ограничение этой версии — существенная потеря качества при 4-битной квантизации, поэтому её следует использовать с осторожностью. Для запуска через vLLM требуется версия 0.10.0 или совместимая, включённый экспертный параллелизм и подходящая GPU-конфигурация; в README приведён сценарий запуска на четырёх GPU с контекстом 32 768 токенов. Распространение указано по лицензии Apache-2.0.

Карточка модели falloutxvats/Aero-Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Baanzon-Chenni-1.5-9B — плотная языковая модель на 9,65 млрд параметров, построенная на архитектуре Qwen3.5 и опубликованная Devopsopraiz. Она предназначена для генерации текста в задачах автономной разработки ПО, технического анализа и оркестрации локальных агентных сценариев. Модель поддерживает чат и интерфейс вызова инструментов; заявленное окно контекста составляет 262 144 токена. Модель рассчитана на планирование многоэтапной разработки, генерацию и рефакторинг кода, отладку проектов из нескольких файлов, алгоритмические рассуждения и системный анализ. В README также заявлена поддержка входных изображений и видео, унаследованная от мультимодальной архитектуры, хотя метаданные классифицируют модель только как text-generation. Веса опубликованы в формате safetensors; для работы требуются актуальная версия transformers с поддержкой Qwen3.5 и PyTorch, а для GPU-инференса — CUDA. Лицензия — MIT. В README указано, что поведение отказов модели ослаблено, поэтому она может генерировать чувствительный или спорный контент; результаты следует проверять. Также заявлены поддержка Multi-Token Prediction и настройка шаблона чата для режима рассуждений.

dolphincoder-starcoder2-15b-GGUF — квантизированная версия модели dolphincoder-starcoder2-15b, разработанной cognitivecomputations и опубликованной в формате GGUF пользователем bartowski. Модель основана на StarCoder2 с размером около 15 млрд параметров и предназначена для генерации текста и программного кода. Модель ориентирована на задачи программирования, включая написание, дополнение и обработку кода, а также работу с инструкциями в сценариях code assistant. Для обучения использовались наборы данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder, Code-Feedback и их производные. В карточке указан английский язык; модальности ограничены текстом. Размер контекста и точные архитектурные характеристики не указаны. Преимущество этой версии — возможность локального запуска через llama.cpp с различными уровнями квантизации. Вариант Q6_K отмечен как рекомендуемый благодаря высокому качеству, тогда как менее битные варианты требуют меньше памяти, но дают более заметное снижение качества; Q2_K и Q3_K_S не рекомендуются. К ограничениям относятся зависимость качества и требований к памяти от выбранной квантизации, а также отсутствие данных о производительности и поддерживаемых языках программирования. Лицензия модели — bigcode-openrail-m.

gemma-4-A4B-98e-v7-coderx-it-GGUF — квантованная версия модели ManniX-ITA/gemma-4-A4B-98e-v7-coderx-it, разработанная автором ManniX-ITA и распространяемая в формате GGUF. Модель предназначена прежде всего для генерации и анализа кода, задач рассуждения и мультимодальных сценариев с обработкой текста и изображений. Заявлена поддержка английского языка. Модель построена на архитектуре Gemma4 с разреженной MoE-структурой: общий размер составляет около 20,45 млрд параметров, из которых активно используется около 4 млрд. Для мультимодальной работы доступна общая vision-башня Gemma 4 SigLIP в файле mmproj-gemma4.gguf; она не подвергалась pruning. В репозитории представлены варианты квантования от CD-Q2_K до F16, с размерами файлов примерно от 8,82 до 21,16 ГБ. Квантования созданы с использованием imatrix и калибровочных данных v5. По приведённым тестам HumanEval+ и MultiPL-E-100 варианты модели показывают высокое качество генерации кода: лучшие результаты достигают 93,29% на HumanEval+ и 91,33% на MultiPL-E-100. Q4_K_S рекомендуется как наиболее эффективный K-вариант, IQ4_NL — как компактный вариант, а CD-Q2_K — как минимальный по размеру вариант с сохранением приемлемого качества. Ограничения включают значительные требования к дисковому пространству, отсутствие данных о длине контекста и неполную информацию о поддерживаемых языках и производительности вне указанных тестов. Модель распространяется по лицензии Apache-2.0.

unsloth/GLM-4.7 — вариант GLM-4.7, опубликованный Unsloth с исправлениями шаблона чата. Это англо-китайская языковая модель для генерации текста и диалогов, рассчитанная в том числе на программирование, агентные сценарии с вызовом инструментов и сложные рассуждения. Модель имеет архитектуру GLM4 MoE и 23,4 млрд параметров; заявленная длина контекста — 202 752 токена. Поддерживаются английский и китайский языки. Модель подходит для многошаговой работы с кодом и терминалом, генерации интерфейсов и слайдов, диалогов и задач, где нужно вызывать инструменты. README описывает чередование рассуждений и действий, сохранение контекста рассуждений между ходами и управление режимом рассуждения на уровне хода. Репозиторий содержит веса safetensors и предназначен для использования с Transformers, vLLM и SGLang; для llama.cpp указано использовать шаблон Jinja. Лицензия — MIT. Заявленные сильные стороны — программирование, агентное использование инструментов и математические рассуждения. Качество ответов и результатов на конкретных задачах может различаться; для агентных сценариев README рекомендует включать сохранение рассуждений. Показатели в карточке приведены на бенчмарках и не гарантируют результат в прикладном сценарии.

GLM-4-9B-0414-GGUF — это квантизированная в формате GGUF версия языковой модели GLM-4-9B-0414, разработанной командой THUDM. Квантизация выполнена bartowski на основе llama.cpp, релиз b5228. LM Studio распространяет модель в рамках Community Model Program, но не является её разработчиком. Модель предназначена для генерации текста и ориентирована на продвинутое программирование, создание артефактов, function calling и агентские сценарии. Заявлена сопоставимая с существенно более крупными моделями производительность. Поддерживается контекст до 32 тысяч токенов. В метаданных указаны китайский и английский языки. Архитектура исходной модели и точный размер файлов не описаны подробнее; конкретный вариант квантизации также не указан. Модель может быть полезна для локального запуска задач кодирования, автоматизации и построения LLM-агентов при наличии совместимого ПО для GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и требований к ресурсам от выбранного варианта квантизации. Лицензия модели — MIT.

mlx-community/GLM-5.1-MXFP4-Q8 — MLX-квантизированная версия текстовой генеративной модели GLM-5.1, разработанной Z.ai (zai-org) и опубликованной в формате MLX сообществом mlx-community. Базовая модель предназначена прежде всего для агентной разработки программного обеспечения, генерации и анализа кода, длительных рассуждений, работы с терминалом и использования инструментов. Она поддерживает текстовый ввод и вывод; сведения о поддержке изображений или аудио для этой версии не указаны. По опубликованным конфигурациям GLM-5.1 относится к архитектуре glm_moe_dsa и использует decoder-only causal language model с Mixture-of-Experts: 78 слоёв, 256 маршрутизируемых экспертов и 8 активных экспертов на токен. Размер модели составляет примерно 744 млрд параметров, максимальная позиционная длина указана как 202 752 токена. Версия MXFP4-Q8 предназначена для запуска через MLX и использует 4-битное MXFP4-квантизирование с отдельными компонентами в 8-битном представлении; это существенно уменьшает объём хранения по сравнению с полной версией, но модель всё равно требует очень значительных аппаратных ресурсов. Сильные стороны модели — ориентация на сложные программные и агентные задачи, большой контекст и возможность локального запуска в MLX-совместимой среде. Ограничения включают крайне большой размер, высокие требования к памяти и потенциально низкую производительность на неподходящей или распределённой конфигурации оборудования; официальная карточка именно этой производной версии практически не содержит описания и результатов оценки. Для базовой GLM-5.1 указана лицензия MIT, но для репозитория mlx-community/GLM-5.1-MXFP4-Q8 отдельные лицензионные условия не указаны, поэтому их следует проверить перед коммерческим использованием.

GPT-5.1-Codex Mini — языковая модель OpenAI, облегчённая и более экономичная версия GPT-5.1-Codex с меньшими возможностями. Она предназначена для задач программирования и длительных агентных рабочих процессов, например написания и изменения кода с использованием инструментов. Модель поддерживает текст на входе и выходе, а также изображения на входе; контекстное окно составляет 400 000 токенов, максимальный объём ответа — 128 000 токенов. Поддерживаются рассуждения, вызов функций и структурированный вывод. Данные о конкретной архитектуре и списке поддерживаемых языков в использованных источниках не приводятся. Модель доступна через API OpenAI; условия доступа и использования определяются условиями сервиса OpenAI.

Abiray/KAT-Coder-V2.5-Dev-Imatrix-GGUF — набор GGUF-квантизаций модели KAT-Coder-V2.5-Dev, разработанной командой KwaiKAT и основанной на Qwen3.6-35B-A3B. Это текстовая open-weight модель-кодировщик с архитектурой Mixture-of-Experts: всего 35 млрд параметров, из которых 3 млрд активируются для каждого токена. Репозиторий содержит версии с 3-, 4-, 5-, 6- и 8-битной квантизацией, оптимизированные с помощью importance matrix для сохранения качества при уменьшении требований к памяти. Модель предназначена для агентного программирования, генерации и анализа кода, автоматизации задач разработки и работы с инструментами в многошаговых сценариях. Она поддерживает английский и китайский языки, работает только с текстом и не включает компоненты для зрения или других мультимодальных режимов. Доступный контекст может достигать 262 144 токенов при использовании совместимого ПО, например llama.cpp. Среди заявленных сильных сторон — результаты на SWE-bench Verified до 69,40%, поддержка сохранения исторического контекста рассуждений и снижение повторов, нештатных вызовов инструментов и зацикливания. К ограничениям относятся необходимость значительных ресурсов даже для квантизированных вариантов, зависимость качества и скорости от выбранного уровня квантизации и отсутствие мультимодальности. Модель распространяется по лицензии Apache-2.0.

Llama-3-11.5B-Instruct-Coder-v2-GGUF — это текстовая instruction-модель для генерации кода и выполнения запросов в формате диалога. Исходная модель опубликована rombodawg; в качестве базовой указана Replete-AI/Llama-3-11.5B-Instruct-V2. GGUF-квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации, дополнения и объяснения программного кода, а также для общих текстовых задач в сценариях, где требуется локальный запуск через llama.cpp или совместимые инструменты. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Модель имеет около 11,5 млрд параметров, работает с текстом и использует формат диалога Llama 3 с системными и пользовательскими сообщениями. Заявлен английский язык; сведения о поддерживаемом контексте, мультимодальности и точных архитектурных деталях не приведены. При сильном сжатии качество снижается, особенно у низкобитных вариантов, поэтому выбор квантизации является компромиссом между потреблением памяти и точностью. Указана лицензия Apache-2.0.

Ornith-1.0-35B-FP8 — это квантизированная версия модели DeepReinforce Ornith-1.0-35B, подготовленная и проверенная командой protoLabs. Модель представляет собой гибридную MoE-архитектуру Qwen3.5-35B-A3B с механизмами рассуждения и самоскэффолдинга, ориентированную прежде всего на агентное программирование. Она поддерживает генерацию текста, рассуждения, работу с инструментами и мультимодальные сценарии с изображениями и видео. Модель использует блочную FP8-квантизацию E4M3 с блоками 128×128 и динамическим квантованием активаций по токенам. Квантизированы экспертные FFN-слои и проекции внимания, тогда как критичные компоненты, включая SSM-линейное внимание, маршрутизатор MoE, эмбеддинги, нормализации и vision tower, сохранены в bf16. Полный контекст составляет 256K токенов. Размер обслуживаемой модели — около 35 ГБ; она рассчитана на одну видеокарту с 80–96 ГБ памяти и проверена с vLLM. Сильные стороны модели — пригодность для агентного кодирования, рассуждений, длинного контекста, многоязычной генерации и вызова инструментов при производительности, близкой к исходной bf16-версии. Ограничения включают требования к мощной GPU, зависимость от совместимого стека vLLM и remote code, а также возможную небольшую потерю качества при квантизации: в приведённых однократных тестах показатель генерации кода составил 0,975 против 1,00, а успешность function call — 89% против 93%. Модель распространяется по лицензии MIT; авторство базовой модели принадлежит команде DeepReinforce, а protoLabs добавила FP8-квантизацию.

Parable-Qwen3-8B-Claude-Fable-5 — плотная языковая модель Qwen3-8B с 7,6 млрд параметров, дообученная AnkitAI на трассах многошаговой работы агентов Claude Fable 5 и GPT-5.5. Она предназначена для генерации текста, рассуждений, планирования, написания и отладки кода, решения задач в терминале и работы с инструментами. Модель принимает текст и выдаёт текст, в том числе структурированные вызовы инструментов. Основной язык в карточке — английский; заявлена работа с контекстом до 40 960 токенов. В README сообщаются снижение тестовой функции потерь на 67% относительно базовой модели и 23 полностью правильных ответа из 34 в качественной оценке задач по коду и терминалу. В тесте BFCL V3 качество вызова функций оказалось немного ниже, чем у исходной Qwen3-8B. Модель обучалась на последовательностях длиной 1 024 токена, поэтому усиленное поведение агента может быть заметнее в начале длинного диалога; в некоторых операционных сценариях она выдаёт JSON вызова инструмента вместо обычного текста. Веса распространяются по Apache-2.0, но обучающие наборы имеют лицензии AGPL-3.0 и MIT, а для их происхождения из сторонних ассистентов могут действовать дополнительные условия.

mlx-community/Qwen2.5-Coder-14B-Instruct-4bit — это 4-битная версия языковой модели Qwen2.5-Coder-14B-Instruct, разработанной Qwen и преобразованной сообществом mlx-community в формат MLX с помощью mlx-lm 0.19.3. Модель предназначена для генерации текста и работы в диалоговом режиме. Основная специализация модели — задачи, связанные с программным кодом: написание, продолжение и обсуждение кода, а также взаимодействие с пользователем в формате инструкций и ответов. Модель содержит 14 миллиардов параметров и использует 4-битное квантование, что снижает требования к памяти по сравнению с полноразмерной версией. Формат MLX ориентирован на запуск с библиотекой mlx-lm. В метаданных указан английский язык. README не содержит сведений о длине контекста, поддерживаемых модальностях, результатах тестирования и конкретных ограничениях качества, поэтому эти характеристики нельзя определить по представленным данным. Модель распространяется по лицензии Apache 2.0.

mlx-community/Qwen2.5-Coder-14B-Instruct-bf16 — конверсия в формат MLX инструкционной модели Qwen2.5-Coder-14B-Instruct, выполненная сообществом mlx-community с помощью mlx-lm версии 0.19.3. Это плотная авторегрессионная модель на 14 млрд параметров для генерации кода и диалоговой работы с запросами о коде; она также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Контекст составляет 32 768 токенов, в метаданных указан английский язык. Модель подходит для написания, анализа и исправления кода в интерактивных сценариях. Репозиторий содержит веса safetensors и предназначен для использования с MLX. Лицензия — Apache-2.0. README описывает конверсию из базовой модели, поэтому её характеристики и возможности основаны на Qwen2.5-Coder-14B-Instruct.

Qwen2.5-Coder-1.5B-Instruct-AWQ — это инструкционно дообученная языковая модель для работы с программным кодом из серии Qwen2.5-Coder, разработанная командой Qwen компании Alibaba Cloud. Она предназначена для генерации, анализа и исправления кода, задач кодового рассуждения, создания приложений и использования в сценариях Code Agents. Модель также сохраняет возможности в математике и общих задачах обработки текста. Модель относится к причинным языковым моделям и поддерживает текстовую модальность. Она содержит 1,54 млрд параметров, из которых 1,31 млрд не являются параметрами эмбеддингов, имеет 28 слоёв и контекст до 32 768 токенов. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm, смещения в Attention QKV, связанные эмбеддинги слов и GQA с 12 головами для Q и 2 для KV. Репозиторий содержит AWQ-квантизированную 4-битную версию; в карточке явно указан английский язык. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, большой контекст и сниженные требования к памяти благодаря 4-битной квантизации. Небольшой размер делает модель удобной для локального развертывания, однако квантизация может влиять на точность, а компактный масштаб модели ограничивает качество по сравнению с более крупными моделями серии. Модель распространяется по лицензии Apache-2.0.