II.7DevOps, облако и эксплуатация IT-систем

CISCai/Qwen2.5-Coder-32B-Instruct-SOTA-GGUF — это квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и кода в диалоговом формате, включая написание, дополнение и исправление программ. Она поддерживает сценарий Fill-in-the-Middle и использует шаблон запросов ChatML. Модель основана на архитектуре Qwen2 и содержит 32 млрд параметров. Поставляется в формате GGUFv3 с вариантами квантизации от 1 до 4 бит, включая IQ1_S, IQ1_M, IQ2, IQ3 и IQ4 с importance matrix. Размер файлов составляет примерно от 6,8 ГБ, а требуемый объём оперативной памяти — от 7,8 ГБ, в зависимости от варианта. Базовая длина контекста составляет 32 768 токенов; для отдельных файлов доступны варианты с YaRN и контекстом до 131 072 токенов. Основные преимущества — возможность локального запуска через llama.cpp и совместимые интерфейсы, а также снижение требований к памяти благодаря квантизации. При этом наиболее компактные варианты сопровождаются существенной или высокой потерей качества, поэтому выбор файла требует компромисса между размером и точностью. В README язык указан как английский; сведения о поддержке других языков отсутствуют. Файлы совместимы с llama.cpp начиная с версии от 27 февраля 2024 года. Модель распространяется по лицензии Apache-2.0.

pL-Community опубликовало инструкционную версию Qwen2.5-Coder-7B в формате FP8 Dynamic. Это плотная причинная языковая модель семейства Qwen2, рассчитанная на генерацию кода и диалоговые сценарии; в метаданных указано 7,1 млрд параметров и контекст 32 768 токенов. Карточка базовой модели описывает архитектуру с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Модель подходит для написания и дополнения кода, анализа программ, поиска и исправления ошибок, а также для создания кодовых агентов. README базовой карточки сообщает о тренировке на коде, текстово-кодовых связях и синтетических данных и отмечает сохранение математических и общих языковых способностей. Хотя README базовой модели описывает поддержку контекста до 131 072 токенов с настройкой YaRN, метаданные этого репозитория указывают нативный контекст 32 768 токенов. Метаданные связывают модель с Qwen/Qwen2.5-Coder-7B как с базой и указывают Apache-2.0. Репозиторий содержит веса safetensors; отдельное описание метода динамической FP8-квантизации в предоставленных материалах отсутствует.

Qwen2.5-Coder-7B-Instruct-GGUF — квантизированная GGUF-версия языковой модели Qwen2.5-Coder-7B-Instruct, разработанной Qwen и подготовленной компанией Second State Inc. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, объяснения и редактирования кода, а также других сценариев, где требуется ассистент для разработки. Указанный язык — английский. Модель содержит 7 миллиардов параметров и использует шаблон запросов ChatML. Для запуска через LlamaEdge заявлен контекст до 128 000 токенов и поддержка LlamaEdge версии 0.14.3. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 3,02 до 15,2 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Основные преимущества — специализация на программном коде, инструктивный режим, большой заявленный контекст и возможность локального запуска в разных вариантах квантизации. Более агрессивная квантизация уменьшает требования к памяти, но приводит к заметной потере качества; точные сведения о производительности и поддерживаемых языках программирования в README не приведены. Модель распространяется по лицензии Apache-2.0.

Это сообщественная конверсия модели Qwen/Qwen3-Coder-30B-A3B-Instruct в формат GGUF, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения. В основе — инструктивная языковая MoE-модель Qwen для программирования, агентных сценариев и работы с длинным контекстом до 262 144 токенов; в этой версии используется точность FP32. Модель можно применять для генерации кода и ответов в чат-интерфейсах, а также в сценариях с RAG и инструментами. Репозиторий предлагает производные квантизации от FP32; README отмечает, что FP32 требует примерно вдвое больше памяти, чем FP16, и обычно не даёт преимуществ при инференсе, поэтому его позиционируют преимущественно для отладки, исследований и сравнения результатов. Поддерживаются английский, китайский, испанский, французский, немецкий, русский, арабский, японский, корейский и хинди. Лицензия — Apache-2.0; автор указывает, что это сторонняя конверсия, не связанная с Alibaba Cloud или командой Qwen.

Qwen3-Coder-30B-A3B-Instruct-NVFP4 — это квантизированная в формате NVFP4 версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанная на базе модели Qwen. Квантизация выполнена с использованием llm-compressor версии 0.8.1 по официальному примеру для Qwen3-30B-A3B. Модель предназначена прежде всего для генерации и обработки программного кода, а также выполнения инструкций общего назначения. Для калибровки квантизации использованы 512 примеров: 336 образцов кода из CodeSearchNet на Python, JavaScript, Java, Go, PHP и Ruby и 176 инструкционных примеров из UltraChat. Длина последовательности при калибровке увеличена до 4096 токенов. Архитектура указана как MoE, общий размер модели — 30B параметров, из которых активируется около 3B параметров. Ключевое преимущество модели — сниженное потребление памяти и потенциально высокая скорость инференса благодаря NVFP4-квантизации, с настройками калибровки, адаптированными для задач программирования. Ограничения включают возможные сложности запуска в vLLM, необходимость совместимого GPU с архитектурами SM100 или SM120 и компиляции FP4-ядер; для RTX 5090 также возможны высокие требования к оперативной памяти при компиляции. Модель распространяется по лицензии Apache-2.0.

CodeLlama 34B Instruct — языковая модель для генерации и объяснения программного кода, разработанная Meta. Представлена в репозитории TheBloke в формате GGUF как квантизированная версия исходной модели codellama/CodeLlama-34b-instruct-hf. Модель предназначена для решения задач программирования по текстовому описанию, создания кода с учетом ограничений и тестовых примеров, а также для локального использования через совместимые приложения и библиотеки. Модель построена на архитектуре Llama и содержит 34 миллиарда параметров. Она работает с текстовой модальностью и ориентирована на код; конкретный набор поддерживаемых языков программирования и размер контекста в README не указаны. Формат GGUF поддерживает метаданные и специальные токены, а доступные варианты используют квантизацию от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Сильными сторонами являются специализация на программировании, возможность запуска на CPU и GPU, а также совместимость с llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другими инструментами. К ограничениям относятся потенциальная потеря качества из-за квантизации, высокие требования к ресурсам для 34-миллиардной модели и отсутствие в предоставленных данных подробных оценок качества, контекстного окна и перечня языков. Указана лицензия llama2; за квантизацию и публикацию GGUF-версии отвечает TheBloke.

CodeLlama 70B GGUF — квантизированная версия большой языковой модели CodeLlama 70B, разработанной Code Llama. Репозиторий TheBloke содержит файлы модели в формате GGUF, подготовленные TheBloke с использованием оборудования Massed Compute. Модель предназначена прежде всего для генерации и обработки программного кода, а также для сценариев текстовой генерации на основе входного запроса. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать между сниженным потреблением памяти и сохранением качества. Модель относится к архитектуре Llama; в README указано 70B параметров, язык обозначен как code. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Мультимодальность и размер контекста в предоставленных данных не указаны. Сильные стороны модели — большой размер, специализация исходной Code Llama на задачах программирования и возможность локального запуска на CPU и GPU с различными уровнями квантизации. Ограничениями являются высокая вычислительная и ресурсная требовательность 70B-версии, возможная потеря качества при сильной квантизации и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Llama 2.

simplyinquisitive/code-stral-7B-B — языковая модель, созданная автором репозитория с помощью mergekit методом passthrough из mistralai/Mistral-7B-Instruct-v0.2 и mistral-community/Codestral-22B-v0.1. Она использует архитектуру Mistral и предназначена для генерации текста в диалоговом формате, включая ответы на инструкции и помощь с кодом. Модель содержит 14,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст. В репозитории указана лицензия Apache-2.0. В карточке нет сведений об отдельных языковых тестах или гарантиях качества; возможности модели унаследованы от объединённых чекпойнтов и могут отличаться от их характеристик.

QuantFactory/deepseek-coder-6.7b-instruct-GGUF — квантизированная версия модели deepseek-ai/deepseek-coder-6.7b-instruct, созданная QuantFactory с использованием llama.cpp. Базовую серию DeepSeek Coder разработала команда DeepSeek; модель предназначена для генерации, дополнения и анализа программного кода, включая ответы на инструкции, проектное автодополнение и заполнение пропусков в коде. Модель содержит 6,7 млрд параметров, инициализирована на основе deepseek-coder-6.7b-base и дообучена на 2 млрд токенов инструкционных данных. Семейство DeepSeek Coder обучалось на 2 трлн токенов, из которых 87% составлял код и 13% — естественный язык на английском и китайском языках. Для поддержки задач на уровне проектов использовалось окно контекста 16K и специальная задача fill-in-the-blank. Формат GGUF и квантизация ориентированы на запуск через llama.cpp и более эффективное использование ресурсов, однако конкретный тип и уровень квантизации в README не указаны. Сильными сторонами являются специализация на программировании, поддержка генерации кода по инструкциям и заявленные высокие результаты среди открытых моделей на HumanEval, MultiPL-E, MBPP, DS-1000 и APPS. Ограничения включают неизвестные параметры квантизации и связанные с ней возможные компромиссы между качеством и потреблением памяти, а также отсутствие в README подробностей о точном наборе поддерживаемых языков программирования. Использование регулируется Model License DeepSeek; при этом для моделей заявлена поддержка коммерческого использования. Репозиторий исходного кода лицензирован по MIT, но для самой модели действует отдельная лицензия.

bartowski/DeepSeek-Coder-V2-Instruct-GGUF — это набор квантованных версий модели DeepSeek-Coder-V2-Instruct, разработанной DeepSeek и преобразованной bartowski в формат GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена прежде всего для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также решения связанных с программированием задач. В набор входят варианты квантования Q4_K_M, Q3_K_XL, Q3_K_M, Q2_K_L, Q2_K, IQ2_XS и IQ1_M размером примерно от 52,7 до 142,45 ГБ. Квантование выполнено с использованием imatrix и llama.cpp. Версия Q4_K_M отмечена как рекомендуемая благодаря балансу качества и размера; варианты с более сильным сжатием требуют меньше памяти, но обеспечивают более низкое качество, а IQ1_M обозначена как крайне низкокачественная и нерекомендуемая. Точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель подходит для локального запуска при наличии значительных ресурсов RAM и, при необходимости, VRAM; выбор файла зависит от доступной памяти и используемого backend. Поддерживаются K- и I-кванты, при этом совместимость и производительность могут различаться для CPU, Apple Metal, NVIDIA cuBLAS, AMD rocBLAS и Vulkan. Модель распространяется по лицензии DeepSeek License; в карточке указано обозначение лицензии и ссылка на файл LICENSE.

DeepSeek-Coder-V2-Lite-Instruct — языковая модель для генерации текста и программного кода, разработанная компанией DeepSeek и представленная в GGUF-квантизации сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для выполнения инструкций по программированию, завершения кода, решения задач в области информатики и математического рассуждения. Модель использует архитектуру Mixture of Experts (MoE): общий объём составляет 16 млрд параметров, из которых при обработке активируются 2,4 млрд. Она дообучалась на 6 трлн высококачественных токенов с кодом и поддерживает контекст длиной до 128k токенов. В README языки явно не перечислены; указано, что официальный шаблон иногда приводит к генерации текста на китайском языке. К сильным сторонам относятся специализация на программировании, следовании инструкциям, завершении кода и высокая скорость вывода благодаря разреженной активации параметров. Для работы в LM Studio требуется версия 0.2.25 или новее, а Flash Attention необходимо отключить. Модель распространяется по лицензии DeepSeek License; конкретные условия следует уточнять в файле LICENSE исходного репозитория. README не содержит подробных результатов бенчмарков и не описывает ограничения по безопасности или точности, поэтому сгенерированный код и ответы требуют проверки.

Fireball-12B-v1.01a — дообученная EpistemeAI языковая модель на архитектуре Mistral, основанная на EpistemeAI/Fireball-12B-v1.0. Модель содержит 12,1 млрд параметров и предназначена для генерации текста, выполнения инструкций и помощи с программированием. В README описаны supervised fine-tuning на наборах Code Alpaca и Alpaca Cleaned, а также два этапа ORPO дообучения на предпочтениях. Модель принимает текст и генерирует текст. В карточке указаны мультиязычные и программные данные, а рекомендуемый шаблон запросов — Alpaca. Метаданные указывают контекст до 1 024 000 токенов; в README для исходной модели Mistral Nemo приводится окно 128k, поэтому заявленная длина контекста для этой версии в источниках расходится. Модель выпущена под лицензией Apache 2.0. По README, у базовой модели нет встроенных механизмов модерации; для контролируемого применения следует предусмотреть отдельную модерацию.

GPT-5.4 mini — компактная модель OpenAI, созданная для более быстрой и эффективной работы по сравнению с GPT-5.4 при высокой нагрузке. Она принимает текстовые и графические входные данные и предназначена для задач рассуждения и программирования. Модель подходит для приложений, которым нужны быстрые ответы при большом потоке запросов, включая задачи с изображениями. В предоставленных данных не описаны её размер, длина контекста, поддерживаемые языки или условия лицензирования.

Millie 35B-A3B 7GB — модель смешанных экспертов для программирования и агентных сценариев, опубликованная llmsforall. Она создана на основе Agents-A1 и архитектуры Qwen3.5-35B-A3B: всего 35 млрд параметров, из которых активно около 3 млрд на токен. Весовые коэффициенты экспертов сжаты примерно до 1,2 бита на параметр; модель поставляется в формате GGUF, а отдельный файл проектора изображений обеспечивает приём изображений. Заявленная длина контекста — 262 тысячи токенов. Модель предназначена для генерации кода, диалогов и выполнения агентных задач на обычном оборудовании. Для запуска нужны оба файла GGUF и специальная версия llama.cpp от llmsforall с поддержкой формата весов; upstream llama.cpp их загрузить не может. В метаданных указана лицензия Apache-2.0. README также сообщает о варианте размером 11 ГБ.

llmfan46/MiniMax-M2.7-BF16-ultra-uncensored-heretic — модифицированная версия MiniMax-M2.7 от независимого автора llmfan46. По карточке, к модели применена abliteration: изменены параметры attn.o_proj на слоях 0–51, чтобы снизить частоту отказов при сохранении близости к поведению исходной модели. Метаданные описывают её как текстовую MoE-модель для генерации текста с диалоговым режимом, размером 2,9 млрд параметров и контекстом до 204 800 токенов. Модель рассчитана на диалог, сложные инструкции, программирование, анализ инцидентов и агентные сценарии; автор исходной MiniMax-M2.7 также заявляет поддержку работы с инструментами и офисными документами. В README приведено сравнение отказов и KL-дивергенции с исходной моделью, однако эти показатели получены самим автором и не подтверждают качество на независимых тестах. Лицензия указана как other, поэтому условия использования следует проверить в репозитории базовой модели и связанных лицензионных материалах.

Nail-Qwen3.6-35B-A3B-GGUF-MTP — это GGUF-квантизация базовой модели Qwen/Qwen3.6-35B-A3B, опубликованная peculiar-ragdoll. Модель ориентирована на reasoning, многошаговые диалоги, агентную разработку программного обеспечения и генерацию кода. В сборку включены улучшенный chat template, встроенный системный промпт и тензоры multi-token prediction (MTP), предназначенные для ускорения генерации посредством speculative decoding. Модель построена на архитектуре Mixture-of-Experts: заявленный размер — 35B параметров при 3B активных параметров. Указаны языки English и Chinese, а нативное контекстное окно составляет 262 144 токена. Формат GGUF рассчитан прежде всего на локальный запуск, включая llama.cpp и совместимые среды. При поддержке MTP возможное ускорение зависит от runtime и конфигурации; для llama.cpp требуется свежая сборка с поддержкой draft-MTP, тогда как обычные релизы могут работать без ускорения. Заявлены высокая скорость ответа, эффективность использования памяти и пригодность для длительных агентных сессий, однако приведённые результаты получены на ограниченном наборе тестов и конкретной конфигурации Mac Studio M2 Ultra. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость производительности от аппаратного обеспечения, версии runtime, квантизации и поддержки MTP. Заявления о превосходстве над другими моделями основаны на бенчмарках автора и не гарантируют аналогичных результатов во всех задачах.

Ornith-1.5-35B-A3B — среднеразмерная Mixture-of-Experts модель семейства Ornith-1.5, разработанная командой Ornith. Она создана как развитие Ornith-1.0, обучавшейся на основе Qwen3.5 и Gemma4 с дополнительным продолженным предварительным обучением, mid-training и post-training. В Ornith-1.5 применяется цикл самоулучшения, в котором совместно оптимизируются генерация задач, построение scaffold и rollouts решений с использованием reinforcement learning. Модель предназначена прежде всего для генерации текста, программирования и агентных сценариев, включая работу с терминалом и автономное решение задач в репозиториях. При общем размере около 35 млрд параметров на каждый токен активируется примерно 3 млрд параметров, что снижает вычислительную нагрузку по сравнению с полноразмерной плотной моделью. В README указана интеграция с библиотекой MLX и pipeline text-generation; сведения о модальностях, размере контекста и поддерживаемых языках не приведены. Сильной стороной модели заявлена производительность в coding- и agentic-бенчмарках: она превосходит сопоставимую Qwen 3.6-35B-A3B, а также плотные Gemma 4-31B и Muse Glimmer-30B в ряде агентных задач. В частности, приведены результаты 79 на SWE-bench Verified и 67,8–68,5 на Terminal-Bench 2.1 в зависимости от используемого окружения. Ограничения включают отсутствие в карточке подробных сведений о качестве вне программирования, контекстном окне, языках, требованиях к оборудованию и лицензии; лицензия в README не указана.

cyankiwi/Ornith-1.5-9B-AWQ-INT4 — квантизированная версия Ornith-1.5-9B, разработанной командой Ornith AI и опубликованной пользователем cyankiwi. Это плотная языковая модель примерно на 9 млрд параметров для генерации текста, ориентированная на эффективное развёртывание на одной GPU; заявлена также возможность запуска на периферийных устройствах в отдельной мобильной версии. Данная сборка использует квантизацию AWQ с точностью INT4 и имеет размер около 8,99 ГБ. Модель предназначена для программирования, агентских сценариев, решения STEM-задач и общего текстового вывода. В карточке указана калибровка на данных STEM and Agentic, а среди поддерживаемых языков перечислены английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Архитектура мультимодальности и размер контекстного окна не указаны. К сильным сторонам относятся компактность, возможность эффективного локального запуска и результаты, приведённые для задач работы с терминалом и кодом. К ограничениям относятся возможные потери качества из-за INT4-квантизации, а также отсутствие в предоставленных данных подробных сведений о контекстном окне, фактической производительности на разных устройствах и ограничениях применения. Модель распространяется по лицензии MIT.

JNolet/Qwen2.5-Coder-14B_v11.25.24.0_CodeInstruct — объединённая модель на архитектуре Qwen2 для генерации кода и диалоговых инструкций. Она создана методом TIES с помощью mergekit на основе Qwen/Qwen2.5-Coder-14B и включает Qwen/Qwen2.5-Coder-14B-Instruct; в карточке указаны 14 млрд параметров и формат safetensors. Модель предназначена для написания, анализа и исправления кода в диалоговом режиме. Она принимает текстовые запросы и генерирует текстовые ответы; интерфейс поддерживает чат и вызов инструментов. Контекст составляет 32 768 токенов. Лицензия в предоставленных данных не указана.

TobiasLogic/Qwen2.5-Coder-32B-abliterated-GGUF — это квантованная в формате GGUF Q4_K_M версия модели TobiasLogic/Qwen2.5-Coder-32B-abliterated, созданной на основе Qwen/Qwen2.5-Coder-32B-Instruct. Модель предназначена прежде всего для генерации, анализа и редактирования программного кода, а также для локального текстового общения. Разработчик удалил из исходной fp16-модели направление отказа, связанное с безопасностными ограничениями, после чего выполнил 4-битную квантование с помощью llama.cpp. Модель поддерживает запуск на CPU и GPU через Ollama или llama.cpp. Размер файла составляет примерно 19–20 ГБ; модель рассчитана на запуск на одной видеокарте с 24 ГБ VRAM. В README явно указан английский язык, а максимальный контекст для примера запуска составляет 8192 токена, однако полный размер контекстного окна не указан. По результатам EvalPlus модель показывает 89,6% на HumanEval, 84,8% на HumanEval+, 91,3% на MBPP и 77,0% на MBPP+. Эти показатели близки к базовой модели в задачах программирования, но относятся к измерениям, выполненным разработчиком. Ключевая особенность модели — отсутствие исходного поведения, связанного с отказами: в указанной проверке доля отказов снизилась с 96,9% у базовой Qwen2.5-Coder-32B-Instruct до 0,0% у abliterated-версии. Это может расширять диапазон запросов, но одновременно увеличивает риски генерации вредного или небезопасного содержимого; модель не следует воспринимать как безопасную без дополнительного контроля. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

unsloth/Qwen2.5-Coder-32B-Instruct — инструктивная 32-миллиардная языковая модель для программирования из семейства Qwen2.5-Coder, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-Coder-32B-Instruct. Это плотная авторегрессионная модель архитектуры Qwen2, рассчитанная на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации, анализа и исправления кода, рассуждений о программном коде и создания кодовых агентов. Она также сохраняет возможности в математике и общих задачах. В метаданных указан английский язык; README описывает серию как ориентированную на код, но не приводит перечень поддерживаемых языков программирования. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache 2.0. README содержит противоречащие идентификатору модели сведения о модели 0,5B и её архитектурных характеристиках, поэтому эти детали здесь не приписываются версии 32B; оценка сходства с GPT-4o приведена в README как заявление авторов без описания результатов оценки.

Qwen2.5-Coder-32B-Instruct-4bit — это 4-битная версия модели Qwen2.5-Coder-32B-Instruct, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.19.3. Модель предназначена для генерации текста и работы с программным кодом в инструкционном и чат-сценариях: она может использоваться для написания, дополнения и объяснения кода, а также для диалога по техническим задачам. Указанный язык — английский. Модель содержит 32 миллиарда параметров и распространяется в 4-битном представлении. Она ориентирована на запуск через библиотеку mlx-lm; README не указывает поддерживаемые модальности, размер контекстного окна или перечень языков программирования. Модель предоставляется по лицензии Apache 2.0. Сведения о конкретных ограничениях качества, требованиях к оборудованию и результатах тестирования в README отсутствуют.

Qwen2.5-Coder-3B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-Coder-3B-Instruct, разработанной командой Qwen и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и работы с программным кодом в диалоговом режиме: написания, объяснения и преобразования кода, а также выполнения других задач, связанных с программированием. В карточке указана поддержка английского языка. Модель содержит 3 миллиарда параметров и рассчитана на локальный запуск через llama.cpp, в том числе в LM Studio. Доступны варианты от F16 до компактных квантизаций Q3–Q8, что позволяет выбирать между качеством ответов и требованиями к памяти; наиболее качественными названы варианты Q6_K_L и Q6_K, а Q4_K_M описан как вариант по умолчанию для большинства случаев. Квантизация уменьшает размер файлов и требования к ресурсам, но более агрессивные варианты могут снижать качество. Архитектура, максимальная длина контекста и дополнительные модальности в README не указаны. Модель распространяется с лицензией Qwen Research License; применимость лицензии следует уточнять по исходному тексту LICENSE.

Qwen2.5-Coder-3B-Q8_0-GGUF — это квантизированная модель для генерации кода и другого текста, преобразованная в формат GGUF проектом ggml-org из базовой модели Qwen/Qwen2.5-Coder-3B. Модель относится к семейству Qwen2.5-Coder и предназначена для запуска с помощью llama.cpp, в том числе локально через командную строку или сервер. Модель имеет размер 3B параметров и представлена в формате Q8_0. Она поддерживает текстовый ввод и вывод; в карточке указан английский язык. Основные сценарии использования — генерация программного кода, помощь в задачах разработки и текстовая генерация. В примере запуска используется контекст длиной 2048 токенов, однако максимальный размер контекста в предоставленных данных не указан. Преимуществами являются специализированная направленность на программирование, компактный размер по сравнению с более крупными моделями и совместимость с llama.cpp. Ограничения связаны с отсутствием подробных сведений о качестве, поддерживаемых языках программирования, мультимодальности и максимальном контексте; модель следует оценивать с учётом ресурсов локального запуска и особенностей квантизации. Лицензия указана как qwen-research; подробные условия приведены в лицензии исходной модели Qwen/Qwen2.5-Coder-3B.

Qwen2.5-Coder-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанный пользователем ThomasBaruzier на основе модели Qwen/Qwen2.5-Coder-7B-Instruct. Квантизации созданы с использованием llama.cpp и опции imatrix, с калибровочным файлом Bartowski. Модель предназначена для генерации текста и работы с программным кодом в сценариях локального запуска через совместимое программное обеспечение, включая llama.cpp. В метаданных указан английский язык, однако подробные сведения о языковой поддержке и контекстном окне отсутствуют. Доступны варианты квантизации IQ и Q2–Q5 с размером примерно от 1,8 до 5,2 ГБ. Они позволяют выбирать компромисс между требованиями к памяти и качеством: согласно приведённой таблице, меньшая perplexity и более высокая точность обычно достигаются у более крупных вариантов, при этом лучшие показатели среди указанных имеют Q5_K_S и Q5_K_M. Ограничения зависят от выбранного уровня квантизации: компактные варианты требуют меньше ресурсов, но могут сильнее терять качество. Лицензия — Apache-2.0.

Qwen2.5-Coder-7B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski на основе инструментов mlx-examples; модель предназначена для запуска на компьютерах Mac с Apple Silicon через совместимое программное обеспечение, включая LM Studio. Модель ориентирована на генерацию текста и работу с кодом, включая сценарии использования в code agents, программирование, ответы на технические запросы и задачи, требующие связи между исходным кодом и текстовыми инструкциями. В README указано, что при обучении использовалось до 5,5 триллиона токенов, включая исходный код, текстово-кодовые данные и синтетические данные. Поддерживается длинный контекст до 128K токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. Заявлен английский язык. Ключевые преимущества — специализация на коде, инструкционная настройка, поддержка длинного контекста и пониженное потребление памяти благодаря 4-битной квантизации. Ограничения связаны с необходимостью совместимого оборудования Apple Silicon и возможными ошибочными, неточными или неподходящими ответами; подробные сведения о качестве на отдельных языках и бенчмарках в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-Q4_K_M-GGUF — это квантизированная версия Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF пользователем или организацией matrixportal с помощью llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и прежде всего для задач, связанных с программированием, включая работу с кодом и чат-сценарии. В README указано, что базовая модель разработана Qwen, однако подробные сведения о её обучении и возможностях вынесены в исходную карточку модели. Модель содержит 7B параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерной версией. Она распространяется в формате GGUF и рассчитана на запуск через llama.cpp, включая локальный CLI и серверный режим. В карточке указано, что заявленный язык — английский; поддержка других языков, архитектура, точный размер контекста и перечень модальностей не уточняются. Пример запуска использует контекст длиной 2048 токенов, но это не подтверждает максимальный размер контекста модели. Сильными сторонами являются специализация на коде, возможность локального запуска и совместимость с llama.cpp. Ограничения связаны с квантизацией, которая может снижать точность по сравнению с исходной моделью, а также с отсутствием в карточке подробных оценок качества и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-A3B-Coder-MTP-GGUF — это квантизированная GGUF-версия специализированной на коде модели, разработанная ManniX-ITA на основе ManniX-ITA/Qwen3.6-27B-A3B-Coder и Qwen/Qwen3.6-35B-A3B. Модель использует архитектуру Qwen3.5-MoE с 26,66 млрд параметров, из которых около 3 млрд активируются при обработке токена. Она создана методом экспертного прореживания: число экспертов сокращено с 256 до 184 в каждом слое с сохранением маршрутизатора, механизмов внимания, нормализаций, MTP-головы и vision-компонента базовой модели. По умолчанию используется маршрутизация top-10. Доступны многочисленные варианты квантизации, включая F16, Q2–Q8 и IQ-серии. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, а также для задач рассуждения, следования инструкциям и обработки визуальных данных. В README заявлена поддержка английского языка; среди целевых языков программирования упоминаются Rust, Java и JavaScript. На тестах модель показывает особенно сильные результаты в HumanEval, GSM8K и MultiPL-E, где достигает 0,970, 0,970 и 0,840 соответственно. При этом её средний результат немного уступает полной базовой модели, а показатели GPQA-Diamond, MATH-500 и IFEval ниже, поэтому она оптимизирована именно под кодовые сценарии, а не под универсальное качество. Ограничением является склонность к чрезмерно длинным рассуждениям на открытых задачах, особенно на GPQA и AIME; в отдельных случаях модель может израсходовать значительную часть контекста до формирования ответа. Для управления длиной рассуждений рекомендуется использовать соответствующие параметры llama.cpp и при необходимости переключаться на маршрутизацию top-8. Контекстное окно в предоставленных данных не указано. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT8 — квантизированный вариант Qwen3.6-27B, разработанный сообществом cyankiwi на основе модели Qwen/Qwen3.6-27B от команды Qwen. Модель предназначена для работы с текстом и изображениями, включая агентное программирование, работу с интерфейсами и репозиториями, итеративную разработку и задачи, требующие сохранения контекста рассуждений. Это каузальная языковая модель с vision encoder и 27 миллиардами параметров. Архитектура включает 64 слоя, комбинацию Gated DeltaNet и Gated Attention, а также multi-step training с MTP. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели указан как 36,85 ГБ. Сильными сторонами являются мультимодальность, большой контекст, ориентация на coding agent-сценарии и совместимость с Transformers, vLLM, SGLang и KTransformers. README не содержит подробных сведений о типичных ограничениях качества, требованиях к оборудованию или влиянии квантизации на результаты, поэтому эти характеристики нельзя оценить по имеющимся данным. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-25 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B, разработанная RedHatAI. Это текстовая модель для генерации текста на основе архитектуры Qwen3_5MoeForCausalLM с разреженной смесью экспертов (MoE). Модель принимает текст и генерирует текст; сведения о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для задач рассуждения, программирования и общего текстового вывода, включая развёртывание через vLLM с OpenAI-совместимым API. В слоях экспертов MoE применена смешанная квантизация NVFP4: веса и активации линейных операторов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Дополнительно выполнено 25-процентное REAP-прореживание экспертов. Это снижает требования к дисковому пространству и GPU-памяти квантизированных слоёв примерно на 75 процентов с учётом дополнительного выигрыша от разреженности. По данным оценки, модель сохранила высокое качество относительно неквантизированной версии: результат на GPQA Diamond составил 91,5 против 92,6 у исходной модели, а на DeepSWE v1.1 — 56,6, что соответствует заявленному восстановлению 98,81 и 100 процентов соответственно. Ограничения включают потенциальное влияние квантизации и прореживания на качество за пределами указанных тестов, а также высокие требования к инфраструктуре: рекомендован запуск с vLLM, tensor parallelism на 8 GPU и expert parallelism. Лицензия в README не указана.