II.7DevOps, облако и эксплуатация IT-систем

Карточка модели mak11boyz/Ornith-1.5-9B на Hugging Face совпадает с карточкой ornith-ai/Ornith-1.5-9B, поэтому описание составлено по ней. Ornith-1.5-9B — плотная языковая модель примерно на 9 млрд параметров семейства Qwen3.5, разработанная командой Ornith AI. Она развивает Ornith-1.0 за счёт цикла самоулучшения с генерацией обучающих задач, поиском стратегий решения и обучением с подкреплением. Модель предназначена для агентных сценариев, программирования и выполнения многошаговых задач с использованием инструментов; поддерживает диалог и вызовы функций через совместимый с OpenAI API интерфейс. Модель принимает и генерирует текст. Заявленное базовое окно контекста составляет 262 144 токена; с масштабированием YaRN в README описано расширение примерно до миллиона токенов, которое может немного снижать качество на обычных запросах. Версия на 9B рассчитана на эффективное развёртывание, включая обслуживание на одной 80-гигабайтной GPU; веса в bf16 занимают около 19 ГБ. Карточка описывает бенчмарки для программных и агентных задач, но сами численные результаты здесь не приведены. Лицензия — MIT.

Карточка модели tiaguin/qwen на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-7B, поэтому описание составлено по ней. Qwen2.5-Coder-7B — плотная причинная языковая модель семейства Qwen2, разработанная командой Qwen. Это базовая предварительно обученная модель на 7,1 млрд параметров, дообученная на основе Qwen/Qwen2.5-7B с упором на программный код. Она предназначена для генерации кода, рассуждений о коде и исправления ошибок, а также может служить основой для кодовых агентов и дальнейшей адаптации под прикладные задачи. Модель принимает текст и генерирует текст. Архитектура использует RoPE, SwiGLU, RMSNorm и смещение в проекциях внимания QKV; заявленная длина контекста в метаданных — 32 768 токенов. Карточка описывает возможности обработки контекста до 131 072 токенов с YaRN, но для этого нужна дополнительная настройка; постоянный коэффициент масштабирования YaRN может снижать качество на коротких входах. Разработчик не рекомендует использовать базовую модель для диалогов без постобучения. Репозиторий распространяется под лицензией Apache-2.0.

Qwen2.5-Coder-1.5B-Instruct-GGUF — инструкционно дообученная языковая модель для работы с программным кодом из серии Qwen2.5-Coder, разработанной командой Qwen. Модель предназначена для генерации, анализа, рассуждений и исправления кода, а также для использования в чат-ботах и кодовых агентах. Она сохраняет базовые способности Qwen2.5 в математике и общих задачах. Модель представляет собой каузальную языковую модель в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд не относятся к эмбеддингам, 28 слоёв и механизм GQA с 12 головами для Q и 2 для KV. Заявленная длина контекста — 32 768 токенов. Поддерживаются варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. В метаданных указан английский язык; мультимодальность не заявлена. К сильным сторонам относятся специализация на генерации, понимании и исправлении кода, компактный размер и наличие нескольких вариантов квантования для запуска с разными требованиями к памяти. Ограничения включают меньший масштаб по сравнению со старшими моделями серии и отсутствие заявленной поддержки контекста до 131 072 токенов в GGUF-версии; для такого расширения README рекомендует не-GGUF-модели и указывает поддержку YARN для этой задачи в vLLM. Модель распространяется по лицензии Apache-2.0.

BenevolenceMessiah/Qwen2.5-Coder-7B-3x-Instruct-TIES-v1.2 — объединённая с помощью mergekit методом TIES языковая модель на архитектуре Qwen2 для генерации текста. В качестве основы использована Qwen/Qwen2.5-Coder-7B; в объединение также вошли BenevolenceMessiah/Qwen2.5-Coder-7B-Chat-Instruct-TIES-v1.2, MadeAgents/Hammer2.0-7b и huihui-ai/Qwen2.5-Coder-7B-Instruct-abliterated. Модель содержит 7,1 млрд параметров, работает с контекстом до 32 768 токенов и доступна в формате safetensors для библиотеки Transformers. Она предназначена для диалоговой генерации текста и задач с программным кодом, включая его генерацию, анализ и исправление; метаданные также отмечают интерфейс для вызова инструментов. Информация о лицензии в предоставленных источниках отсутствует.

unsloth/Qwen2.5-Coder-7B-Instruct — инструкционная языковая модель для программирования, основанная на Qwen2.5-Coder-7B-Instruct от Qwen и представленная Unsloth. Это плотная причинная трансформерная модель семейства Qwen2 с 7,1 млрд параметров, доступная в формате safetensors и рассчитанная на генерацию текста в диалоговом режиме. Модель предназначена для генерации, анализа и исправления кода, рассуждений о программировании и создания кодовых агентов. Она также сохраняет общие языковые и математические способности базовой модели. Метаданные указывают контекст 32 768 токенов; в README упоминается более длинный контекст базовой модели, но для этой конфигурации расширение за 32 768 токенов требует настройки YaRN и может ухудшить работу на коротких запросах. Поддерживаемый язык карточки — английский. Репозиторий лицензирован по Apache-2.0. Модель принимает текстовые запросы и выдаёт текст, включая код; фактическое качество зависит от языка программирования и постановки задачи.

mlx-community/Qwen2.5-Coder-7B-Instruct-bf16 — конверсия в формат MLX модели Qwen2.5-Coder-7B-Instruct, опубликованная сообществом mlx-community. Это плотная авторегрессионная модель семейства Qwen2 на 7,1 млрд параметров для генерации текста и кода в диалоговом формате. Она предназначена для написания, анализа и исправления программного кода; метаданные указывают на интерфейс вызова инструментов. Максимальная длина контекста — 32 768 токенов, библиотека — Transformers. Модель принимает текст и генерирует текст, включая код. В карточке указан английский язык. Лицензия — Apache-2.0. README сообщает, что модель преобразована в MLX из Qwen/Qwen2.5-Coder-7B-Instruct с помощью mlx-lm версии 0.18.1; указанный формат файлов репозитория — safetensors.

apto-as/Qwen2.5-Coder-7B-Instruct-Q5_K_M-GGUF — это квантизированная версия Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель разработана на базе Qwen/Qwen2.5-Coder-7B-Instruct и предназначена для генерации текста и работы с программным кодом в диалоговом режиме. Модель ориентирована на задачи, связанные с написанием и обработкой кода, а также на интерактивное использование через llama.cpp в CLI или серверном режиме. Указан размер базовой модели 7B; применяется квантизация Q5_K_M. Поддерживаемый язык в карточке — английский. Формат GGUF позволяет запускать модель через llama.cpp, в том числе локально, однако конкретные архитектурные параметры и размер контекстного окна в README не указаны; в примере сервера используется контекст длиной 2048 токенов. К сильным сторонам относятся специализация на программном коде, инструктивный режим и совместимость с llama.cpp. Ограничения включают отсутствие подробных сведений о качестве, поддерживаемых языках программирования, мультимодальности и фактических требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0.

Domeoneyyddkk/qwen2.5-coder-merged — слитая языковая модель на архитектуре Qwen2, созданная методом DARE TIES с помощью mergekit на основе Qwen2.5-Coder-7B-Instruct и Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, рассчитана на диалоговую генерацию текста и кода; доступна в формате safetensors для библиотеки Transformers и поддерживает контекст до 32 768 токенов. Модель подходит для генерации и объяснения кода, помощи в программировании и обычных диалоговых задач. В конфигурации слияния использованы веса 0,65 для Qwen2.5-Coder-7B-Instruct и 0,35 для Qwen2.5-7B-Instruct. README и метаданные не приводят сведений о лицензии, поэтому условия использования следует сверить с лицензиями исходных моделей и правилами публикации слитых весов.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 — квантизированная версия открытой модели Qwen3.6-27B, опубликованная пользователем cyankiwi на основе базовой модели Qwen/Qwen3.6-27B. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая агентное программирование, фронтенд-разработку, анализ репозиториев и задачи, требующие длительного контекста. Заявлены улучшения в обработке coding-agent сценариев и возможность сохранять контекст рассуждений из предыдущих сообщений. Модель поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура включает Gated DeltaNet, Gated Attention и multi-step training; размер опубликованного файла составляет 28,32 ГБ. Вариант использует квантизацию AWQ-BF16-INT4, что является его ключевой особенностью, однако README не приводит подробных результатов сравнения именно этой квантизированной версии с исходной моделью. Лицензия — Apache-2.0. Модель подходит для локального и серверного развертывания при наличии совместимого программного обеспечения и достаточных вычислительных ресурсов; конкретные требования к памяти и ограничения качества для мультимодальных задач в README не указаны.

Mungert/Qwen3.6-27B-GGUF — квантованное представление открытой модели Qwen3.6-27B, разработанной командой Qwen. Репозиторий содержит веса в формате GGUF, сгенерированные с помощью llama.cpp. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для локального запуска и интеграции с совместимыми инструментами вывода. Основные сценарии применения — программирование, работа с интерфейсным кодом, анализ репозиториев и агентные задачи разработки. Модель также поддерживает обработку изображений благодаря мультимодальной архитектуре. Она содержит около 27 млрд параметров, 64 слоя и имеет нативный контекст 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. В архитектуре используются Gated DeltaNet, Gated Attention и feed-forward блоки. Поддерживаемые языки в README не указаны. К сильным сторонам относятся ориентация на реальные задачи разработки, работа с длинным контекстом и сочетание текстовых и визуальных входов. Ограничения, требования к конкретному уровню квантования и потреблению ресурсов для данного файла в README не приведены; характеристики зависят от выбранного GGUF-варианта и оборудования. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3.6-27B-NVFP4 — это квантованный checkpoint модели Qwen3.6-27B, разработанный Unsloth на основе модели Qwen от команды Qwen. Модель представляет собой каузальную языковую модель с vision-энкодером и предназначена для генерации текста, мультимодального понимания изображений, агентного программирования, работы с frontend-задачами и рассуждений на уровне репозиториев. Модель содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; в checkpoint включён модуль Multi-Token Prediction (MTP), который может использоваться для ускорения декодирования. Точные языки в README не указаны. Формат NVFP4 рассчитан на эффективный запуск, в том числе на GPU с 24 ГБ VRAM. По заявлению Unsloth, checkpoint обеспечивает до 2,5 раза большую пропускную способность по сравнению с другими NVFP4-квантованиями, а результаты на MMLU-Pro, GPQA и AIME 2025 близки к FP8 и BF16. Основные ограничения — потери, присущие квантованию, зависимость производительности от аппаратного обеспечения и backend, а также необходимость корректной настройки vLLM или совместимого движка; README не рекомендует Marlin из-за более низкой скорости. Модель распространяется по лицензии Apache-2.0 и совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.

FastFlowLM/Qwen3.6-35B-A3B-NPU2 — открытая модель семейства Qwen3.6, разработанная командой Qwen и основанная на Qwen/Qwen3.6-35B-A3B. Это авторегрессионная языковая модель с vision encoder, предназначенная прежде всего для программирования, агентских сценариев, работы с интерфейсами и репозиториями, а также для задач, требующих анализа длинного контекста. Модель поддерживает формат Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Модель имеет 35 млрд параметров, из которых при генерации активируются 3 млрд. Архитектура сочетает Gated DeltaNet, Gated Attention и Mixture of Experts: используется 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Указана поддержка визуального ввода через vision encoder, однако точный перечень языков и параметры визуальной части в README не приведены. Сильными сторонами модели заявлены улучшенная работа с frontend-задачами, рассуждением на уровне репозитория и сохранением контекста рассуждений между сообщениями. Ограничения, включая качество на конкретных языках, требования к аппаратному обеспечению и особенности версии NPU2, в README не описаны. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-NEO-CODER-NVFP4-1M — модель на базе Qwen3.8-27B Cold Fusion, разработанной DavidAU, с последующей квантизацией, расширением контекста и упаковкой Solstice-AI. Модель предназначена для программирования, агентной разработки ПО, отладки репозиториев, многошаговых рабочих процессов, рассуждений и диалогового использования. Также заявлена поддержка визуального понимания изображений, интерфейсов, архитектурных схем и видеокадров через дополнительный модуль mmproj-BF16.gguf. Модель поддерживает английский и китайский языки. Указан контекст до 1 048 576 токенов, полученный расширением RoPE с помощью YaRN; исходный контекст заявлен как 262 тысячи токенов. Архитектура описана как гибридная: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — глобальное Grouped-Query Attention. Формат NVFP4 обеспечивает 4-битное микромасштабирование для NVIDIA Blackwell, включая B200, GB200 и RTX 5090. Также заявлена поддержка Multi-Token Prediction для ускорения генерации. Сильными сторонами README называет производительность в задачах программной инженерии, компьютерного управления, следования сложным ограничениям и длинного контекста; приведены результаты внутренних или заявленных разработчиками сравнений, включая SWE-bench Pro 61,7% и ARC-C 735. Эти показатели следует воспринимать с учётом методики оценки и аппаратных требований. Ограничения включают зависимость от совместимого оборудования NVIDIA Blackwell и соответствующего серверного ПО, а также то, что расширенный миллионный контекст и мультимодальность могут требовать специальных компонентов. Лицензия — Apache 2.0.

Gallardo994/Qwen3-Coder-30B-A3B-Instruct — версия модели Qwen3-Coder от Gallardo994, преобразованная в формат MLX из Qwen/Qwen3-Coder-30B-A3B-Instruct с помощью mlx-lm 0.26.3. Это инструктивная MoE-модель для генерации текста в диалоге, ориентированная на программирование и агентные сценарии. Модель принимает текст и генерирует текст; метаданные указывают контекст до 262 144 токенов. В репозитории указаны веса safetensors и библиотека MLX. Размер, приведённый в метаданных, составляет 2,4 млрд параметров. Модель доступна по лицензии Apache-2.0.

GadflyII/Qwen3-Coder-Next-NVFP4 — квантованная версия модели Qwen3-Coder-Next, разработанной командой Qwen. Модель предназначена прежде всего для генерации текста и задач программирования, а также для сценариев инференса, где важны уменьшенное потребление памяти и поддержка длинного контекста. Она распространяется в формате compressed-tensors и рассчитана на использование с vLLM. Модель построена на архитектуре Qwen3NextForCausalLM, объединяющей Hybrid DeltaNet, attention и Mixture-of-Experts (MoE). Она содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене, использует 512 экспертов, 10 активных экспертов и одного общего эксперта, а также 48 слоёв. Заявленная длина контекста составляет 262 144 токена. Квантование NVFP4 применяется к весам и активациям; размер модели уменьшен примерно со 149 ГБ в BF16 до 45 ГБ. В тестах достигнута работа с контекстом до 128K токенов при FP8 KV cache. К сильным сторонам относятся значительное снижение требований к памяти, MoE-архитектура с малым числом активных параметров и поддержка длинного контекста. На MMLU-Pro квантованная версия показала точность 51,27% против 52,90% у BF16, то есть снижение составило 1,63 процентного пункта. Для работы требуется vLLM с поддержкой NVFP4, версия 0.16.0 или новее, и Transformers 5.0.0 или новее; для многографических систем на Blackwell могут потребоваться специальные исправления vLLM. Модель распространяется по лицензии Apache 2.0, как и базовая модель.

Qwopus3.5-9B-Coder-MTP-GGUF — набор GGUF-квантизаций модели Qwopus3.5-9B-Coder, разработанной Jackrong, с сохранёнными MTP-головами для multi-token prediction и speculative decoding. Квантизации подготовлены автором репозитория с использованием imatrix от mradermacher и инструментов llama.cpp. Модель ориентирована на генерацию и анализ кода, рассуждения, агентские сценарии, tool use и function calling; также заявлена поддержка работы с изображениями и текстом через mmproj-файлы. Доступны варианты IQ4_XS размером примерно 4,99–5,29 GiB. В README заявлены контекст до 98 304 токенов при использовании YaRN за пределами исходных 32 768 токенов, запуск примерно в 6 ГБ VRAM и начальная скорость около 60 токенов в секунду на RTX 4060 в Windows 11 с KVarN. Поддерживаются английский, китайский, корейский, русский, японский и испанский языки. Версии различаются распределением более точных форматов квантования по отдельным слоям; по наблюдениям автора, у V3 лишь незначительно снизилась доля принятых предсказаний по сравнению с V1, оставаясь выше 60% в задачах программирования. Модель подходит для локального запуска через llama.cpp и совместимые приложения, особенно когда важны небольшой размер, длинный контекст и ускорение декодирования MTP. Ограничения включают зависимость мультимодального режима от отдельного mmproj-файла, необходимость корректной настройки YaRN, KVarN и speculative decoding, а также отсутствие подробных независимых бенчмарков. Распространяется по лицензии Apache-2.0.

Карточка модели roskosmos19/Rhea-4B-fast-0409 на Hugging Face совпадает с карточкой roskosmos19/Orca-2-4B-hight, поэтому описание составлено по ней. Rhea-4B-Agentic — дообученная модель из линейки Rhea/Athenea, представленная rosкошмос19 как оптимизированный вариант для программирования и агентных сценариев. Она построена на архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров. Модель генерирует текст, поддерживает диалог и интерфейс вызова инструментов; контекст — 32 768 токенов. Модель предназначена для генерации и анализа кода, рассуждений при решении технических задач и работы агента с инструментами. По заявлению авторов, она использует однопроходную генерацию с необязательным режимом рассуждений, что сокращает задержку и стоимость по сравнению с многошаговой схемой исходной линейки. В карточке упоминаются рекомендации по запуску в vLLM, SGLang и llama.cpp, но файлы модели представлены в формате safetensors. Модель выпущена по лицензии Apache 2.0. Карточка описывает её как оптимизированную для агентных и кодовых задач, однако не приводит результатов сравнительных оценок; для высокой скорости авторы рекомендуют использовать не более 16–24 тысяч токенов контекста.

Карточка модели roskosmos19/Rhea-4B-fast-0409-high на Hugging Face совпадает с карточкой roskosmos19/Rhea-4B-fast-0409, поэтому описание составлено по ней. Карточка модели roskosmos19/Rhea-4B-fast-0409 на Hugging Face совпадает с карточкой roskosmos19/Orca-2-4B-hight, поэтому описание составлено по ней. Rhea-4B-Agentic — дообученная модель из линейки Rhea/Athenea, представленная rosкошмос19 как оптимизированный вариант для программирования и агентных сценариев. Она построена на архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров. Модель генерирует текст, поддерживает диалог и интерфейс вызова инструментов; контекст — 32 768 токенов. Модель предназначена для генерации и анализа кода, рассуждений при решении технических задач и работы агента с инструментами. По заявлению авторов, она использует однопроходную генерацию с необязательным режимом рассуждений, что сокращает задержку и стоимость по сравнению с многошаговой схемой исходной линейки. В карточке упоминаются рекомендации по запуску в vLLM, SGLang и llama.cpp, но файлы модели представлены в формате safetensors. Модель выпущена по лицензии Apache 2.0. Карточка описывает её как оптимизированную для агентных и кодовых задач, однако не приводит результатов сравнительных оценок; для высокой скорости авторы рекомендуют использовать не более 16–24 тысяч токенов контекста.

Rnj-1 — открытая плотная языковая модель примерно на 8,3 млрд параметров, обученная с нуля командой Essential AI. Она предназначена прежде всего для генерации и понимания кода, задач STEM и диалогового использования с вызовом инструментов. Модель поддерживает контекст до 32 768 токенов и загружается через Transformers; веса доступны в формате safetensors. В README заявлены генерация и дополнение кода, решение математических и научно-технических задач, а также агентные сценарии разработки: исправление ошибок, анализ производительности и работа с инструментами. Модель относится к семейству Gemma 3 Text и поддерживает интерфейс вызова инструментов. Описанные в карточке результаты бенчмарков относятся также к варианту rnj-1-instruct и не должны автоматически считаться результатами именно этой базовой модели. Лицензия — Apache-2.0. README рекомендует для запуска на ноутбуке llama.cpp и ссылается на предварительно квантованный вариант, однако указанные в метаданных веса этой модели представлены в safetensors.

Ternary-Bonsai-27B-GGUF — набор GGUF-квантизаций модели Ternary-Bonsai-27B, подготовленный пользователем vcruz305 на основе официального F16-релиза prism-ml. В основе лежит backbone Qwen3.6-27B с гибридным вниманием, контекстом до 262 тысяч токенов и поддержкой vision. Модель предназначена для генерации текста и кода, диалоговых сценариев, программирования, рассуждений и отладки через llama.cpp. Репозиторий включает варианты Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 13,3 до 28,6 ГБ. Для большинства вариантов использована importance matrix, полученная на корпусе объёмом 63 КБ с примерами программирования, отладки и рассуждений; Q8_0 создан без неё. Доступны два файла mmproj для работы с изображениями. Производительность зависит от пропускной способности памяти и оборудования: на GB10 заявлены скорости примерно от 7,8 до 14 токенов в секунду. Сильная сторона модели — широкий диапазон квантизаций для систем с 12–32 ГБ памяти, а также сочетание генерации кода, рассуждений и визуального ввода. При объёме памяти до 8 ГБ автор рекомендует использовать официальные QAT-кванты prism-ml, поскольку они сохраняют более высокое качество. Совместное использование с DSpark drafter протестировано, но для этих квантизаций не рекомендуется: коэффициент принятия черновых токенов составил около 54%, поэтому прирост производительности может отсутствовать. Модель распространяется по лицензии Apache-2.0 и рассчитана на использование с llama.cpp.

Salience-27B-R6-GGUF — это квантизированная версия мультимодальной модели Salience-27B-R6, разработанной vectionlabs и опубликованной в формате GGUF пользователем bartowski. Модель содержит около 28 млрд параметров и предназначена для запуска через llama.cpp. Она поддерживает текстовый и визуальный ввод; для работы с изображениями требуется дополнительный файл mmproj. Модель ориентирована на рассуждения, эффективное пошаговое мышление, следование инструкциям, программирование и задачи software engineering. Заявлена поддержка агентных сценариев, терминального взаимодействия, tool use и function calling. Также доступны speculative decoding с использованием MTP и квантизация с imatrix. Указан английский язык, однако точные сведения о размере контекстного окна и внутренней архитектуре в предоставленных данных отсутствуют. Репозиторий предлагает варианты от BF16 и Q8_0 до компактных IQ3 и Q3, что позволяет выбирать между качеством, скоростью и требованиями к памяти. В качестве универсального варианта рекомендован Q4_K_M размером около 17,44 ГБ; более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти. Ограничениями являются необходимость совместимого рантайма llama.cpp, отдельного mmproj для изображений и отсутствие в предоставленной карточке подробных результатов оценки. Лицензия модели — Apache-2.0.

QuantFactory/Codestral-22B-v0.1-GGUF — квантизированная версия Codestral-22B-v0.1, разработанной Mistral AI и преобразованной с использованием llama.cpp. Модель предназначена для генерации и анализа программного кода, включая ответы на вопросы по фрагментам кода, написание документации, объяснение, рефакторинг и создание кода по заданным требованиям. Также она поддерживает режим Fill-in-the-Middle (FIM), предсказывающий пропущенные токены между префиксом и суффиксом, что подходит для интеграции в редакторы кода и инструменты разработки. Модель обучена на данных, охватывающих более 80 языков программирования, включая Python, Java, C, C++, JavaScript и Bash. Она относится к классу text-generation, имеет размер 22B параметров и распространяется в формате GGUF; конкретные варианты квантования и размер контекста в README не указаны. Модель ориентирована на текстовые задачи программирования и не описана как мультимодальная. Ключевые преимущества — широкий охват языков программирования, поддержка как инструктивного режима, так и FIM, а также пригодность для локального использования через совместимый стек llama.cpp. Ограничение заключается в отсутствии встроенных механизмов модерации, поэтому при применении в продуктивных или публичных системах необходимы собственные меры контроля вывода. Указана лицензия MNPL-0.1; условия следует уточнять в тексте лицензии Mistral AI.

DeepSeek-Coder-V2-Instruct-FP8 — квантизированная версия DeepSeek-Coder-V2-Instruct, разработанная Neural Magic. Это текстовая causal language model с текстовым вводом и выводом, предназначенная для коммерческого и исследовательского использования, прежде всего в сценариях ассистентского чата на английском языке. Модель ориентирована на задачи генерации и обработки кода; в README также приведён результат 88,98 на бенчмарке HumanEval+. В модели применена FP8-квантизация весов и активаций линейных операторов внутри transformer-блоков. Используется симметричная поканальная для всего тензора квантизация с единым линейным масштабированием; экспертные gate-модули сохранены в исходной точности. Переход с 16 на 8 бит примерно вдвое уменьшает размер на диске и требования к памяти GPU: модель может загружаться на 4 GPU H100 вместо 8. Версия подготовлена для инференса через vLLM версии 0.5.2 и новее; в примере конфигурации указана максимальная длина контекста 4096 токенов. К сильным сторонам относятся снижение потребления памяти и возможность более доступного развертывания при сохранении сопоставимого качества с исходной моделью. Ограничения включают заявленную поддержку только английского языка, необходимость совместимого окружения vLLM и GPU-инфраструктуры, а также отсутствие в README сведений о точном числе параметров и полной мультиязычной поддержке. Модель распространяется по лицензии deepseek-license; условия следует уточнять в тексте лицензии DeepSeek.

DeepSeek-Coder-V2-Lite-Instruct-GGUF — это GGUF-квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek и квантизированной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и ассистирования в задачах программирования, включая написание и обработку кода, однако конкретный перечень поддерживаемых языков программирования и естественных языков в README не указан. Доступны варианты квантизации от Q2_K и IQ2_M до Q8_0 и экспериментального Q8_0_L, с размером файлов примерно от 6,32 до 17,09 ГБ. Более компактные варианты экономят оперативную память ценой снижения качества, тогда как Q5–Q8 описываются как высококачественные; для ряда конфигураций рекомендуются Q4–Q6. Варианты с суффиксом L используют F16 для весов embedding и output и отмечены как экспериментальные. Архитектура, число параметров, модальности, размер контекста и языки модели в предоставленном README не указаны. Модель рассчитана на локальный запуск через llama.cpp и использует специальный формат промпта с system prompt, сообщениями User и Assistant. Лицензия обозначена как deepseek-license; подробные условия в README не приведены, поэтому перед использованием следует ознакомиться с файлом LICENSE. Основные ограничения — отсутствие в README точных сведений о базовой архитектуре и характеристиках, а также неизбежная зависимость качества и требований к памяти от выбранного уровня квантизации.

DeepSeek-Coder-V2-Lite-Instruct-GGUF — квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek-AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для запуска через GaiaNet и совместима с шаблоном запросов deepseek-chat-2. Модель ориентирована на задачи, связанные с программированием и обработкой инструкций. В README указано, что она основана на архитектуре deepseek и поддерживает контекст размером до 128 000 токенов. Дополнительные сведения о размере модели, языках программирования и поддерживаемых модальностях не приведены; по имеющимся данным, модель относится к текстовым, а не мультимодальным решениям. К преимуществам относятся большой контекст и возможность локального запуска в формате GGUF через экосистему GaiaNet. К ограничениям относятся отсутствие в README подробных характеристик качества, перечня языков, требований к ресурсам и результатов бенчмарков. Модель распространяется по лицензии deepseek-license; тип лицензии обозначен как other, поэтому перед использованием следует ознакомиться с условиями файла LICENSE.

DeepSeek-V4-Flash-0731-dwarfstar-q2-gguf — это 2-битная квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Сборка создана сообществом Rednalreden с использованием инструментов DwarfStar (ds4) и предназначена для запуска на машинах с 96 или 128 ГБ оперативной памяти, где 4-битная версия не помещается. Модель относится к задачам генерации текста и может применяться для написания кода, работы с длинным контекстом, агентских сценариев, вызовов инструментов, анализа исходного кода и подготовки связного текста. Модель использует архитектуру MoE с 43 слоями, 256 маршрутизируемыми экспертами, из которых для каждого запроса выбираются 6, а также одним общим экспертом. Файл GGUF занимает около 80,8 GiB, резидентная модель — около 80,76 GiB; при контексте 32 768 токенов требуется примерно 0,86 GiB дополнительной памяти. Маршрутизируемые эксперты квантизированы в 2 бита с использованием importance matrix, тогда как attention-проекции, общие эксперты и выходной слой используют Q8_0, а отдельные компоненты — F16. Заявлена поддержка контекста до 100 000 токенов при использовании ds4-server. Importance matrix улучшила среднюю оценку по отрицательной логарифмической правдоподобности на 1,42% относительно аналогичной Q2-сборки без importance matrix. Основное преимущество — существенная экономия памяти при сохранении большей части качества; ограничение — заметная потеря качества по сравнению с 4-битными или смешанными q2/q4-сборками. Модель требует runtime DwarfStar (ds4) и несовместима с llama.cpp. Лицензия — MIT, унаследованная от базовой модели.

Gemma 4 E4B Agentic Sol-Fable Reasoning GeminiCLI GGUF — дообученная версия Gemma 4, разработанная RavenX AI Labs. Модель предназначена для локального текстового общения, программирования, отладки, агентских сценариев, вызова инструментов и функционального вызова. В README она также позиционируется для работы с OpenHarness, OpenClaw и Hermes Agent. Модель поставляется в формате GGUF и доступна в вариантах Q4_K_M размером 5,07 ГБ и F16 размером 15,0 ГБ. Вариант Q4_K_M рекомендован как компромисс между качеством и размером, F16 ориентирован на максимальное качество. Обучение выполнено на 22 389 примерах, включающих трассы программирования и отладки, использования инструментов и рассуждений; заявлены встроенные reasoning-трейсы с блоками <think>. Основной язык — английский. Точная длина контекста в README не указана. Сильными сторонами модели заявлены генерация производственного кода, отладка, структурированное рассуждение, агентское программирование и корректное поведение в отдельных задачах безопасности. По приведённому локальному тестированию на Apple Silicon пять из шести задач были оценены как имеющие производственное качество, а в одной модель корректно отказалась от несанкционированной эксплуатации. Ограничения включают отсутствие данных о полноценной независимой оценке, неизвестный максимальный контекст и возможное усечение длинных ответов: в одном тесте модель достигла лимита токенов. Для использования доступны Ollama, llama.cpp и LM Studio; GGUF не требует подключения адаптера. Лицензия указана как Gemma, с отдельной ссылкой на условия лицензии Google.

Akicou/GLM-4.7-Flash-REAP-19 — сжатая версия GLM-4.7-Flash, созданная с помощью метода REAP (Router-weighted Expert Activation Pruning) компании Cerebras. В модели удалено 50% экспертов; README указывает, что сжатие выполнено без дополнительного дообучения. Архитектура GLM-4 MoE Lite, размер — 4,1 млрд параметров, контекст — до 202 752 токенов. Модель предназначена для генерации текста, кода, вызова функций и агентных сценариев; поддерживает запуск через vLLM, Transformers и SGLang. Карточка описывает калибровку для задач кода и инструментов, сохранившую возможности базовой модели в этих сценариях. Репозиторий предоставляет веса Safetensors и заявляет лицензию MIT. В README отмечена проблема совместимости GGUF с llama.cpp: файлы GGUF пересоздаются после исправления ошибки, вызывавшей зацикливание и низкое качество ответов; в метаданных GGUF не указан.

QuantFactory/Llama3.2-3B-Enigma-GGUF — квантизированная версия модели Llama3.2-3B-Enigma, созданная QuantFactory с использованием llama.cpp. Исходная модель разработана ValiantLabs на базе Meta Llama 3.2 3B Instruct и выпущена 30 сентября 2024 года. Модель предназначена для генерации текста, диалоговых сценариев и прежде всего для задач программирования: написания, объяснения и обработки кода. Она использует формат промптов Llama 3.2 Instruct, поддерживает чат-взаимодействие и обучалась на синтетических данных для code-instruct из набора Tachibana, дополненных общими диалоговыми данными из Supernova. В README указан английский язык; другие языки и размер контекстного окна не заявлены. Ключевые характеристики — архитектура Llama, около 3 млрд параметров, текстовая модальность и формат GGUF, подходящий для запуска через llama.cpp и совместимые инструменты. Сильными сторонами являются специализация на инструкциях по программированию и улучшенные общие диалоговые возможности при относительно небольшом размере. Ограничения включают отсутствие заявленных мультимодальных возможностей и недостаточно подробные сведения о конкретном варианте квантизации, контекстном окне и производительности. Модель распространяется по лицензии llama3.2.

Millie 35B-A3B 9GB — компактная версия модели для генерации кода и выполнения агентных задач, опубликованная llmsforall. Это MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров на токен, построенная на архитектуре Qwen3.5-35B-A3B и созданная на основе Agents-A1. По данным карточки, модель принимает изображения и поддерживает контекст до 262 тысяч токенов. Вариант сжат до файла GGUF объёмом около 9 ГБ: веса экспертов представлены в формате ternary mask-and-sign с точностью 1,69 бита на параметр. Для запуска требуется форк llama.cpp от llmsforall с соответствующими ядрами для Metal, Vulkan или CPU; обычный llama.cpp этот формат не загружает. Метаданные указывают задачу text-generation, чат-возможность и лицензию Apache-2.0. Известное ограничение — специальный формат весов привязывает запуск к совместимому форку.